Beyond Via: Analysis and Estimation of the Impact of Large Language Models in Academic Papers

Each language version is independently generated for its own context, not a direct translation.

Immagina che il mondo accademico sia un enorme mercato del libro, dove milioni di ricercatori scrivono abstract (riassunti) ogni giorno. Per anni, questi testi hanno avuto un "sapore" umano, fatto di errori, scelte personali e stili unici.

Ma da qualche tempo, è arrivato un nuovo cuoco: l'Intelligenza Artificiale (LLM), come ChatGPT e i suoi fratelli più recenti. Questo cuoco è bravissimo, veloce e produce piatti perfetti, ma... ha un suo "sapore" particolare.

Questo studio, intitolato "Beyond Via" (Oltre "Via"), è come un detective linguistico che entra nel mercato per capire: "Quanto sta cambiando il sapore dei libri? E chi sta cucinando?"

Ecco i punti chiave, spiegati con delle metafore:

1. Il "Sapore" delle Parole: "Via" e "Oltre"

I ricercatori hanno notato un fenomeno curioso. È come se tutti i nuovi piatti avessero iniziato a usare troppo spesso due ingredienti specifici: le parole "via" e "beyond" (oltre).

L'analogia: Immagina che prima, quando qualcuno descriveva un viaggio, dicesse "andato attraverso la foresta". Ora, improvvisamente, tutti dicono "andato via la foresta" o "andato oltre la foresta".
Cosa succede: I modelli di intelligenza artificiale più recenti (come GPT-4o, GPT-5, DeepSeek) amano queste parole. Quando gli umani usano l'AI per scrivere i titoli dei loro articoli, iniziano a copiare questo "sapore". Di conseguenza, guardando gli abstract reali, si vede che l'uso di queste parole è esploso proprio quando l'AI è diventata popolare.

2. Le Parole che Scompaiono: "Il" e "Di"

Al contrario, le parole più comuni e noiose della lingua italiana (o inglese, nel caso dello studio), come "il", "di", "e", stanno scomparendo.

L'analogia: È come se un cuoco AI, per rendere il piatto più "elegante" o "tecnico", decidesse di togliere tutto il sale e l'acqua, lasciando solo gli ingredienti principali. L'AI tende a evitare queste parole "riempitive" (stopwords) che usiamo naturalmente, rendendo il testo più asciutto e meno umano.

3. Il Problema del "Cambio di Chef"

Lo studio ha scoperto una cosa fondamentale: non tutti gli chef AI sono uguali.

L'analogia: Immagina che GPT-3.5 fosse uno chef che amava usare la parola "delve" (esplorare in profondità), ma che i nuovi chef (come GPT-5 o DeepSeek) abbiano deciso che quella parola è "vecchia" e l'hanno buttata via, preferendo invece parole come "furthermore" (inoltre) o "utilized" (utilizzato).
Il risultato: Se provi a indovinare quale AI ha scritto un testo, è difficile. È come se tutti gli chef moderni avessero iniziato a vestirsi allo stesso modo. I tentativi di creare un "detective" automatico per distinguere chi ha scritto cosa spesso falliscono, perché le AI stanno diventando troppo simili tra loro.

4. Come hanno fatto a scoprirlo? (Il Metodo)

Invece di usare algoritmi complicati e "scatole nere" che nessuno capisce, gli autori hanno usato un metodo semplice e trasparente, come contare i grani di sabbia.

Hanno preso un campione di 2.000 abstract scritti da umani prima dell'arrivo dell'AI.
Hanno chiesto a diverse AI di riscriverli.
Hanno confrontato le frequenze delle parole.
Hanno notato che, se guardi la linea temporale, c'è stato un "salto" improvviso nell'uso di certe parole proprio quando l'AI è entrata in scena. È come vedere un grafico che sale a picco: è la firma dell'AI.

5. La Conclusione: Un Mondo in Evoluzione

La scoperta più importante è che l'impatto dell'AI non è statico. L'AI cambia, e quindi cambia anche il modo in cui scriviamo.

Oggi, l'AI sta rendendo la scrittura accademica più uniforme, più "pulita", ma forse meno umana.
I ricercatori avvertono: non basta più cercare di "smascherare" l'AI con un semplice test di verità. Dobbiamo capire che la scrittura umana e quella dell'AI si stanno mescolando, creando un nuovo stile ibrido.

In sintesi:
Questo studio ci dice che l'Intelligenza Artificiale non sta solo scrivendo per noi; sta cambiando il nostro modo di parlare. Sta togliendo le parole "vecchie" (come "delve") e aggiungendo le sue preferite ("via", "beyond"), rendendo la scrittura accademica più simile a un prodotto industriale standardizzato. È come se il mercato del libro stesse cambiando il suo sapore, e noi dobbiamo imparare a riconoscere questo nuovo gusto per capire cosa è scritto da una persona e cosa da una macchina.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema

L'uso crescente dei Modelli Linguistici su Grande Scala (LLM) nella scrittura accademica ha sollevato preoccupazioni riguardo all'autenticità, alla qualità e all'impatto sulla letteratura scientifica. Sebbene esistano studi preliminari che rilevano l'uso di LLM, la ricerca attuale affronta diverse sfide:

Eterogeneità e Dinamismo: Esistono molti modelli diversi (GPT, DeepSeek, Gemini, Claude) che evolvono rapidamente, rendendo difficile identificare un "impronta digitale" linguistica unica e stabile.
Limiti dei Classificatori: I metodi basati su classificazione (black-box) faticano a distinguere accuratamente tra testi generati da diversi LLM specifici o tra testo umano e testo LLM in scenari reali multi-classe, spesso a causa della convergenza degli stili di output.
Mancanza di Metriche Interpretative: Manca un approccio diretto e interpretabile per quantificare l'impatto reale degli LLM sulle pubblicazioni accademiche, andando oltre la semplice rilevazione binaria.

2. Metodologia

Gli autori hanno adottato un approccio quantitativo basato sull'analisi della frequenza delle parole e sulla simulazione controllata.

Dati:
- Dataset: Oltre 2,9 milioni di abstract di paper su arXiv, aggiornati settimanalmente.
- Selezione: Campione di 2.000 paper pubblicati tra gennaio e ottobre 2022 (pre-ChatGPT) utilizzati come base per le simulazioni.
- Modelli Simulati: Nove modelli diversi (GPT-3.5, GPT-4o mini, GPT-5 nano, DeepSeek V3/R1/V3.2, Gemini 2.5/3, Claude 3/4.5) con date di rilascio comprese tra il 2022 e il 2025.
- Prompt: Utilizzo di due prompt distinti (uno breve per revisioni leggere e uno lungo per editing profondo) per simulare diversi livelli di assistenza.
Analisi della Frequenza delle Parole:
- Modellazione della Trend: Si assume che la frequenza di una parola $w$ segua una tendenza lineare nel tempo ( $f_w(t) = a_w + b_w t$ ) basata sui dati pre-LLM (fino al 2021).
- Stima dell'Impatto: La frequenza osservata nei dati reali viene confrontata con la frequenza prevista (senza LLM). La deviazione è modellata come una miscela di contributi umani e contributi generati da specifici modelli LLM ( $\eta_{m,p}(t)$ ).
- Ottimizzazione: Viene risolto un problema di minimizzazione vincolata per stimare la proporzione di testo attribuita a ciascun modello e prompt, utilizzando parole comuni e stopwords.
Analisi di Similarità e Classificazione:
- Metriche: Utilizzo di ROUGE (1, 2, L) per la similarità lessicale e BERTScore per la similarità semantica.
- Classificatori: Addestramento di classificatori (BERT, GPT-2, T5, LLM2Vec) per distinguere testi generati da diversi LLM e testi umani, testando scenari binari e multi-classe.

3. Contributi Chiave

Identificazione di "Firme" Linguistiche Specifiche: Il paper evidenzia cambiamenti sottili ma significativi nell'uso delle parole.
- Aumento: Parole come "via" e "beyond" nei titoli sono diventate più frequenti, specialmente con modelli più recenti (es. DeepSeek, GPT-5).
- Diminuzione: Parole comuni come "the" e "of" negli abstract mostrano una frequenza in calo, suggerendo che gli LLM tendono a ridurle o evitarle rispetto allo stile umano.
- Variazioni Dinamiche: L'uso di parole come "together" mostra un andamento non lineare (calo seguito da aumento), riflettendo i cambiamenti nelle preferenze tra le generazioni di modelli (es. ChatGPT vs modelli successivi).
Limiti della Classificazione Multi-Classe:
- Sebbene la classificazione binaria (Umano vs LLM) raggiunga accurazioni elevate (80-90%), la classificazione multi-classe (identificare quale modello specifico ha generato il testo) fallisce significativamente (accuratezza ~60% o inferiore).
- Questo suggerisce una omogeneizzazione degli stili di output tra i diversi LLM, rendendo difficile distinguere le fonti specifiche.
Metodo di Stima Quantitativa Interpretativo:
- Invece di affidarsi a classificatori complessi, gli autori propongono un metodo lineare basato sulla frequenza delle parole per stimare la percentuale di testo influenzato dagli LLM nel tempo. Questo approccio è più trasparente e robusto di fronte all'evoluzione dei modelli.

4. Risultati Principali

Evoluzione Temporale: L'impatto degli LLM sulle pubblicazioni arXiv è cresciuto in modo significativo a partire dalla fine del 2022, con un'accelerazione nel 2024-2025.
Preferenze Model-Specific:
- I modelli più recenti (es. GPT-5 nano) mostrano preferenze diverse rispetto ai modelli precedenti (es. GPT-3.5), come l'uso ridotto di parole come "delve" o "intricate" che erano tipiche delle versioni precedenti.
- Alcuni modelli (es. GPT-5 nano) sembrano aver un impatto maggiore sull'uso di termini come "furthermore".
Similarità Testuale: I nuovi LLM tendono a produrre abstract e titoli che sono lessicalmente più simili agli originali (ROUGE più alto) rispetto ai modelli vecchi, ma semanticamente (BERTScore) la convergenza non è sempre lineare.
Difficoltà di Rilevamento: I classificatori faticano a distinguere i modelli più recenti l'uno dall'altro, indicando che le "impronte digitali" linguistiche si stanno assottigliando.

5. Significato e Implicazioni

Monitoraggio Dinamico: Lo studio dimostra che l'impatto degli LLM non è statico ma evolve con ogni aggiornamento del modello. Gli strumenti di monitoraggio devono adattarsi a questa dinamicità.
Critica ai Metodi Attuali: L'approccio basato sulla classificazione "black-box" è insufficiente per scenari reali complessi dove coesistono molti modelli e prompt diversi.
Nuova Prospettiva: L'analisi della frequenza delle parole (specialmente quelle comuni e stopwords) offre una metrica robusta e interpretabile per stimare l'adozione degli LLM nella ricerca accademica.
Implicazioni Etiche: La capacità degli LLM di modificare sottilmente lo stile di scrittura senza alterare il contenuto scientifico solleva questioni sulla trasparenza e sulla necessità di nuove politiche di disclosure nelle pubblicazioni accademiche.

In sintesi, il paper conclude che l'influenza degli LLM sulla scrittura accademica è profonda, eterogenea e in rapida evoluzione, richiedendo un cambio di paradigma dai metodi di rilevazione binaria a modelli di stima quantitativa basati su pattern linguistici evolutivi.