AI evaluation may bias perceptions: The importance of context in interpreting academic writing

Riepilogo Tecnico: La Valutazione tramite IA può Influenzare le Percezioni

Dichiarazione del Problema
Il documento affronta un difetto critico nelle metodologie attuali per stimare l'utilizzo dei Modelli Linguistici di Grande Dimensione (LLM) nella scrittura scientifica. Gli approcci esistenti si basano spesso su un "benchmark aggregato" — un unico standard globale per la "somiglianza all'IA" addestrato su dati aggregati provenienti da tutti i paesi e le discipline. Gli autori sostengono che tale approccio ignora l'eterogeneità stilistica preesistente sostanziale tra diversi gruppi paese-disciplina. Poiché le convenzioni della scrittura scientifica, le norme linguistiche e gli stili retorici variano significativamente in base alla geografia e alla disciplina, un benchmark unificato rischia di confondere la variazione stilistica naturale con il testo generato dall'IA. Questa confusione può portare a una classificazione sistematicamente errata, dove certi gruppi appaiono utilizzare l'IA più frequentemente semplicemente perché il loro stile di scrittura di base si allinea più strettamente al profilo "simile all'IA" aggregato, anche in assenza di un effettivo utilizzo di LLM.

Metodologia
Lo studio utilizza dati di pubblicazioni su larga scala dal database Dimensions, coprendo pubblicazioni su riviste in lingua inglese dal 2020 al 2025. Gli autori definiscono 18 gruppi di paesi e 13 campi di studio, creando 234 distinti gruppi paese-disciplina.

1. Costruzione dei Dati:

   • Corpus di Addestramento (2020): Gli autori campionano fino a 2.000 pubblicazioni per gruppo paese-disciplina dal 2020 (era pre-LLM). Utilizzano ChatGPT-4o-mini per riformulare gli abstract di queste pubblicazioni mediante una procedura in due fasi "schema-ed-espansione". Questo crea coppie di abstract originali scritti da umani e riformulati dall'IA.
   • Corpus di Inferenza: Le pubblicazioni del 2021 (utilizzate come placebo pre-LLM) e del 2025 (era post-LLM) sono utilizzate per testare i benchmark.

2. Costruzione del Benchmark:

   • Benchmark Aggregato: Un singolo insieme di rapporti di probabilità logaritmici a livello di parola è calcolato aggregando tutti i dati di addestramento del 2020 tra tutti i 234 gruppi. Questo stabilisce una linea di base globale per le probabilità di utilizzo delle parole nei testi umani rispetto a quelli dell'IA.
   • Benchmark Specifici per Paese-Disciplina: Vengono costruiti 234 benchmark separati, dove ogni benchmark è addestrato solo sui dati all'interno del suo specifico gruppo paese-disciplina.
   • Metrica: Per ogni parola $t$, il rapporto di probabilità logaritmica è calcolato come $\log \frac{P_t/(1-P_t)}{Q_t/(1-Q_t)}$, dove $P_t$ e $Q_t$ sono le probabilità della parola di apparire negli abstract scritti da umani e riformulati dall'IA, rispettivamente. Valori negativi indicano parole più probabili nel testo dell'IA.

3. Stima:

   • Gli autori impiegano un Stimatore di Massima Verosimiglianza (MLE) per stimare il peso di miscela ($\alpha$), che rappresenta la frazione di testo modificata dall'IA.
   • Le occorrenze di parole a livello di frase sono modellate come eventi Bernoulli. La verosimiglianza di una frase è modellata come una miscela di distribuzioni umane e dell'IA: $L_i(\alpha) = (1-\alpha)L_H(S_i) + \alpha L_A(S_i)$.
   • Lo stimatore è applicato due volte ai dati del 2025: una volta utilizzando il benchmark aggregato ($\alpha^{pool}_g$) e una volta utilizzando il benchmark specifico per il gruppo ($\alpha^g_g$).

Risultati Chiave

1. Eterogeneità Stilistica Preesistente:
   L'analisi dei dati del 2020 (pre-LLM) rivela una significativa variazione nell'uso di parole "simili all'IA" tra i gruppi. La decomposizione ANOVA mostra che circa l'80% della varianza nei rapporti di probabilità logaritmica deriva da differenze tra paesi all'interno dello stesso campo, piuttosto che da differenze tra i campi. Le simulazioni di permutazione confermano che questa eterogeneità è genuina e non rumore statistico.

2. Bias nel Placebo Pre-LLM (2021):
   Quando il benchmark aggregato viene applicato alle pubblicazioni del 2021 (dove l'effettivo utilizzo dell'IA dovrebbe essere vicino allo zero), produce una distribuzione fortemente distorta delle stime di utilizzo dell'IA ($\alpha$).

   • Sovrastima: I paesi a predominanza inglese (es. USA, Regno Unito) e campi come Economia, Management e Scienze Umane mostrano stime di base artificialmente elevate (fino a 0,17).
   • Sottostima: Paesi come la Russia e campi come le Scienze Matematiche e Fisiche mostrano basi vicino allo zero.
   • Al contrario, i benchmark specifici per paese-disciplina producono una distribuzione centrata vicino a 0,04–0,05 con una dispersione significativamente ridotta (la Deviazione Standard scende da 0,052 a 0,016), fornendo una base più credibile.

3. Bias Sistematico nelle Stime del 2025:
   Il confronto delle stime del 2025 rivela che il benchmark aggregato distorce sistematicamente la distribuzione geografica e disciplinare percepita dell'utilizzo dell'IA:

   • Sovrastima: L'utilizzo dell'IA è sovrastimato nei paesi a predominanza inglese e in campi con stili di scrittura simili al profilo aggregato dell'IA (es. Economia, Psicologia, Informatica).
   • Sottostima: L'utilizzo dell'IA è sottostimato nei paesi non a predominanza inglese (es. Russia, Brasile, Giappone) e in campi con basi stilistiche distinte (es. Scienze Matematiche, Scienze Biomediche).

Significato e Affermazioni
Il documento sostiene che una valutazione accurata dell'uso dell'IA nella scienza richiede una misurazione consapevole del contesto piuttosto che standard unici per tutti. Gli autori affermano che i benchmark aggregati non introducono semplicemente rumore, ma generano un bias strutturato che rimodella il panorama percepito dell'adozione dell'IA.

• Equità e Fiducia: I risultati suggeriscono che i metodi di rilevamento attuali potrebbero rafforzare le disuguaglianze esistenti. I ricercatori nei paesi ad alto reddito a predominanza inglese potrebbero essere ingiustamente segnalati per una scrittura "simile all'IA" (che potrebbe essere interpretata come fluidità), mentre i ricercatori in altre regioni o discipline potrebbero essere sottorilevati o affrontare penalità diverse in termini di credibilità.
• Implicazioni Politiche: Gli autori avvertono contro l'adozione di soglie uniformi di rilevamento dell'IA nelle politiche di integrità accademica, nella selezione delle riviste e nella conformità ai finanziamenti. Promuovono benchmark calibrati sul contesto per prevenire la distorsione del discorso scientifico e l'erosione della fiducia in specifiche regioni o discipline.
• Contributo Metodologico: Lo studio dimostra che ignorare le basi contestuali porta a interpretazioni fragili delle tendenze di adozione dell'IA. Incorporando basi specifiche per paese-disciplina, la credibilità dei confronti tra gruppi è significativamente migliorata.

Il documento conclude che, sebbene nessun benchmark sia perfettamente privo di bias, il passaggio verso una misurazione consapevole del contesto è un passo necessario per garantire una valutazione equa e accurata dell'IA nella scrittura scientifica.