Impact of large language models on peer review opinions from a fine-grained perspective: Evidence from top conference proceedings in AI

1. Problema e Contesto

Il processo di revisione paritaria (peer review) è il meccanismo fondamentale per garantire la qualità e l'affidabilità della ricerca accademica. Tuttavia, l'esplosione delle sottomissioni e la carenza di revisori esperti, specialmente nelle conferenze di intelligenza artificiale (AI) di alto livello, hanno messo sotto pressione il sistema.
L'avvento dei Large Language Models (LLM) ha introdotto nuove sfide e opportunità. Sebbene sia noto che i revisori inizino a utilizzare gli LLM per assistere nella stesura delle loro relazioni, rimane incerto se questo stia alterando le funzioni valutative fondamentali della revisione. La domanda centrale è: l'uso degli LLM sta cambiando la complessità linguistica, il focus valutativo (es. originalità vs. chiarezza) e la correlazione tra gli aspetti discussi e il punteggio finale assegnato?

2. Metodologia

Lo studio adotta un approccio di analisi fine-granularità (livello di parola, frase e aspetto) su un vasto dataset di relazioni di revisione, distinguendosi da studi precedenti che si limitavano a un'analisi testuale globale.

• Dataset: Sono stati analizzati i dati pubblici di due conferenze di punta in AI: ICLR (2017-2025) e NeurIPS (2016-2024, escluso il 2020). Il dataset comprende circa 188.000 revisioni.
• Rilevamento dell'assistenza LLM: Per identificare le relazioni potenzialmente modificate o generate da LLM, gli autori hanno utilizzato un modello di Massima Verosimiglianza (MLE) basato su un lavoro precedente (Liang et al.). Questo modello confronta la distribuzione di probabilità dei testi umani con quelli generati da AI. Inoltre, è stato applicato un filtro lessicale basato su un dizionario di termini frequentemente usati dagli LLM (es. "meticulously", "comprehensively", "seamlessly") per pre-selezionare i testi da analizzare.
• Identificazione degli Aspetti (Aspect Identification): È stato utilizzato un modello pre-addestrato (basato su BERT e ottimizzato da Yuan et al.) per etichettare automaticamente ogni frase della revisione secondo otto aspetti valutativi predefiniti: Summary, Motivation, Originality, Soundness, Substance, Replicability, Meaningful Comparison, Clarity. Il modello rileva anche la polarità del sentimento (positiva/negativa) per ogni aspetto.
• Metriche Linguistiche:
  • Lessico: Complessità lessicale misurata tramite TAALES (frequenza di parole, bigrammi e trigrammi accademici).
  • Sintassi: Complessità sintattica misurata tramite TAASSC (numero di clausole avverbiali, soggetti nominali, congiunzioni subordinanti, verbi ausiliari, oggetti diretti).
• Analisi Statistica: Correlazioni di Spearman tra la frequenza degli aspetti menzionati, i punteggi assegnati e i livelli di confidenza dei revisori (scala 1-5).

3. Contributi Chiave

1. Analisi Fine-Granularità: Prima indagine sistematica che scompone le revisioni a livello di parola e frase per analizzare l'impatto degli LLM, andando oltre il semplice conteggio delle parole.
2. Distinzione tra Revisioni Assistite e Non: Confronto diretto tra relazioni identificate come "LLM-assisted" e quelle "non-assisted", rivelando differenze strutturali e tematiche specifiche.
3. Impatto sulla Confidenza del Revisore: Analisi di come l'uso degli LLM vari in base al livello di confidenza del revisore, mostrando che i revisori meno esperti (bassa confidenza) sono quelli che mostrano i cambiamenti più drastici.
4. Valutazione dell'Informatività: Analisi della relazione tra gli aspetti menzionati nelle revisioni assistite e l'utilità delle raccomandazioni finali per la decisione di accettazione/rifiuto.

4. Risultati Principali

A. Complessità Linguistica e Lunghezza

• Lunghezza: Dopo l'avvento degli LLM (post-2022/2023), le revisioni sono diventate più lunghe e fluide. Le revisioni potenzialmente assistite da LLM sono significativamente più lunghe di quelle non assistite.
• Complessità Lessicale: Si osserva una leggera diminuzione della complessità lessicale (uso di termini meno vari e più standardizzati), suggerendo che gli LLM tendono a generare testi chiari ma meno ricchi di vocabolario specialistico complesso.
• Complessità Sintattica: Aumento significativo dell'uso di sostantivi come soggetti (nominalizzazione) invece di pronomi personali ("io", "noi"), rendendo il testo più oggettivo e formale. Diminuzione dei verbi ausiliari, indicando frasi più dirette.

B. Focus Valutativo (Aspetti)

• Aumento del "Summary": Le revisioni assistite da LLM mostrano una maggiore enfasi sulla sintesi (summary) del paper, specialmente tra i revisori con bassa confidenza.
• Diminuzione dell'"Originality": C'è un declino significativo nelle menzioni relative all'originalità, alla replicabilità e al ragionamento critico sottile. Gli LLM sembrano aiutare i revisori a strutturare il testo e a valutare la chiarezza superficiale, ma faticano o vengono meno nel valutare la novità profonda e la robustezza metodologica.
• Chiarezza vs. Sostanza: Mentre la chiarezza (clarity) e la solidità (soundness) rimangono centrali, la profondità critica diminuisce nelle revisioni assistite.

C. Relazione con Punteggi e Confidenza

• Correlazione Debole: L'analisi di correlazione rivela che la frequenza con cui vengono menzionati certi aspetti ha una correlazione debole e spesso non significativa con il punteggio finale assegnato o con il livello di confidenza del revisore.
• Impatto sui Punteggi: L'uso di LLM non sembra alterare drasticamente i punteggi finali (non c'è un bias sistematico verso l'alto o il basso), ma cambia come il giudizio è espresso.
• Ruolo della Confidenza: I revisori con bassa confidenza (punteggio 1) mostrano l'aumento più marcato nella lunghezza delle revisioni e nell'uso di LLM, suggerendo che gli strumenti AI compensano le lacune di conoscenza permettendo loro di produrre recensioni più lunghe e strutturate, sebbene con meno profondità critica.

5. Significato e Implicazioni

• Teorica: Lo studio suggerisce che gli LLM stanno ridefinendo la forma della comunicazione accademica (maggiore fluidità, standardizzazione linguistica) senza necessariamente migliorare la sostanza valutativa (profondità critica, valutazione dell'originalità). C'è un rischio di omogeneizzazione dei discorsi di revisione.
• Pratica:
  • Gli LLM sono strumenti efficaci per la pulizia linguistica, la sintesi e la strutturazione, ma non dovrebbero sostituire il giudizio critico umano su aspetti fondamentali come l'originalità.
  • Le conferenze e le riviste dovrebbero sviluppare linee guida chiare sull'uso degli LLM, incoraggiando l'uso per l'efficienza ma monitorando la perdita di profondità valutativa.
  • L'integrazione di agenti di feedback (come quello introdotto da ICLR 2025) potrebbe aiutare a bilanciare l'efficienza con la qualità critica.
• Limiti: Lo studio è basato su dati osservazionali (correlazioni, non causalità) e si concentra su conferenze di AI. La rilevazione degli LLM, sebbene accurata, non è infallibile al 100%.

In conclusione, l'emergere degli LLM ha reso le revisioni paritarie più lunghe, fluide e standardizzate, spostando l'attenzione verso aspetti superficiali come la sintesi e la chiarezza, a discapito di dimensioni valutative più profonde come l'originalità e la replicabilità.