How Closely Do LLM Reviews Align with Human Peer Review?

Sintesi Tecnica: Allineamento delle Revisioni LLM con la Revisione tra Pari Umana

Definizione del Problema
I modelli linguistici di grandi dimensioni (LLM) vengono sempre più impiegati per generare revisioni scientifiche, tuttavia le valutazioni esistenti spesso non riescono a determinare se diversi fornitori di modelli si allineino sia alle decisioni di accettazione delle conferenze che alle priorità di revisione umane all'interno di un unico ambiente controllato. Esiste una lacuna critica nel comprendere se la capacità di un revisore automatizzato di distinguere tra articoli accettati e rifiutati implichi un allineamento con giudizi umani più granulari, come la distinzione tra presentazioni oral (orali) e poster, o se condivida le stesse priorità tematiche riguardanti le debolezze dei lavori.

Metodologia
Lo studio ha condotto una valutazione controllata e cross-provider utilizzando 300 sottomissioni corrispondenti per argomento provenienti da ICLR 2026. Il dataset comprendeva 100 articoli oral, 100 poster e 100 articoli rifiutati. Per garantire la coerenza tematica, gli articoli oral sono stati accoppiati con articoli poster e rifiutati tematicamente simili utilizzando embedding di abstract (OpenAI text-embedding-3-small) e un abbinamento uno-a-uno di similarità.

Sono stati valutati tre LLM contemporanei: OpenAI gpt-5.4, Google gemini-3.1-pro-preview e Anthropic claude-opus-4-6. Per mitigare la fuga di dati (data leakage), i modelli sono stati selezionati in base a cutoff di addestramento precedenti al periodo di sottomissione di ICLR 2026, e la ricerca esterna è stata disabilitata. Ogni modello ha revisionato ogni articolo utilizzando istruzioni identiche e una scala di valutazione standardizzata (0–10) dopo che le informazioni sulla decisione erano state rimosse dai PDF.

L'analisi si è concentrata su tre dimensioni:

1. Allineamento dell'Esito: Se gli LLM assegnano valutazioni sistematicamente diverse agli articoli accettati (oral/poster) rispetto a quelli rifiutati, e se distinguono tra le categorie oral e poster.
2. Utilizzo della Scala: Confronto delle distribuzioni dei punteggi e dell'uso specifico della scala di raccomandazione tra i provider e rispetto ai baseline umani.
3. Accordo Tematico: Analisi delle debolezze scritte attraverso il clustering tematico basato su embedding (riduzione della dimensionalità UMAP seguita da clustering k-means) per identificare i temi prioritari della critica.

La significatività statistica è stata valutata utilizzando test Mann–Whitney U per le differenze di distribuzione e test Wilcoxon signed-rank appaiati per i confronti diretti tra valutatori, con applicazione della correzione di Holm per i confronti multipli.

Risultati Chiave

• Discriminazione Ampia vs. Granulare: Tutti e tre gli LLM hanno distinto con successo gli articoli accettati da quelli rifiutati, assegnando valutazioni significativamente più alte ai primi. Tuttavia, nessuno dei modelli ha riprodotto la distinzione tra articoli poster e oral osservata nelle valutazioni umane. I revisori umani hanno mostrato una chiara progressione della mediana del punteggio (Rifiutato: 4.0 → Poster: 5.33 → Oral: 6.5), mentre gli LLM non sono riusciti a differenziare tra le categorie poster e oral.
• Schemi di Punteggio Specifici per Provider: I comportamenti di punteggio variavano significativamente per provider. Google Gemini ha assegnato punteggi sistematicamente più alti in tutte le categorie, includendo l'assegnazione di un punteggio di 8 a 16 articoli rifiutati. OpenAI e Claude sono stati più vicini ai punteggi umani per gli articoli rifiutati e poster, ma sono stati più critici (hanno assegnato punteggi più bassi) rispetto agli umani durante la valutazione degli articoli oral.
• Utilizzo della Scala: Gli LLM hanno utilizzato una porzione più ristretta della scala di valutazione rispetto agli umani. Nessuno dei modelli ha assegnato gli estremi della scala (0 o 10), che sono stati invece utilizzati dai revisori umani.
• Divergenza Tematica: Sebbene le revisioni umane e quelle degli LLM condividessero i principali temi di debolezza (es. evidenza sperimentale, analisi teorica), il loro accento differiva. Gli LLM hanno identificato più frequentemente "confronti insufficienti con i baseline" come una debolezza primaria. Al contrario, i revisori umani hanno sollevato più spesso preoccupazioni riguardanti l'"efficienza computazionale e i requisiti di risorse".

Contributi
Questo lavoro fornisce tre contributi primari:

1. Una valutazione cross-provider controllata delle punteggi generati dagli LLM per la revisione tra pari, sia per esiti di accettazione ampi che per categorie di presentazione più fini.
2. La prova che distinguere articoli accettati da rifiutati non implica l'allineamento con decisioni di conferenza più fini o un uso equivalente della scala di raccomandazione.
3. Un confronto delle priorità tematiche, dimostrando che il disaccordo tra umani e LLM si estende oltre i punteggi numerici fino alle specifiche debolezze considerate rilevanti.

Significatività e Affermazioni
Il documento conclude che, sebbene gli LLM possano servire come fonti di critica supplementare — capaci di identificare debolezze ricorrenti e fornire feedback da molteplici prospettive — i loro punteggi e le loro priorità non dovrebbero essere trattati come intercambiabili con i giudizi della revisione tra pari umana. I risultati suggeriscono che l'allineamento della decisione ampia non garantisce l'accordo con i giudizi umani più fini. Di conseguenza, i futuri sistemi di revisione automatizzata dovrebbero essere valutati non semplicemente per la loro fluidità o capacità di separare articoli accettati da rifiutati, ma anche per la loro stabilità, l'uso della scala, l'ancoraggio all'evidenza e l'allineamento con la struttura sfumata della valutazione esperta. Gli autori mettono in guardia contro l'affidamento agli LLM per le decisioni finali senza riconoscere tali divergenze sistematiche.