Language Models Agree With Each Other, Not With Readers

La Camera dell'Eco della Grande IA contro il Lettore Silenzioso

Immaginate di essere in una stanza piena di persone che cercano di indovinare di cosa parli un libro misterioso e invisibile. Se chiedete a un gruppo di umani di leggere una pagina e di evidenziare le frasi più importanti, otterrete un caos disordinato e bellissimo. Una persona evidenzia una battuta divertente, un'altra segna un fatto triste e una terza cerchia una parola che le piace come suona. Leggono tutti per i propri motivi, senza istruzioni, senza premi e senza nessuno che dica loro cosa significhi "importante". È così che funziona la vera lettura: è personale, disordinata e piena di disaccordi.

Ora, immaginate di sostituire quegli umani con una flotta di computer super intelligenti, tutti addestrati sulla stessa enorme biblioteca di internet. Fate loro esattamente la stessa domanda: "Quali frasi in questa storia contano?". Vi aspettereste che siano altrettanto disordinati degli umani, o forse ancora più diversificati perché sono macchine differenti. Ma ecco il colpo di scena: questi computer stanno iniziando a suonare esattamente come gli altri. Scelgono tutti le stesse frasi, con un livello di accordo che nessun gruppo di umani raggiunge mai. Questo articolo investiga questo strano fenomeno. Si chiede: questi modelli di IA stanno solo copiando l'un l'altro, o hanno in qualche modo deciso tutti un unico modo "corretto" di leggere? E se sono così d'accordo tra loro, sono d'accordo con noi?

L'Esperimento: Una Battaglia di Evidenziazioni

Per trovare la risposta, i ricercatori hanno organizzato un gioco unico. Non hanno assunto persone per farle agire come soggetti di test o pagate per seguire regole. Invece, hanno osservato una vera piattaforma sociale dove migliaia di persone comuni avevano evidenziato testi su 120 diversi articoli web per i propri motivi personali — forse per ricordare un fatto, citare un amico o semplicemente perché una frase sembrava giusta. Fondamentalmente, questi lettori non potevano vedere le evidenziazioni degli altri; leggevano in totale isolamento.

Poi, i ricercatori hanno chiesto a 18 diversi modelli di IA (da grandi aziende come OpenAI, Google e Anthropic, che vanno da modelli piccoli a quelli "frontier" super potenti) di leggere gli stessi 120 articoli e selezionare il top 20% delle frasi che sembravano più importanti. Hanno confrontato quanto le IA concordassero tra loro rispetto a quanto gli umani reali concordassero tra loro.

La Grande Scoperta: Le IA sono Migliori Amiche (Ma Non Con Te)

I risultati sono stati sorprendenti. Quando due diversi modelli di IA leggono lo stesso articolo, concordano su quali frasi siano importanti circa 2,3 volte di più di quanto due lettori umani casuali concordino tra loro.

Per dare un contesto:

• Due umani che leggono la stessa pagina potrebbero condividere circa 4,1 frasi evidenziate su un tipico set di 14.
• Due modelli di IA che leggono quella stessa pagina condividono circa 8,7 frasi.
• Ancora più scioccante: i due modelli di IA più potenti di aziende rivali (GPT-5.4 e Claude Opus 5) concordavano tra loro 5,1 volte di più di quanto facessero due umani. In effetti, concordavano tra loro quasi quanto un singolo essere umano concorda con se stesso leggendo lo stesso testo due volte!

Il documento chiama questo fenomeno "convergenza". Significa che le IA stanno marciando tutte allo stesso passo, scegliendo le stesse frasi "migliori", mentre gli umani marciano in direzioni diverse.

Cosa NON È (Escludere le Spiegazioni Errate)

I ricercatori sono stati molto attenti a garantire che non si trattasse di un trucco. Hanno testato ed escluso diverse ragioni ovvie per cui le IA potrebbero essere così d'accordo:

• Non è perché appartengono alla stessa azienda: Modelli di laboratori e paesi totalmente diversi concordavano tanto quanto i modelli della stessa azienda.
• Non è perché sono "deterministici" (robotici): Anche quando alla stessa IA veniva posta esattamente la stessa domanda due volte, non sceglieva sempre le stesse frasi (concordava con se stessa solo il 27% delle volte). Ma quando parlava con un'altra IA, concordavano molto di più.
• Non è dovuto alla formulazione del prompt: Cambiare leggermente le parole dell'istruzione non ha impedito questo accordo.
• Non è perché stanno copiando una risposta "corretta": Il compito non aveva una risposta giusta o sbagliata. Le IA stavano solo scegliendo ciò che pensavano fosse importante.

Il Mistero del "Registro": Gli Piacciono Parole Diverse?

Si potrebbe ipotizzare che le IA concordino così tanto perché amano tutte le frasi lunghe, eleganti e scientifiche, mentre gli umani amano quelle brevi ed emotive. I ricercatori hanno verificato questo aspetto analizzando 11 diverse caratteristiche delle frenze (come lunghezza, punteggiatura e tipi di parole).

Hanno scoperto che quando accoppiavano le frasi per lunghezza e posizione, non c'era differenza. Le IA e gli umani sceglievano frasi che apparivano identiche in superficie. Le IA non stavano scegliendo "parole da robot"; stavano scegliendo lo stesso tipo di parole degli umani, solo un set di frasi completamente diverso. La distanza tra ciò che scelgono le IA e ciò che scelgono gli umani sta crescendo, ma non perché parlino lingue diverse.

Il Soffitto: Le IA Stanno Esaurendo lo Spazio per Essere Umane

Ecco la parte più interessante della storia. I ricercatori si sono chiesti: "Man mano che l'IA diventa più intelligente, inizia a concordare di più con gli umani?"

La risposta è sì, ma solo fino a un certo punto.

• I modelli più nuovi e intelligenti concordano di più con gli umani rispetto a quelli più vecchi e meno capaci.
• Tuttavia, colpiscono un "soffitto". Anche la migliore IA dello studio ha raggiunto solo circa l'84% del livello di accordo che un "consenso della folla" perfetto (la opinione media di molti umani) potrebbe raggiungere.
• Nel frattempo, l'accordo tra due IA continua a salire, superando il soffitto umano e andando molto più in alto.

È come se le IA stessero imparando a leggere come gli umani, ma stessero anche imparando a leggere come tra di loro ancora più velocemente. Stanno diventando così brave a imitare un lettore "ideale" specifico da lasciare indietro gli esseri umani reali.

Il Problema della Procedura: Una Sfida Equa?

L'articolo ammette anche una particolarità nel modo in cui è stato svolto il gioco. Quando un essere umano evidenzia un testo, potrebbe segnare 20 frasi, ma i ricercatori lo hanno lasciato tenere solo le migliori 14 (una selezione casuale delle sue migliori). L'IA, invece, era costretta a scegliere le sue assolute migliori 14 frasi. Questo ha dato all'IA un vantaggio sleale, come un giocatore di basket che può scegliere i suoi 14 tiri migliori mentre l'umano deve scegliere 14 tiri a caso da un mucchio di 20.

Quando i ricercatori hanno fatto giocare l'IA seguendo le regole umane (scegliendo casualmente tra le sue migliori scelte), il divario tra l'accordo dell'IA e quello umano si è ridotto della metà. Ma anche allora, le IA concordavano tra loro significativamente più degli umani. Il divario non è scomparso; si è solo ridotto.

La Conclusione

L'articolo conclude che i modelli linguistici non sono solo strumenti che ci aiutano a leggere; stanno diventando un nuovo tipo di lettore interamente. Stanno convergendo verso un modo di comprensione del testo condiviso e interno, che è molto più uniforme rispetto a come leggono le persone reali. Sebbene stiano diventando più bravi a capirci, stanno diventando ancora più bravi a capire tra di loro. Il risultato è un mondo in cui i modelli di IA potrebbero concordare con un'IA rivale di un'altra azienda più di quanto concordino con la persona che sta leggendo il testo. È una camera dell'eco potente e leggermente inquietante, dove le macchine stanno tutte intonando la stessa melodia, mentre gli umani stanno ancora cantando le proprie canzoni uniche.