Sintesi Tecnica: Quando il contesto trae in inganno: Surprisal, Energia e Entropia dell'Attenzione come metriche delle illusioni di coerenza nei LLM

Problema

La ricerca psicolinguistica ha stabilito che i lettori umani sono suscettibili alle "illusioni di coerenza", in cui un discorso incoerente appare coerente perché un elemento di distrazione nel contesto precedente corrisponde semanticamente alla parola critica che segue un trigger di presupposizione (ad esempio, "di nuovo" o "anche"). Questo fenomeno è spiegato dalle teorie del recupero basate su indizi (cue-based retrieval), dove l'interferenza guidata dalla somiglianza causa il recupero di elementi errati ma corrispondenti dalla memoria.

Sebbene il "contextual entrainment" o "context hijacking" nei Large Language Models (LLM) — ovvero il fenomeno per cui i modelli assegnano probabilità più elevate a token menzionati nel prompt indipendentemente dalla correttezza fattuale — sia stato osservato, rimane non chiaro se gli LLM esibiscano le specifiche illusioni di coerenza riscontrate nell'elaborazione del discorso umano. Questo articolo investiga se i LLM olandesi (sia monolingue che multilingue) replichino le illusioni di coerenza simili a quelle umane durante l'elaborazione di testi contenenti trigger di presupposizione come "opnieuw" (di nuovo) e "ook" (anche).

Metodologia

Lo studio utilizza stimoli provenienti da tre esistenti esperimenti psicolinguistici riguardanti testi olandesi (Schmitz et al., 2025; Kloostra et al., 2026). Il design sperimentale prevede brevi discorsi (tipicamente tre frasi) in cui:

1. Contesto: Stabilisce uno scenario con un target e un distruttore.
2. Trigger: Un trigger di presupposizione ("di nuovo" o "anche") appare nell'ultima frase.
3. Parola Critica: La parola che segue il trigger determina la coerenza.

Gli autori definiscono quattro condizioni basate sulla corrispondenza (match) o mancata corrispondenza (mismatch) tra il target e il distruttore rispetto alla parola critica:

• MAMA: Il target corrisponde, il distruttore corrisponde (Coerente).
• MAMI: Il target corrisponde, il distruttore non corrisponde (Coerente).
• MIMA: Il target non corrisponde, il distruttore corrisponde (Incoerente ma crea un'illusione di coerenza).
• MIMI: Il target non corrisponde, il distruttore non corrisponde (Incoerente).

Lo studio impiega 10 modelli: 6 modelli solo olandesi (basati su architetture GPT-2 e GPT-Neo, incluso GEITje-7B-ultra) e 4 modelli multilingue (EuroLLM, Aya Expanse, Qwen3, LLaMA-3.1).

Gli autori analizzano tre metriche primarie:

1. Surprisal (Sorpresa): La probabilità logaritmica negativa della parola critica, confrontata con i dati di eye-tracking umani (durata della fissazione) e i giudizi di accettabilità.
2. Entropia dell'Attenzione: Calcolata per testa e livello alla posizione critica per misurare la diffusione dell'attenzione. Un'alta entropia suggerisce interferenza o il recupero di molteplici candidati competitivi.
3. Energia: Una metrica innovativa adattata dalla letteratura sulla memoria associativa (Reti di Hopfield) per quantificare l' "adattamento" (fit) tra la query (trigger/parola critica) e le chiavi (contesto). Un'energia inferiore indica un forte match; un'energia superiore indica un cattivo adattamento o un'attenzione diffusa.

Inoltre, gli autori eseguono esperimenti di ablazione delle teste (azzeramento dei valori di teste specifiche) e addestrano probi lineari sulle rappresentazioni nascoste per determinare se l'informazione di coerenza sia esplicitamente codificata.

Risultati Chiave

1. Surprisal e Allineamento Umano

• Pattern Comportamentale: Sia i modelli solo olandesi che quelli multilingue esibiscono un ordine di surprisal $MAMA < MAMI < MIMA < MIMI$.
• Illusione di Coerenza: Fondamentalmente, la condizione MIMA (incoerente ma con un distruttore corrispondente) produce un surprisal significativamente inferiore rispetto alla condizione MIMI (completamente incoerente). Ciò rispecchia il comportamento umano in cui il distruttore corrispondente facilita l'elaborazione, creando un'illusione di coerenza.
• Correlazione Umana: I valori di surprisal dei modelli (specificamente GEITje e GPT-Neo-125M) predicono significativamente le metriche di eye-tracking umano (Prima Fissazione, Totale Sguardo, Totale Fissazione) nella regione critica. Ciò conferma che il surprisal del modello funge da affidabile proxy per la difficoltà di lettura umana a livello di discorso.

2. Entropia dell'Attenzione

• Differenziazione: L'entropia dell'attenzione distingue tra le condizioni MIMA (illusione) e MIMI (incoerenza reale).
• Specificità del Livello: Le teste nei livelli medi-tardivi dei modelli mostrano le differenze più significative di entropia tra le condizioni. Nella condizione MIMA, l'attenzione è meno diffusa rispetto alla MIMI, suggerendo che il modello recuperi con successo il distruttore corrispondente, rinforzando l'illusione.

3. Metrica dell'Energia

• Quantificazione: La metrica dell'energia quantifica con successo la coerenza del discorso.
• Risultati: La condizione MIMA esibisce punteggi di energia inferiori (indicando un percepito buon adattamento) rispetto alla condizione MIMI, nonostante entrambe siano incoerenti rispetto al target. Ciò si allinea all'ipotesi che la memoria associativa del modello recuperi il distruttore, abbassando l' "energia" dello stato.

4. Ablazione e Probing

• Ablazione delle Teste: L'ablazione delle prime 25 teste identificate dalle differenze di entropia influenza il surpral delle condizioni di non-illusione (MAMI, MAMA) più della condizione di base incoerente (MIMI). Ciò suggerisce che queste teste siano critiche per codificare la coerenza, sebbene l'effetto vari per tipo di trigger.
• Probi Lineari: Un classificatore lineare addestrato sugli stati nascosti raggiunge una precisione del 71,88% nel predire le condizioni di coerenza (caso casuale: 25%). Il classificatore confonde frequentemente MAMA (coerente) con MIMA (illusione), fornendo una prova interna che il modello rappresenta l'illusione incoerente come più vicina allo stato coerente rispetto allo stato completamente incoerente.

Contributi e Significato

Questo articolo apporta i seguenti contributi:

1. Evidenza Empirica: Dimostra che le illusioni di coerenza, precedentemente documentate nella psicolinguistica umana, emergono nei LLM olandesi attraverso architetture sia monolingue che multilingue.
2. Integrazione di Metriche: Valida il surprisal come predittore del tempo di lettura umana a livello di discorso e introduce l'entropia dell'attenzione e l'energia come metriche interne per quantificare e spiegare queste illusioni.
3. Unificazione Teorica: Gli autori inquadrano sia le illusioni di coerenza umane che il contextual entrainment dei LLM sotto la lente unificata del recupero basato su indizi e l'interferenza guidata dalla somiglianza. Ciò colma il divario tra scienze cognitive e interpretabilità dei LLM.
4. Insight Meccanicistico: Identificando le teste di attenzione e le rappresentazioni nascoste specifiche che differenziano (o non differenziano) tra stati coerenti e illusori, lo studio rivela i meccanismi interni che i LLM utilizzano per risolvere la coerenza del discorso.

Limitazioni e Ambito

Gli autori notano che lo studio è limitato alla lingua olandese e si basa su modelli addestrati su dati olandesi, che possono avere caratteristiche di performance differenti rispetto ai modelli centrati sull'inglese. Gli stimoli sono stati progettati per esperimenti psicolinguistici umani, il che potrebbe non mappare perfettamente sulla tokenizzazione o sulle distribuzioni di addestramento dei LLM. Gli autori non affermano che i LLM "allucinano" nello stesso modo in cui gli umani interpretano erroneamente, ma piuttosto che esibiscono pattern di elaborazione simili guidati da meccanismi di recupero associativo. Lo studio si concentra sulla presenza di queste illusioni e sulle metriche per rilevarle, piuttosto che proporre correzioni architettoniche specifiche per eliminarle.