← Ultimi articoli
💬 NLP

A Mechanistic Analysis of In-Context Learning and Out-of-Context Hallucination

Questo articolo propone un quadro meccanicistico unificato che spiega sia l'apprendimento in-context che l'allucinazione out-of-context come esiti di come le informazioni sul ruolo vengono rappresentate internamente e aggregate, dimostrando che il successo nell'aderenza alle regole rispetto all'allucinazione dipende dall'entità e dalla coerenza dei contributi dello span del ruolo nei punti decisionali chiave.

Autore originale: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Pubblicato 2026-11-19
📖 5 min di lettura🧠 Approfondimento

Autore originale: Tianxiang Chen, Jingyuan Zhou, Guoyao Yang, Kaidi Yang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dall'autore. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I modelli linguistici di grandi dimensioni sono i motori che alimentano una nuova generazione di intelligenza artificiale, capaci di leggere un prompt e generare testo simile a quello umano su richiesta. Una delle loro capacità più celebrate è l'apprendimento in-context, in cui un modello può inferire una regola specifica dagli esempi forniti in un prompt e seguirla fedelmente. Se un utente chiede al modello di riassumere un elenco di record come un oggetto JSON, il modello può apprendere quel formato e applicarlo perfettamente. Eppure, questi stessi sistemi soffrono di un difetto frustrante noto come allucinazione. A volte, quando gli viene chiesto di rispondere a una domanda basandosi su prove fornite, il modello ignora i fatti che ha proprio davanti a sé e inventa dettagli non supportati dal testo. Ciò crea una contraddizione sconcertante: come può la stessa macchina essere così obbediente a una regola che ha appena appreso, eppure così trascurata con i fatti che le sono stati dati? Per anni, i ricercatori hanno studiato questi due comportamenti separatamente, trattandoli come fenomeni distinti. Ma questa separazione ha lasciato un vuoto nella nostra comprensione del perché il modello abbia successo in un caso e fallisca nell'altro.

Un team di ricercatori della National University of Singapore ha ora colmato questo divario osservando la meccanica interna di questi modelli. Essi propongono che sia il seguire con successo le regole, sia il fallire nel rispettare i fatti, dipendano dallo stesso processo sottostante. La chiave della loro scoperta risiede nel modo in cui il modello elabora le diverse parti di un prompt. In un dato prompt, parte del testo funge da regola, dicendo al modello come strutturare la sua risposta, mentre altra parte funge da evidenza, fornendo i fatti specifici da utilizzare. I ricercatori hanno scoperto che il modello "comprende" effettivamente la differenza tra questi ruoli internamente. Esso crea un pattern di attività specifico e organizzato nella sua rete neurale per rappresentare se sta guardando una regola o un pezzo di evidenza. Tuttavia, avere semplicemente questa rappresentazione interna non è sufficiente a garantire una risposta corretta. Il modello può riconoscere il ruolo del testo senza che tale riconoscimento controlli effettivamente il suo output finale.

Per scoprire come ciò avvenga, i ricercatori hanno sviluppato un modo per misurare l'influenza di parti specifiche del prompt sulle decisioni del modello. Si sono concentrati sul "role span", ovvero la sezione specifica di testo che contiene o la regola o l'evidenza. Confrontando il comportamento del modello quando questo testo è presente rispetto a quando viene sostituito con contenuti diversi, sono riusciti a isolare esattamente quanto quel testo specifico stesse spingendo il modello verso una determinata risposta. Hanno scoperto che, affinché il modello segua una regola o utilizzi le evidenze correttamente, l'influenza proveniente da quel testo deve essere abbastanza forte e deve puntare nella direzione giusta in modo costante. Non basta che il modello "veda" la regola; il segnale matematico di quella regola deve essere abbastanza grande da superare altri segnali in competizione nel cervello del modello, e deve allinearsi con la direzione della risposta corretta in ogni fase del processo di generazione.

Lo studio rivela che il motivo per cui i modelli seguono bene le regole ma spesso falliscono con i fatti risiede nel luogo e nel modo in cui questa influenza viene applicata. Quando un modello sta seguendo una regola, come formattare una risposta come un elenco, l'influenza del testo della regola deve essere sostenuta attraverso molte decisioni diverse. Il modello deve scegliere ripetutamente la struttura corretta, e il segnale della regola deve rimanere abbastanza forte in ogni uno di questi passaggi per mantenere il modello sulla strada giusta. Al contrario, quando un modello dovrebbe usare le evidenze, il momento critico è molto più specifico. L'influenza del testo dell'evidenza deve essere abbastanza potente nel momento esatto in cui il modello decide su un fatto specifico. Se il segnale dall'evidenza è troppo debole in quell'istante preciso, o se viene annullato da altri segnali, il modello devierà e inventerà un fatto invece di usare quello fornito.

I ricercatori hanno testato questa teoria intervenendo direttamente nei calcoli del modello. Hanno scoperto che, quando indebolivano artificialmente il segnale proveniente dal testo della regola, il modello spesso dimenticava il formato che doveva seguire. Allo stesso modo, quando riducevano l'influenza del testo dell'evidenza, il modello smetteva di usare i fatti forniti e iniziava ad allucinare. Forse, l'aspetto più rivelatore, hanno dimostrato che questo fallimento non è sempre permanente. Nei casi in cui il modello inizialmente non riusciva a usare l'evidenza, i ricercatori sono stati in grado di invertire l'errore potenziando artificialmente il segnale proveniente dal testo dell'evidenza. Quando il supporto per il fatto corretto è diventato abbastanza forte da superare l'esitazione iniziale del modello, quest'ultimo è riuscito a passare alla risposta corretta. Ciò suggerisce che il modello ha spesso l'informazione corretta disponibile internamente, ma non riesce ad agire su di essa perché il segnale non è abbastanza forte da vincere la competizione interna al momento della decisione.

Questo lavoro offre una spiegazione unificata per due comportamenti apparentemente opposti. Suggerisce che la differenza tra un modello che segue le istruzioni perfettamente e uno che mente sui fatti non è una differenza nel modo in cui comprende il prompt, ma una differenza nel modo in cui l'influenza di quel prompt viene sostenuta durante il processo di generazione. Per le regole, l'influenza deve essere una forza costante e persistente che guida la struttura della risposta. Per i fatti, l'influenza deve essere una spinta netta e decisiva nel momento esatto in cui viene scelto un valore specifico. Lo studio conclude che l'affidabilità del modello dipende dal fatto che il segnale interno dal prompt sia abbastanza forte e organizzato correttamente da vincere questi momenti critici di scelta. Comprendendo questo meccanismo, otteniamo un quadro più chiaro del perché questi potenti strumenti a volte lavorino come un assistente perfetto e altre volte come un mentitore sicuro di sé, e di come la stessa macchina interna sia responsabile di entrambi i risultati.

Sommerso dagli articoli nel tuo campo?

Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.

Prova Digest →