Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation

1. Il Problema

I modelli linguistici di grandi dimensioni (LLM) acquisiscono conoscenze durante il pre-addestramento su vasti corpora testuali. Tuttavia, durante la fase di Fine-Tuning Supervisionato (SFT) per adattarsi a nuovi compiti o domini, i modelli possono incontrare conoscenze non presenti nel pre-addestramento.
Studi precedenti hanno dimostrato che l'introduzione di nuove conoscenze durante il post-addestramento può indurre allucinazioni fattuali: il modello genera affermazioni plausibili ma errate, degradando le prestazioni anche su informazioni che conosceva già precedentemente.
Nonostante ciò, le manifestazioni specifiche di queste allucinazioni, i loro meccanismi sottostanti e la loro propagazione attraverso diversi tipi di compiti rimangono poco compresi. In particolare, non è chiaro se il problema dipenda dalla quantità totale di nuove conoscenze o dalla loro distribuzione specifica, né come le allucinazioni si diffondano tra compiti diversi.

2. Metodologia

Per colmare queste lacune, gli autori hanno progettato un approccio controllato e sistematico:

• Dataset Sintetico Controllato (Biography-Reasoning):
  Gli autori hanno creato un dataset sintetico basato su entità biografiche (persone) con quattro attributi: anno di nascita, anno di morte, corso di laurea e università. Questi attributi definiscono quattro "tipi di conoscenza".
  Il dataset include due categorie di compiti:

  1. QA (Question Answering): Domande dirette su un attributo.
  2. Reasoning (Ragionamento): Compiti più complessi che richiedono catene di pensiero (Single, Comparative e Novel Reasoning), spesso utilizzando conoscenze ausiliarie (es. "La medicina appartiene al campo della salute").
     Questo setup permette di controllare con precisione quali dati sono "noti" (già visti dal modello) e quali sono "sconosciuti" (nuovi) durante l'addestramento.

• Esperimenti di Addestramento:
  Sono stati utilizzati modelli come Qwen2.5-1.5B, Llama3.2-1B e varianti più grandi. Gli esperimenti hanno confrontato modelli addestrati su:

  • Solo conoscenze note (Baseline).
  • Conoscenze note + nuove conoscenze (in diverse proporzioni e configurazioni).
  • Sostituzione completa di un tipo di conoscenza con dati sconosciuti.

• Analisi dell'Interpretabilità:
  Gli autori hanno analizzato i pesi di attenzione (attention weights) del modello per comprendere come l'apprendimento di nuove conoscenze alteri il comportamento interno del modello, focalizzandosi specificamente sull'attenzione verso le entità chiave (es. i nomi delle persone) nelle domande.

• Proposta di Soluzione (KnownPatch):
  È stata introdotta una tecnica di intervento che consiste nell'iniettare una piccola quantità di conoscenza nota nelle fasi finali dell'addestramento, dopo che il modello ha appreso le nuove informazioni.

3. Contributi Chiave

1. Analisi Granulare delle Allucinazioni:
   Lo studio rivela che le allucinazioni non si limitano ai compiti che coinvolgono direttamente la nuova conoscenza. Se un intero "tipo" di conoscenza è composto esclusivamente da dati sconosciuti, il modello sviluppa una tendenza all'allucinazione che propaga negativamente anche su compiti di QA e ragionamento relativi a conoscenze note e persino su dataset fuori distribuzione (OOD).

2. Il Ruolo della "Sconosciutezza" Completa:
   È stato scoperto che la gravità delle allucinazioni non dipende solo dalla percentuale totale di nuovi dati, ma dalla completezza dell'ignoto in un determinato tipo di conoscenza. Anche una piccola quantità di dati è sufficiente a causare gravi allucinazioni se l'intero tipo di conoscenza è sconosciuto, mentre la presenza di alcuni esempi noti mitiga il problema.

3. Meccanismo Causale (Attenzione alle Entità):
   L'analisi dell'interpretabilità dimostra che l'apprendimento di nuove conoscenze indebolisce l'attenzione del modello verso le entità chiave (es. i nomi) nella domanda. Di conseguenza, il modello diventa eccessivamente dipendente dal contesto circostante, portando a errori fattuali. Al contrario, l'addestramento su conoscenze note rafforza l'attenzione sulle entità.

4. Propagazione Basata sulla Similarità Lessicale:
   Le allucinazioni si propagano tra compiti diversi principalmente attraverso la similarità lessicale (sovrapposizione di token nel contesto) e non attraverso la similarità semantica. Contesti che condividono parole o frasi simili con i dati di addestramento "sconosciuti" sono più suscettibili a ereditare i pattern di attenzione distorti.

5. Soluzione Pratica (KnownPatch):
   Gli autori dimostrano che iniettare una piccola percentuale di dati noti (es. 5-20%) alla fine dell'addestramento (KnownPatch) ripristina i pattern di attenzione sulle entità chiave e mitiga significativamente le allucinazioni, generalizzando anche a dati fuori distribuzione.

4. Risultati Principali

• Degradazione delle Prestazioni: L'addestramento su conoscenze sconosciute riduce l'accuratezza dei compiti QA dello stesso tipo di oltre il 50% e causa un degrado misurabile anche su compiti di ragionamento e dataset reali (Wiki).
• Correlazione Attenzione-Allucinazione: Esiste una forte correlazione inversa tra il punteggio di attenzione sulle entità chiave e la gravità delle allucinazioni. Quando l'attenzione cala, le allucinazioni aumentano.
• Efficacia di KnownPatch: L'iniezione di conoscenze note nelle fasi finali ripristina l'attenzione sulle entità e riporta le prestazioni vicino ai livelli della baseline (addestrata solo su dati noti), anche in scenari peggiori dove tutti i dati di un tipo erano sconosciuti.
• Propagazione: I compiti con alta sovrapposizione lessicale con i dati di addestramento "sconosciuti" mostrano un degrado delle prestazioni molto più elevato rispetto a compiti semanticamente simili ma lessicalmente diversi.

5. Significato e Implicazioni

Questo lavoro è fondamentale per la comprensione della stabilità dei LLM durante l'aggiornamento delle conoscenze:

• Sicurezza e Affidabilità: Dimostra che l'aggiornamento dei modelli con nuove informazioni senza un'attenta gestione può compromettere la loro affidabilità su conoscenze preesistenti.
• Progettazione di Addestramento: Suggerisce che la strategia di addestramento non deve essere solo quantitativa, ma deve considerare la distribuzione dei tipi di conoscenza. Evitare che interi domini diventino "completamente nuovi" senza esempi di riferimento è cruciale.
• Mitigazione delle Allucinazioni: La tecnica KnownPatch offre una soluzione semplice ed efficiente (basso costo computazionale) per correggere le distorsioni indotte dall'apprendimento, senza richiedere un ri-addestramento completo o filtri complessi sui dati.
• Meccanismo di Propagazione: Identificare la similarità lessicale come vettore di propagazione delle allucinazioni apre nuove strade per la diagnosi e la prevenzione degli errori in contesti multi-task.

In sintesi, il paper fornisce una spiegazione meccanicistica del perché le nuove conoscenze inducono allucinazioni (distorsione dell'attenzione) e offre una strategia pratica per mitigare questo fenomeno, migliorando la robustezza dei modelli linguistici nell'apprendimento continuo.