Probing for Knowledge Attribution in Large Language Models

1. Il Problema: Allucinazioni e Provenienza della Conoscenza

I Large Language Models (LLM) tendono a generare risposte fluide ma infondate, note come "allucinazioni". Queste si dividono in due categorie:

1. Violazioni di fedeltà (Faithfulness violations): L'uso errato del contesto fornito dall'utente (es. ignorare le istruzioni o i documenti di riferimento).
2. Violazioni di fattualità (Factuality violations): Errori derivanti dalla conoscenza interna del modello (i pesi parametrici).

Il problema fondamentale è che le tecniche di rilevamento esistenti spesso non riescono a distinguere da quale fonte provenga una risposta: se dal prompt (contesto) o dalla memoria interna del modello (parametri). Senza questa distinzione, è difficile mitigare gli errori o verificare l'affidabilità di un'informazione, specialmente in sistemi Retrieval-Augmented Generation (RAG) dove il modello potrebbe ignorare le evidenze recuperate.

2. Metodologia: ATTRIWIKI e Probing

Gli autori propongono un approccio basato sul probing (sondaggio) delle rappresentazioni interne del modello, supportato da un nuovo dataset auto-supervisionato.

A. ATTRIWIKI: Un Pipeline di Dati Auto-Supervisionata

Per addestrare un classificatore in grado di distinguere le fonti di conoscenza, è necessario un dataset etichettato dove la fonte sia nota e isolata. Gli autori hanno creato ATTRIWIKI utilizzando passaggi di Wikipedia e un modello di generazione (GPT-4o-mini) per creare coppie di prompt controllati:

• Selezione delle Entità: Vengono selezionate entità nominate dai passaggi Wikipedia.
• Test di Conoscenza: Si verifica se il modello target conosce l'entità senza l'aiuto del contesto (memoria parametrica) o se ne ha bisogno (conoscenza contestuale).
• Generazione di Varianti:
  • Variante Parametrica: Se l'entità è nota al modello, viene rimossa dal testo di contesto, costringendo il modello a rispondere basandosi solo sulla memoria interna.
  • Variante Contestuale: Se l'entità è sconosciuta, viene mantenuta nel testo, costringendo il modello a rispondere basandosi sul contesto fornito.
• Estrazione degli Stati Nascosti: Durante la generazione, vengono estratti gli stati nascosti (hidden states) del modello in due posizioni chiave:
  1. FTG (First Token of Generation): Il primo token generato.
  2. LTE (Last Token of Entity): L'ultimo token dell'entità menzionata.

B. Classificatori di Probing

Sugli stati nascosti estratti vengono addestrati classificatori lineari leggeri (probing classifiers) per prevedere la fonte di conoscenza (Parametrica vs. Contestuale). Vengono testati tre modelli:

1. Final-LR: Regressione logistica sull'ultimo strato del transformer.
2. Layer-LR: Regressione logistica che combina gli stati di tutti gli strati con pesi appresi (aggregazione).
3. Layer-MLP: Una rete neurale semplice (MLP) che opera su una rappresentazione aggregata degli strati.

3. Contributi Chiave

1. ATTRIWIKI: Un dataset scalabile e auto-supervisionato che isola l'uso della conoscenza parametrica da quella contestuale senza bisogno di etichettatura manuale.
2. Dimostrazione di Linearità: L'articolo dimostra che l'informazione sulla "provenienza" (attribuzione) è linearmente decodificabile dagli stati nascosti degli LLM, specialmente negli strati intermedi e superiori.
3. Generalizzazione Fuori Dominio: I probe addestrati su ATTRIWIKI funzionano eccezionalmente bene su dataset esterni (SQuAD, WebQuestions) senza bisogno di ri-addestramento.
4. Correlazione con l'Errore: Viene stabilito un legame diretto tra la confusione sulla fonte di conoscenza e l'aumento del tasso di errore.

4. Risultati Sperimentali

• Prestazioni di Classificazione:
  • I probe raggiungono un Macro-F1 fino a 0.96 su modelli come Llama-3.1-8B, Mistral-7B e Qwen-7B.
  • L'aggregazione degli strati (Layer-LR) migliora significativamente le prestazioni rispetto all'uso del solo ultimo strato (miglioramento di 7-11 punti percentuali).
  • Il token LTE (ultimo token dell'entità) offre prestazioni leggermente superiori rispetto al FTG.
• Analisi degli Strati: L'analisi PCA e i pesi appresi mostrano che la separazione tra segnali contestuali e parametrici diventa chiara a partire dagli strati intermedi e superiori del transformer.
• Generalizzazione:
  • Su SQuAD (dominio contestuale) e WebQuestions (dominio parametrico), i modelli raggiungono un'accuratezza tra 0.94 e 0.99 senza ri-addestramento.
• Analisi degli Errori (Mismatch):
  • Quando c'è un "mismatch di attribuzione" (il modello risponde dalla fonte sbagliata), il tasso di errore aumenta drasticamente.
  • In contesti fuorvianti, affidarsi alla conoscenza parametrica quando servirebbe quella contestuale aumenta gli errori fino al 70%.
  • Tuttavia, un'attribuzione corretta non garantisce sempre la correttezza fattuale (il modello può attribuire correttamente al contesto ma rispondere comunque male).

5. Significato e Implicazioni

Questo lavoro sposta il focus dalla semplice rilevazione dell'allucinazione (è vero o falso?) alla diagnosi della provenienza (da dove viene questa informazione?).

• Nuova Metrica di Affidabilità: L'attribuzione contributiva offre un segnale diagnostico indipendente dall'incertezza del modello (un modello può essere sicuro ma sbagliato se usa la fonte sbagliata).
• Applicazioni Pratiche:
  • Nei sistemi RAG, un probe di attribuzione potrebbe rilevare in tempo reale se il modello sta ignorando le evidenze recuperate, attivando meccanismi di verifica o re-retrieval.
  • Nei chatbot, esporre l'origine della risposta (es. "Basato sui documenti forniti" vs "Basato sulla mia conoscenza interna") può migliorare la trasparenza e la fiducia dell'utente.
• Limiti: Il metodo dipende dal dominio controllato di Wikipedia e richiede un addestramento specifico per ogni architettura di modello. Inoltre, l'attribuzione corretta non risolve tutti i tipi di errori (es. allucinazioni di fatto anche quando la fonte è corretta).

In sintesi, il paper dimostra che la "provenienza" della conoscenza è una proprietà intrinseca e rilevabile negli stati interni degli LLM, offrendo uno strumento potente per migliorare la trasparenza e la robustezza dei sistemi di intelligenza artificiale.