Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

Sintesi Tecnica: La conoscenza parametrica non è tutto ciò di cui si ha bisogno

Definizione del Problema
I Large Language Models (LLM) soffrono frequentemente di "allucinazioni", generando risposte fattualmente errate perché mancano della consapevolezza dei propri confini di conoscenza. I metodi attuali per migliorare l' "onestà" degli LLM — definita come la capacità di rifiutare di rispondere a domande al di fuori della propria conoscenza (auto-conoscenza) e di rispondere correttamente quando la conoscenza esiste (auto-espressione) — affrontano sfide di valutazione significative. Gli existing benchmark trattano spesso gli LLM come scatole nere, stimando i confini della conoscenza in modo indiretto. Ciò porta a valutazioni fallaci in cui il mancato successo di un modello nel rispondere viene attribuito a una mancanza di conoscenza (un problema di auto-conoscenza) quando potrebbe trattarsi in realtà di un'incoerenza nell'espressione (un problema di auto-espressione). Inoltre, senza accesso ai dati di addestramento specifici, è impossibile determinare in modo definitivo se un modello dovrebbe conoscere una risposta, rendendo difficile una valutazione robusta.

Metodologia
Gli autori propongono un approccio a due fronti: un nuovo benchmark di valutazione e un nuovo metodo di inferenza chiamato RETAIN (Retrieval-Enhanced Training-Aware Inference).

1. Costruzione del Benchmark (TIP-TRIVIAQA):

   • Sfruttando Pythia, un LLM completamente open con dati di pre-addestramento pubblicamente disponibili, gli autori costruiscono un benchmark in cui la "verità fondamentale" (ground truth) della conoscenza è nota.
   • Utilizzano un processo di ricerca in due fasi per determinare se una domanda è "rispondibile" (la risposta esiste nel corpus di pre-addestramento) o "non rispondibile" (non esiste):
     • Ricerca basata su Token: Recupera documenti contenenti parole chiave specifiche della domanda e della risposta d'oro. Un LLM giudica la rilevanza.
     • Ricerca basata su Vettori: Per le domande non risolte dalla ricerca su token, viene utilizzata la similarità semantica per recuperare i documenti, seguita da un giudizio di rilevanza.
   • Questo crea un dataset (TIP-TRIVIAQA) in cui le domande sono esplicitamente categorizzate in base all'effettiva esposizione del modello alle informazioni durante il pre-addestramento.

2. Il Metodo RETAIN:

   • RETAIN è un framework agentico composto da tre componenti:
     • Retriever (Recuperatore): Codifica la domanda di input e recupera i top-$k$ documenti dal proprio corpus di pre-addestramento utilizzando il recupero denso (dense retrieval).
     • Answerability Classifier (Classificatore di Rispondibilità): Un modello sottoposto a fine-tuning che determina se i documenti recuperati contengono informazioni sufficienti per rispondere alla domanda. Se non viene trovato alcun documento rilevante, il sistema attiva un rifiuto ("Non lo so").
     • Responder (Risponditore): Un modello sottoposto a fine-tuning che genera la risposta d'oro utilizzando il documento recuperato come contesto, ma solo se il classificatore ritiene che la domanda sia rispondibile.

Contributi Chiave

1. Un Benchmark Robusto: Il paper introduce il primo benchmark per l'onestà degli LLM che tiene esplicitamente conto del confine di conoscenza del modello identificando i documenti rilevanti all'interno dei suoi dati di pre-addestramento, andando oltre la valutazione black-box.
2. Un Nuovo Metodo di Inferenza: Gli autori propongono RETAIN, che sfrutta il recupero sul proprio corpus di pre-addestramento durante l'inferenza. Ciò consente al modello di distinguere tra domande che ha visto (e può rispondere) e quelle che non ha visto (e dovrebbe rifiutare).
3. Validazione Empirica: Lo studio dimostra che il semplice aumento dei prompt con documenti provenienti dai dati di pre-addestramento migliora sia l'accuratezza della risposta che la capacità del modello di riconoscere i propri limiti.

Risultati
Gli esperimenti condotti sul benchmark TIP-TRIVIAQA utilizzando Pythia-12b-deduped mostrano che RETAIN supera significativamente i baseline esistenti (inclusi SFT, Best-of-N, DPO e R-Tuning).

• Performance: RETAIN raggiunge un punteggio ExactMatch-F1 di 58.57 e un PartialMatch-F1 di 62.23, sensibilmente superiore al secondo miglior baseline (R-Tuning a 44.16 PM-F1).
• Generalizzazione: Sul dataset HoneSet (contenente domande che gli umani non possono rispondere), RETAIN raggiunge un tasso di rifiuto dell'87.63%, superando significativamente tutti i baseline, indicando che il metodo generalizza oltre il benchmark specifico.
• Ablation (Studio di Ablazione): I risultati confermano che la combinazione di recupero, classificazione della rispondibilità e un risponditore addestrato è necessaria per le prestazioni ottimali; rimuovere qualsiasi componente degrada il punteggio F1.

Significatività
Il paper sostiene di essere il primo a sfruttare i dati di pre-addestramento per costruire un benchmark di onestà per gli LLM e per eseguire il recupero sul proprio corpus di pre-addestramento per il question answering. Gli autori sostengono che la sola conoscenza parametrica non è sufficiente per l'onestà; invece, i modelli richiedono un meccanismo per accedere e verificare i propri dati di addestramento per percepire accuratamente i propri limiti di conoscenza. Utilizzando la trasparenza di modelli open come Pythia, questo lavoro fornisce una via verso assistenti IA più affidabili, interpretabili e onesti che possono riconoscere esplicitamente quando non conoscono una risposta, riducendo così le allucinazioni in domini critici.