Parametric Knowledge is Not All You Need: Toward Honest Large Language Models via Retrieval of Pretraining Data

Technische Zusammenfassung: Parametrisches Wissen ist nicht alles, was man braucht

Problemdefinition
Große Sprachmodelle (LLMs) leiden häufig unter „Halluzinationen“, indem sie faktisch falsche Antworten generieren, da ihnen das Bewusstsein für ihre eigenen Wissensgrenzen fehlt. Bestehende Methoden zur Verbesserung der „Ehrlichkeit“ von LLMs – definiert als die Fähigkeit, Antworten zu verweigern, die außerhalb des eigenen Wissens liegen (Selbstwissen), und korrekte Antworten zu geben, wenn Wissen vorhanden ist (Selbstausdruck) – stehen vor erheblichen Evaluierungsproblemen. Bestehende Benchmarks behandeln LLMs oft als Black Boxes und schätzen Wissensgrenzen indirekt ein. Dies führt zu fehlerhaften Evaluierungen, bei denen das Versagen eines Modells beim Beantworten einer Frage auf einen Mangel an Wissen (ein Problem des Selbstwissens) zurückgeführt wird, obwohl es sich tatsächlich um eine Inkonsistenz im Ausdruck handeln kann (ein Problem des Selbstausdrucks). Darüber hinaus ist es ohne Zugriff auf die spezifischen Trainingsdaten unmöglich, definitiv zu bestimmen, ob ein Modell eine Antwort wissen sollte, was ein robustes Benchmarking erschwert.

Methodik
Die Autoren schlagen einen zweigleisigen Ansatz vor: ein neues Evaluierungs-Benchmark sowie eine neuartige Methode zur Inferenzzeit namens RETAIN (Retrieval-Enhanced Training-Aware Inference).

1. Benchmark-Konstruktion (TIP-TRIVIAQA):

   • Unter Nutzung von Pythia, einem wahrhaft offenen LLM mit öffentlich verfügbaren Vortrainingsdaten, konstruieren die Autoren ein Benchmark, bei dem die „Ground Truth“ des Wissens bekannt ist.
   • Sie verwenden einen zweistufigen Suchprozess, um zu bestimmen, ob eine Frage „beantwortbar“ (die Antwort existiert im Vortrainingskorpus) oder „unbeantwortbar“ (sie existiert nicht) ist:
     • Token-basierte Suche: Ruft Dokumente ab, die spezifische Schlüsselwörter aus der Frage und der Gold-Antwort enthalten. Ein LLM beurteilt die Relevanz.
     • Vektor-basierte Suche: Wenn die Token-Suche eine Frage nicht klärt, wird die semantische Ähnlichkeit verwendet, um Dokumente abzurufen, gefolgt von einer Relevanzprüfung.
   • Dies schafft einen Datensatz (TIP-TRIVIAQA), in dem Fragen explizit basierend auf der tatsächlichen Exposition des Modells gegenüber den Informationen während des Vortrainings kategorisiert werden.

2. Die RETAIN-Methode:

   • RETAIN ist ein agentenbasiertes Framework, das aus drei Komponenten besteht:
     • Retriever: Kodiert die Eingabefrage und ruft die Top-$k$-Dokumente aus dem eigenen Vortrainingskorpus des Modells mittels Dense Retrieval ab.
     • Answerability Classifier (Beantwortbarkeit-Klassifikator): Ein fein abgestimmtes Modell, das bestimmt, ob die abgerufenen Dokumente ausreichend Informationen enthalten, um die Frage zu beantworten. Wenn kein relevantes Dokument gefunden wird, löst das System eine Verweigerung aus („Ich weiß es nicht“).
     • Responder: Ein fein abgestimmtes Modell, das die Gold-Antwort unter Verwendung des abgerufenen Dokuments als Kontext generiert, aber nur, wenn der Klassifikator die Frage als beantwortbar einstuft.

Wesentliche Beiträge

1. Ein robustes Benchmark: Die Arbeit stellt das erste Benchmark für die Ehrlichkeit von LLMs vor, das die Wissensgrenze des Modells explizit berücksichtigt, indem es relevante Dokumente innerhalb seiner Vortrainingsdaten identifiziert und somit über die Black-Box-Evaluierung hinausgeht.
2. Eine neuartige Inferenzmethode: Die Autoren schlagen RETAIN vor, welches während der Inferenzzeit Retrieval über den eigenen Vortrainingskorpus des Modells nutzt. Dies ermöglicht es dem Modell, zwischen Fragen zu unterscheiden, die es gesehen hat (und beantworten kann) und solchen, die es nicht gesehen hat (und die es verweigern sollte).
3. Empirische Validierung: Die Studie zeigt, dass die bloße Augmentierung von Prompts mit Dokumenten aus den Vortrainingsdaten sowohl die Antwortgenauigkeit als auch die Fähigkeit des Modells verbessert, seine eigenen Grenzen zu erkennen.

Ergebnisse
Experimente auf dem TIP-TRIVIAQA-Benchmark unter Verwendung von Pythia-12b-deduped zeigen, dass RETAIN bestehende Baselines (einschließlich SFT, Best-of-N, DPO und R-Tuning) signifikant übertrifft.

• Leistung: RETAIN erreicht einen ExactMatch-F1-Score von 58,57 und einen PartialMatch-F1 von 62,23, was deutlich höher ist als die nächstbeste Baseline (R-Tuning mit 44,16 PM-F1).
• Generalisierung: Auf dem HoneSet-Datensatz (der Fragen enthält, die Menschen nicht beantworten können) erreicht RETAIN eine Verweigerungsrate von 87,63 % und übertrifft damit alle Baselines signifikant, was darauf hindeutet, dass die Methode über das spezifische Benchmark hinaus generalisiert.
• Ablation: Die Ergebnisse bestätigen, dass die Kombination aus Retrieval, Beantwortbarkeitsklassifizierung und einem trainierten Responder notwendig für eine optimale Leistung ist; das Entfernen einer Komponente verschlechtert den F1-Score.

Bedeutung
Die Arbeit behauptet, das erste Werk zu sein, das Vortrainingsdaten nutzt, um ein LLM-Ehrlichkeits-Benchmark zu konstruieren und Retrieval über den eigenen Vortrainingskorpus eines Modells für die Beantwortung von Fragen durchzuführen. Die Autoren argumentieren, dass parametrisches Wissen allein nicht ausreicht, um Ehrlichkeit zu gewährleisten; stattdessen benötigen Modelle einen Mechanismus, um auf ihre Trainingsdaten zuzugreifen und diese zu verifizieren, um ihre Wissensgrenzen präzise wahrzunehmen. Durch die Nutzung der Transparenz offener Modelle wie Pythia bietet diese Arbeit einen Weg zu zuverlässigeren, interpretierbaren und ehrlicheren KI-Assistenten, die explizit zugeben können, wenn sie eine Antwort nicht wissen, wodurch Halluzinationen in kritischen Bereichen reduziert werden.