Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

Technisches Fazit: Auf dem Weg zu verlässlichen, faktenbasierten Generierungen durch Retrieval-Augmented Generation mittels Vorhersage faktischer Konfidenz

Problemstellung
Retrieval-Augmented Generation (RAG) hat sich zum Standard für die Ausstattung von Large Language Models (LLMs) mit domänenspezifischem Wissen entwickelt. Eine kritische Schwachstelle bleibt jedoch bestehen: Es gibt keine inhärente Garantie dafür, dass der durch Ähnlichkeitssuche wiedergewonnene Kontext die generierten Fakten tatsächlich stützt, noch dass das LLM trotz Vorliegens relevanten Kontexts keine Informationen halluziniert. Aktuelle Methoden zur Sicherheitsgewährleistung verlassen sich häufig auf heuristische Verbesserungen oder spezifische Komponentenmodifikationen und fehlt ein allgemeines, architekturagnostisches Protokoll, das zertifizierbare Garantien für die RAG-Pipeline bietet. Die Kernherausforderung besteht darin, aussagekräftige Konfidenzmaße sowohl mit dem Wiedergewinnungsprozess (zur Sicherstellung der Quellenvertrauenswürdigkeit) als auch mit dem Generierungsprozess (zur Sicherstellung der Faktizität im Verhältnis zum wiedergewonnenen Kontext) zu verknüpfen.

Methodik
Die Autoren schlagen ein zweistufiges, architekturagnostisches Zertifizierungsprotokoll vor, das ohne Modifikation der zugrunde liegenden Wiedergewinnungs- oder LLM-Komponenten arbeitet.

1. Schätzung der Wiedergewinnungskonfidenz (Block 1):

   • Ansatz: Die Autoren wenden Konforme Vorhersage (Conformal Prediction, CP) auf den Wiedergewinnungsprozess an, um nur solche Dokumentenabschnitte auszuwählen, die mit einer statistisch garantierten Wahrscheinlichkeit aus der korrekten Quelle stammen.
   • Mechanismus: Unter Verwendung eines Kalibrierungsdatensatzes aus Frage-Referenz-Antwort-Tupeln berechnet das System einen Nicht-Übereinstimmungsschwellenwert basierend auf Wiedergewinnungswerten und einem Ähnlichkeitsmetrik (RougeL). Ein Schwellenwert $s_{thres}$ wird festgelegt, um korrekte Abschnitte von inkorrekten zu unterscheiden.
   • Garantie: Unter der Annahme der Stichproben-Austauschbarkeit bietet diese Methode eine statistische Garantie (gesteuert durch die Fehlerrate $\alpha$), dass die Menge der „vertrauenswürdigen" Abschnitte den wahren Quellabschnitt enthält.
   • Diagnostik: Die Autoren führen zwei Metriken ein, $m_1$ (binäres Vorhandensein eines vertrauenswürdigen Abschnitts) und $m_2$ (Anteil vertrauenswürdiger Abschnitte), um zu diagnostizieren, ob eine bestimmte Wiedergewinnungs-Datensatz-Kombination die für das Bestehen von CP erforderliche Austauschbarkeitsannahme erfüllt.

2. Schätzung der Antwortkonfidenz (Block 2):

   • Ansatz: Zur Erkennung von Halluzinationen in der endgültigen Antwort nutzen die Autoren einen auf Aufmerksamkeit basierenden Faktizitätsklassifikator.
   • Mechanismus: Das System extrahiert während der Generierung intermediate Aufmerksamkeitwerte aus dem LLM. Insbesondere berechnet es abschnittsweise Lookback-Verhältnisse (chunk-wise lookback ratios, CW LR), die das durchschnittliche Maß an Aufmerksamkeit messen, das das Modell spezifischen wiedergewonnenen Kontextabschnitten im Verhältnis zur gesamten Aufmerksamkeit, die auf den Kontext und die generierte Ausgabe gerichtet wird, entgegenbringt.
   • Klassifikator: Eine einfache logistische Regressionseinheit wird auf diesen Lookback-Verhältnissen trainiert, um einen Faktizitätswert vorherzusagen. Entscheidend ist, dass die Autoren Aufmerksamkeit aus Systemprompts und der Benutzerfrage aus dem Merkmalsvektor ausschließen, um zu verhindern, dass der Klassifikator domänenspezifische Verzerrungen (z. B. „Finanzfragen sind schwieriger") anstelle einer faktischen Verankerung lernt.

Hauptbeiträge

• Zertifizierbare RAG-Pipeline: Ein neuartiger Arbeitsablauf, der konforme Vorhersage für die Wiedergewinnung und auf Aufmerksamkeit basierende Erkennung für die Generierung integriert und separate Konfidenzmetriken für jede Stufe bereitstellt.
• Diagnostische Metriken: Die Einführung der Metriken $m_1$ und $m_2$ zur Bewertung der Eignung eines RAG-Setups. Die Arbeit zeigt, dass, wenn diese Metriken eine schlechte Leistung des Wiedergewinners anzeigen (Verletzung der Austauschbarkeit), die statistischen Garantien von CP versagen und die Filterung von Abschnitten die Antwortqualität verschlechtern kann.
• Verfeinerte Halluzinationserkennung: Eine Demonstration, dass zwar Vollkontext-Aufmerksamkeitsmodelle (einschließlich Prompts) bei der Kreuzvalidierung höhere AUROC-Werte erreichen können, abschnittsweise Lookback-Verhältnisse jedoch eine zuverlässigere faktische Verankerung bieten, indem sie nicht-wiedergewonnene Aufmerksamkeitsquellen ausschließen, die den Klassifikator irreführen könnten.

Ergebnisse
Die Methodik wurde am Natural Questions (NQ)-Datensatz und der Ragbench (RB)-Sammlung (12 diverse Datensätze) unter Verwendung von Llama-3-8B-Instruct und BM25-Wiedergewinnung evaluiert.

• Wiedergewinnungskonfidenz:

  • Auf Datensätzen, bei denen der Wiedergewinner gut performt (z. B. NQ, RB-cuad), stimmt die $m_1$-Metrik mit der theoretischen Erwartung von $1-\alpha$ überein und validiert die Austauschbarkeitsannahme.
  • Auf Datensätzen mit schwierigen Wiedergewinnungsaufgaben (z. B. RB-finqa, RB-tatqa) sinkt $m_1$ signifikant, was darauf hindeutet, dass korrekte Abschnitte nicht in den Top-K erscheinen. In diesen Fällen verschlechterte die Anwendung einer CP-basierten Filterung die Antwortkonsistenz tatsächlich um bis zu 10 %, was bestätigt, dass die statistischen Garantien nicht gelten, wenn der Wiedergewinner die Quelle nicht findet.
  • Bei starken Wiedergewinnern verbesserte die Filterung unvertrauenswürdiger Abschnitte die Antwortkonsistenz um bis zu 6 %.

• Antwortkonfidenz:

  • Der Klassifikator für abschnittsweise Lookback-Verhältnisse erreichte bei der Kreuzvalidierung innerhalb derselben Gruppe eine maximale Test-AUROC von 77 %.
  • Kreuzvalidierungen über verschiedene Datensatzgruppen hinweg zeigten Leistungseinbußen von bis zu 16 %, was die Herausforderung der Generalisierung unterstreicht.
  • Vergleiche zeigten, dass Full-Context (FC) Lookback-Verhältnisse (einschließlich Prompts) höhere AUROCs (bis zu 82 %) erzielten, aber aufgrund potenzieller Verzerrungen durch Prompt-Muster als weniger zuverlässig für die faktische Verankerung eingestuft wurden. Der vorgeschlagene Chunk-Wise (CW)-Ansatz wird für verlässliche Systeme trotz leicht niedrigerer AUROC bevorzugt.

Bedeutung und Behauptungen
Die Arbeit beansprucht, eine Grundlage für zertifizierte RAG-Systeme zu schaffen, die für sicherheitskritische Industrieanwendungen geeignet sind. Ihre primäre Bedeutung liegt in der Verschiebung von heuristischer Robustheit hin zur statistischen Zertifizierung. Die Autoren betonen, dass ihr Ansatz kein „Allheilmittel" für alle RAG-Setups ist; vielmehr bietet er einen diagnostischen Rahmen. Die Arbeit stellt explizit fest, dass die Gültigkeit der Garantien für die Wiedergewinnungskonfidenz von der Austauschbarkeit der Stichproben abhängt, welche wiederum von der Fähigkeit des Wiedergewinners abhängt, korrekte Abschnitte zu identifizieren. Daher sind die vorgeschlagenen Metriken ($m_1, m_2$) wesentliche Voraussetzungen, um zu bestimmen, ob eine bestimmte RAG-Konfiguration für den Einsatz mit diesen Konfidenzgarantien geeignet ist. Die Arbeit zielt darauf ab, die Entwicklung verlässlicher RAG-Anwendungen zu leiten, indem sie identifiziert, wo die Pipeline schwach ist (Wiedergewinnung vs. Generierung), und quantifizierbare Vertrauensmaße bietet.