"I Don't Know" -- Towards Appropriate Trust with Certainty-Aware Retrieval Augmented Generation

Technische Zusammenfassung: „Ich weiß es nicht" – Auf dem Weg zu angemessenem Vertrauen durch unsicherheitsbewusste Retrieval-Augmented Generation

Problemstellung
Die Arbeit adressiert die Herausforderung, „angemessenes Vertrauen" in KI-Systeme, insbesondere Large Language Models (LLMs), zu etablieren. Zwar bieten LLMs eine Kommunikation auf menschlichem Niveau, leiden jedoch unter Halluzinationen (faktisch falschen Ausgaben) und „Schmeichelei" (übermäßiger Anpassung an Benutzerpräferenzen auf Kosten der Genauigkeit). Ein kritisches Problem besteht darin, dass LLMs oft übermäßiges Vertrauen in ihre Antworten ausdrücken, selbst wenn die Frage nicht objektiv ist oder der Kontext unzureichend ist. Dieses übermäßige Vertrauen verhindert, dass Benutzer die Wahrhaftigkeit des Systems korrekt einschätzen können. Die Autoren argumentieren, dass der menschliche Wert der Wohlwollendheit – hier definiert als das Bedürfnis nach Ehrlichkeit, Zuverlässigkeit und Verlässlichkeit – erfüllt werden kann, wenn ein KI-System sein eigenes Wissen überwachen, seine Unsicherheit reflektieren und diese Selbstreflexion dem Benutzer kommunizieren kann.

Methodik
Die Autoren schlagen CERTA (Certainty Enhanced RAG for Trustworthy Answers) vor, ein spezialisiertes Retrieval-Augmented-Generation (RAG)-System, das selbstreflektierte Unsicherheit in seine Antworten integriert.

1. RAG-Triad-Modellierung der Unsicherheit:
   Anstatt sich darauf zu verlassen, dass das LLM sein eigenes Vertrauen selbst bewertet (was voreingenommen sein kann), berechnet CERTA die Unsicherheit basierend auf der semantischen Ähnlichkeit zwischen drei Komponenten der RAG-Pipeline, bekannt als RAG-Triad:

   • Frage-Kontext-Relevanz (QCR): Misst, ob der abgerufene Kontext semantisch mit der Frage des Benutzers übereinstimmt.
   • Kontext-Antwort-Relevanz (CAR): Misst, ob die generierte Antwort durch den abgerufenen Kontext gestützt wird (Verankerung).
   • Antwort-Frage-Relevanz (AQR): Misst, ob die generierte Antwort die ursprüngliche Frage semantisch adressiert.

   Diese Scores werden unter Verwendung der Kosinussimilarität auf Embeddings (OpenAI's text-embedding-3-small) berechnet. Diese numerischen Scores werden dann in textuelle „Unsicherheitsanweisungen" übersetzt, die dem LLM-Generator bereitgestellt werden.

2. Systemansätze:
   Die Arbeit bewertet vier verschiedene Ansätze unter Verwendung zweier LLMs (OpenAI's GPT-4.1 und Mistral-Small-3.1):

   • RAG (Baseline): Standard-RAG ohne spezifische Anweisungen bezüglich der Unsicherheit.
   • CERTA-0: Fügt eine allgemeine Anweisung zum Prompt hinzu, ehrlich bezüglich der Unsicherheit der Antwort zu sein.
   • CERTA-1: Integriert den QCR-Score und die Anweisung in den Prompt und informiert das Modell über die Relevanz zwischen der Frage und dem abgerufenen Kontext.
   • CERTA-2: Ein mehrstufiger Ansatz. Er generiert zunächst eine Zwischenantwort, berechnet alle drei Triad-Scores (QCR, CAR, AQR) und fordert das Modell dann erneut mit der Frage, dem Kontext, der Zwischenantwort und allen drei Unsicherheitsanweisungen auf, eine endgültige, selbstreflektierte Antwort zu produzieren.

3. Unsicherheits-Benchmark:
   Zur Bewertung dieser Methoden erstellten die Autoren einen Datensatz von 90 Frage-Kontext-Paaren, abgeleitet vom TrustLLM-Benchmark. Der Datensatz deckt vier Kategorien ab:

   • Faktizität: Faktische Fragen (einige unbeantwortbar).
   • Persönliche Präferenz: Subjektive Fragen (z. B. „Was ist besser?").
   • Schmeichelei: Fragen, die testen sollen, ob das Modell mit einer vom Benutzer geäußerten (potenziell fehlerhaften) Sichtweise übereinstimmt.
   • Moralische Entscheidungen: Ethische Dilemmata.

   Jede Frage ist mit drei Arten von Kontexten gepaart: relevant (enthält die Antwort), unvollständig (fehlt die spezifische Antwort) und irrelevant (enthält keine Antwort).

Hauptbeiträge

1. Das CERTA-System: Eine neuartige Erweiterung von RAG, die die RAG-Triad nutzt, um Unsicherheit sowohl numerisch als auch verbal zu berechnen und zu kommunizieren. Es umfasst ein Dashboard, das Benutzern die Auswahl von Verhaltensweisen für Szenarien mit geringer Unsicherheit ermöglicht (z. B. Standardantwort, „Ich weiß es nicht" oder Rückgriff auf das LLM-Wissen).
2. Der Unsicherheits-Benchmark: Ein kuratierter Datensatz von 90 nicht-objektiven Frage-Kontext-Paaren über vier wertebasierte Kategorien und drei Kontexttypen, der speziell entwickelt wurde, um die Fähigkeit eines KI-Systems zu testen, Unsicherheit angemessen auszudrücken.
3. Empirische Evaluation: Eine vergleichende Studie der Baseline-RAG gegen drei CERTA-Konfigurationen unter Verwendung zweier verschiedener LLMs.

Ergebnisse
Die Experimente zeigen, dass CERTA das Systemverhalten erfolgreich in Richtung angemessener Unsicherheit verschiebt:

• Häufigkeit von „Ich weiß es nicht": CERTA-1 und CERTA-2 produzierten signifikant mehr „Ich weiß es nicht"-Antworten im Vergleich zur Baseline-RAG, insbesondere wenn Kontexte unvollständig oder irrelevant waren.
• Faktizität: Bei relevanten Kontexten antworteten die Systeme angemessen. Bei irrelevanten Kontexten halluzinierte die Baseline-RAG gelegentlich unter Verwendung von internem Wissen, wohingegen CERTA-Systeme strikt objektiv blieben und Unsicherheit ausdrückten.
• Persönliche Präferenz: Die Baseline-RAG lieferte gelegentlich selbstbewusste Antworten auf subjektive Fragen. CERTA-Ansätze identifizierten korrekt das Fehlen objektiver Antworten und entschieden sich für „Ich weiß es nicht".
• Schmeichelei & Moral: Während sowohl Baseline-RAG als auch CERTA direkte Widersprüche vermieden, waren CERTA-Systeme weniger geneigt, mit gegensätzlichen Sichtweisen übereinzustimmen oder ihnen zu widersprechen, und entschieden sich stattdessen häufiger für „Ich weiß es nicht". CERTA zeigte zudem mehr Vorsicht bei moralischen Urteilen und vermied striktes Moralisieren, wenn der Kontext unvollständig war.
• Modellunterschiede: Das Open-Source-Mistral-Modell zeigte eine inhärent höhere Unsicherheit als GPT-4.1, wurde jedoch durch CERTA in beiden Fällen verbessert.
• Konsistenz: Die Hinzufügung von Unsicherheitsanweisungen veranlasste die Systeme nicht, korrekte Antworten in falsche zu ändern; sie erhöhte primär die Rate vorsichtiger Antworten, wo dies angemessen war.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Vermittlung selbstreflektierter Unsicherheit ein tragfähiger Mechanismus für den Aufbau angemessenen Vertrauens in KI ist, der mit dem menschlichen Wert der Wohlwollendheit übereinstimmt. Die Autoren schließen daraus, dass:

• CERTA-0 oft ausreicht, um die Baseline-RAG durch Einführung grundlegender Ehrlichkeit bezüglich der Unsicherheit zu verbessern.
• CERTA-1 einen sorgfältigeren Ansatz bietet, indem es explizit den Score der Frage-Kontext-Relevanz nutzt.
• Die Methode es Systemen ermöglicht, in hochriskanten Szenarien „risikoavers" zu sein, indem sie Unsicherheit eingestehen, anstatt zu halluzinieren.
• Der Ansatz retriever-agnostisch ist und nur die Qualität des bereitgestellten Kontexts bewertet, nicht den Abrufmechanismus selbst.

Die Autoren bleiben bezüglich ihrer Behauptungen bescheiden und weisen darauf hin, dass das Dashboard noch nicht mit menschlichen Benutzern validiert wurde, um eine tatsächliche Vertrauenskalibrierung zu messen. Sie erkennen Einschränkungen an, wie die Verwendung von Multiple-Choice-Formaten, die Schmeichelei künstlich abschwächen können, sowie die Abhängigkeit von der Kosinussimilarität, die tendenziell mittlere Scores (um 0,5) statt extremer Werte produziert. Als zukünftige Arbeiten werden Benutzerstudien und Tests mit lauteren Datenquellen vorgeschlagen.