💬 NLP

Clarify, Abstain or Answer? Strategising in Conversation with Belief-Augmented Generation

Dieser Artikel schlägt Belief-Augmented Generation (BAG) vor, ein Framework, das den eigenen Glaubenszustand eines LLM, der aus mehreren abgetasteten Antworten abgeleitet wird, nutzt, um in mehrdeutigen Gesprächen autonom zu entscheiden, ob geantwortet, geklärt oder abgesehen werden soll, wodurch im Vergleich zu Standard-Prompting die Genauigkeit und die strategische Treue verbessert werden.

Ursprüngliche Autoren: Joris Baan, Wilker Aziz, Barbara Plank, Raquel Fernández

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Joris Baan, Wilker Aziz, Barbara Plank, Raquel Fernández

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Die „übermütige" KI

Stellen Sie sich vor, Sie stellen einem großen Sprachmodell (LLM) eine knifflige Frage, wie zum Beispiel: „Wer hat den weiblichen Part bei 'Gimme Shelter' gesungen?"

Wenn Sie ein Standard-KI-Modell fragen, wird es normalerweise einfach eine Antwort auswählen und diese mit absoluter Sicherheit aussprechen, selbst wenn es nur rät. Es könnte sagen: „Es war Merry Clayton", ohne zu merken, dass die Antwort bei der Version des Live-Tournee-Konzerts tatsächlich „Lisa Fischer" lautet. Die KI weiß nicht, dass sie unsicher ist; sie verhält sich einfach wie ein Alleswisser.

Die Forscher stellten fest, dass diese Modelle selten sagen: „Ich bin mir nicht sicher, welche Sie meinen", oder „Ich kenne die Antwort nicht". Sie raten einfach.

Die Lösung: Die „Glaubens-gestützte Generierung" (Belief-Augmented Generation, BAG)

Die Autoren schlagen eine neue Methode vor, die Belief-Augmented Generation (BAG) genannt wird. Stellen Sie sich dies vor, als würde man der KI einen „Denkraum" geben, bevor sie spricht.

Anstatt nur eine Antwort zu generieren, wird die KI aufgefordert, zunächst 10 verschiedene mögliche Antworten auf dieselbe Frage zu erzeugen. Anschließend betrachtet sie diese Liste von 10 Antworten (die im Papier als ihr „Glaubenszustand" bezeichnet wird) und fragt sich selbst: „Was sagen mir diese 10 Antworten darüber, wie sicher ich bin?"

Basierend auf dem, was sie in dieser Liste sieht, wählt die KI eine von drei Strategien:

Direkt antworten: Wenn alle 10 Antworten im Wesentlichen gleich sind (z. B. alle 10 sagen „Merry Clayton"), weiß die KI, dass sie sicher ist. Sie gibt eine direkte Antwort.
- Analogie: Es ist wie eine Jury, bei der alle 10 Geschworenen dem Urteil zustimmen. Der Schöffe verkündet einfach das Ergebnis.
Klären: Wenn die 10 Antworten in zwei distincte Gruppen aufgeteilt sind (z. B. 5 sagen „Merry Clayton" und 5 sagen „Lisa Fischer"), erkennt die KI, dass die Frage mehrdeutig ist. Anstatt zu raten, bittet sie den Nutzer um Klärung.
- Analogie: Es ist wie ein Kellner, der an einem Tisch hört, dass jemand „das Tagesgericht" bestellt, aber zwei verschiedene Tagesgerichte auf der Speisekarte sieht. Anstatt zu raten, fragt der Kellner: „Meinten Sie das Steak oder den Fisch?"
Enthalten (sagen „Ich weiß es nicht"): Wenn die 10 Antworten völlig durcheinander sind und sich wild widersprechen (z. B. eine sagt „Merry Clayton", eine andere „The Beatles", eine weitere „Ein Roboter"), erkennt die KI, dass sie die Fakten nicht kennt. Sie lehnt es höflich ab, zu antworten.
- Analogie: Es ist wie ein Detektiv, der 10 verschiedene Verdächtige findet, ohne dass Beweise einen von ihnen mit dem Verbrechen verknüpfen. Der Detektiv gibt zu: „Ich kann das noch nicht lösen", anstatt eine zufällige Person festzunehmen.

Wie sie es getestet haben

Die Forscher testeten dies an einem Datensatz von „Mehrdeutigen Fragen" (Fragen, die mehrere Bedeutungen haben könnten). Sie verglichen:

Standard-KI: Antwortet einfach direkt.
Nur-Prompt-KI: Wird angewiesen, „vorsichtig" zu sein, sieht aber keine eigene Liste von Vermutungen.
BAG-KI: Sieht ihre eigene Liste von 10 Vermutungen und leitet daraus Schlussfolgerungen ab.

Die Ergebnisse

Bessere Genauigkeit: Die BAG-Methode verbesserte die Genauigkeit der Antworten bei sechs verschiedenen KI-Modellen.
Intelligentere Entscheidungen: Die BAG-KI war viel besser darin zu wissen, wann sie eine Frage stellen und wann sie zugeben muss, dass sie es nicht weiß. Die Standard-KI fragte fast nie um Hilfe oder gab Unwissenheit zu.
Verlässlichkeit: Die Entscheidungen der BAG-KI stimmten viel besser mit ihrem internen „Vertrauen" (der Vielfalt ihrer 10 Vermutungen) überein als bei den anderen Methoden. Wenn sie verwirrt war, verhielt sie sich verwirrt; wenn sie sicher war, verhielt sie sich sicher.

Der Haken

Obwohl das System gut funktioniert, fällt es der KI immer noch schwer, perfekt zu unterscheiden zwischen:

Echter Mehrdeutigkeit: „Ich weiß nicht, ob Sie den Film oder das Buch meinen." (Benötigt eine Klärung).
Halluzination: „Ich erfinde Fakten, weil ich es nicht weiß." (Benötigt eine Enthaltung).

Manchmal hält die KI eine Frage für mehrdeutig, obwohl sie eigentlich nur Dinge erfindet, oder umgekehrt. Aber insgesamt macht es die KI zu einem viel ehrlicheren und hilfsbereiteren Gesprächspartner, wenn man ihr die Chance gibt, „vor dem Sprechen auf ihre eigene Arbeit zu schauen".

Zusammenfassung

Das Papier stellt eine Möglichkeit vor, KI-Modelle weniger übermütig zu machen. Indem man sie zwingt, zunächst mehrere Antworten zu generieren und dann die Unterschiede zu analysieren, lernen die Modelle, bei Verwirrung zu klären, bei Unwissenheit zu sich zu enthalten und nur bei Sicherheit zu antworten. Dies macht sie besser im Umgang mit kniffligen, realen Fragen.

Technische Zusammenfassung: Klären, Enthaltung oder Antwort? Strategiebildung in der Konversation mit glaubensgesteigerter Generierung

Problemstellung

Large Language Models (LLMs) definieren eine Wahrscheinlichkeitsverteilung über Text, die als Darstellung von Unsicherheit oder „Glauben" dient. Während die bestehende Forschung diese Verteilung für enge Aufgaben wie Decodierung (z. B. Minimum Bayes Risk) oder selektive Vorhersage (z. B. Erkennung von Halluzinationen mittels semantischer Entropie) nutzt, erfordern diese Ansätze typischerweise manuelle Eingriffe, externe Decoder oder Feinabstimmung. Entscheidend ist, dass Standard-LLMs keinen Mechanismus besitzen, um ihre eigene probabilistische Unsicherheit während der Generierung zu „introspektieren" oder direkt zu nutzen. Empirische Belege deuten darauf hin, dass LLMs ohne explizite Anleitung ambiguous Eingaben selten klären oder bei Unsicherheit auf eine Antwort verzichten; stattdessen antworten sie direkt, wobei sie oft Eingabe-Ambiguitäten oder interne faktische Inkonsistenzen ignorieren. Dies führt zu Halluzinationen oder falschen Antworten in mehrstufigen, ambiguousen Frage-Antwort-Szenarien (QA).

Methodik: Glaubensgesteigerte Generierung (Belief-Augmented Generation, BAG)

Die Autoren schlagen Belief-Augmented Generation (BAG) vor, ein trainingsfreies Framework, das LLMs in ihrem eigenen Glaubenszustand verankert, um reichhaltigere Konversationsstrategien zu ermöglichen: direkte Antwort, Klärungsanfrage oder Enthaltung.

Kernmechanismus

BAG funktioniert als zweistufiger Prozess:

Konstruktion des Glaubenszustands: Gegeben eine Eingabe $x$ generiert das Modell $K$ Stichproben ( $Y^{(1)}, \dots, Y^{(K)}$ ) mittels Monte-Carlo-Sampling. Im Gegensatz zu Methoden, die diese Stichproben auf eine einzelne Metrik reduzieren (z. B. Entropie oder Mehrheitsvotum), behält BAG den vollständigen Satz von $K$ textuellen Antworten als Glaubenszustand $B_\theta(x)$ bei. Dieser Zustand erfasst nicht nur die Vielfalt plausibler Antworten, sondern auch linguistische Hinweise wie Abschwächungen, Verweigerungen oder kontextuelle Variationen.
Strategie-Reasoning: Das Modell wird mit der ursprünglichen Benutzerfrage und den $K$ $K$ Kandidatenantworten (dem Glaubenszustand) promptet. Es erhält den Auftrag, diesen Zustand zu analysieren und eine von drei Strategien zu wählen:
- Direkte Antwort: Wenn der Glaubenszustand eine hohe Konsistenz (geringe Unsicherheit) bezüglich der Antwort zeigt.
- Klärung: Wenn der Glaubenszustand semantisch unterschiedliche, aber plausible Antworten enthält, die verschiedenen Interpretationen der Frage entsprechen (Datenunsicherheit/Ambiguität).
- Enthaltung: Wenn der Glaubenszustand widersprüchliche Fakten enthält, die einen Mangel an Wissen anzeigen (epistemische Unsicherheit/Halluzination), bei dem keine nützliche Klärung möglich ist.

Prompt-Varianten

Die Autoren untersuchen drei Prompt-Varianten (BAG1, BAG2, BAG3) mit zunehmender Komplexität der Anweisungen:

BAG1: Grundlegende Konsistenzprüfung.
BAG2: Integriert unsicherheitsspezifische Sprache und unterscheidet zwischen Ambiguität (klären) und Halluzination (enthaltend).
BAG3: Verlangt vom Modell, dass es Generierungen nach Bedeutung clustert, die Cluster interpretiert und daraufhin eine Strategie entscheidet.
BAG+: Eine Erweiterung, bei der das Modell, falls es sich für Klärung entscheidet, eine Benutzerantwort simuliert (unter Verwendung eines Hilfs-LLM) und den Glaubenszustand neu bewertet, um eine endgültige Antwort oder weitere Enthaltung zu entscheiden.

Hauptbeiträge

Direkter Zugriff auf Glaubenszustände: Die Arbeit stellt eine Methode vor, die rohe textuelle Darstellung der Unsicherheit eines Modells direkt in den Prompt einzuspeisen, wodurch das Modell ohne externe Tools oder Training über seine eigene Verteilung reasoning kann.
Strategiewahl: Im Gegensatz zu vorheriger Arbeit, die sich auf die Auswahl einer einzelnen Generierung oder die Abschwächung einer Behauptung konzentrierte, ermöglicht BAG dem Modell, dynamisch zwischen Antworten, Klärung oder Enthaltung basierend auf der Art seiner Unsicherheit zu wählen.
Trainingsfreie Anwendbarkeit: Der Ansatz erfordert kein Fine-Tuning, keine externen Daten und keinen Zugriff auf Modellgewichte, was ihn sowohl für offene als auch für geschlossene Modelle anwendbar macht.
Empirische Analyse des Routings: Die Studie liefert eine detaillierte Zerlegung, wie Modelle Fragen zu verschiedenen Strategien routen, und bewertet die Treue dieser Entscheidungen zur zugrundeliegenden Entropie des Glaubenszustands.

Ergebnisse

Experimente wurden auf dem AmbigQA-Datensatz (1.832 ambiguouse Fragen) über sechs Modelle hinweg durchgeführt (OLMo2/3, Qwen3, Gemini-2.5-Flash).

Leistungssteigerungen: BAG verbessert die QA-Genauigkeit im Vergleich zur Standard-Direktgenerierung und reinen Prompt-Baselines (Strategy-Augmented Generation, SAG) signifikant. In vielen Fällen übertrifft BAG+ sogar den „Disambiguierungs-Oracle" (der die korrekte Absicht bereitstellt), was zeigt, dass das Modell erfolgreich identifizieren kann, wann ihm faktisches Wissen fehlt, und sich stattdessen der Antwort enthält, anstatt zu raten.
Treue: Die strategischen Entscheidungen von BAG sind der internen Entropie des Glaubenszustands des Modells treuer als bei SAG. Mit steigender Entropie des Glaubenszustands wählen BAG-Modelle zunehmend Klärung oder Enthaltung, wohingegen SAG und Direktgenerierung dies selten tun.
Strategie-Zerlegung: Die Genauigkeitsgewinne werden je nach Modell durch unterschiedliche Mechanismen getrieben. Bei Qwen-Modellen wird die Verbesserung primär durch die Enthaltungs-Strategie getrieben (Vermeidung von Halluzinationen), während bei Gemini die Beiträge von Klärung und direkter Antwort ausgewogener sind.
Herausforderungen bei der Entflechtung: Obwohl BAG die Leistung verbessert, bleibt die Unterscheidung zwischen Interpretationsvariation (erfordert Klärung) und Halluzinationsvariation (erfordert Enthaltung) schwierig. Modelle generieren manchmal „wahrgenommene Ambiguität", um faktische Inkonsistenzen zu erklären, was zu Klärungsfragen führt, die Benutzer verwirren können.
Kompromisse bei der Kürze: Die Verwendung von Kürze-forcing Prompts reduziert die Token-Kosten erheblich (bis zu 10-fach), kann jedoch die kontextuellen Hinweise entfernen, die für das Modell notwendig sind, um Ambiguität zu erkennen, was die Genauigkeit leicht beeinträchtigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass BAG einen Schritt hin zu robusteren und ehrlicheren LLM-Interaktionen darstellt, indem es Modellen erlaubt, ihre eigene probabilistische Unsicherheit zur Steuerung des Konversationsflusses zu nutzen. Die Autoren betonen, dass:

Standard-LLMs auch bei Unsicherheit zur Antwort neigen; BAG korrigiert dies, indem es Unsicherheit explizit und handlungsleitend macht.
Die Fähigkeit, basierend auf internen Glaubenszuständen auf Enthaltung zu verzichten, für faktische QA entscheidend ist, da viele Fehler aus einem Mangel an Wissen und nicht aus Eingabe-Ambiguität resultieren.
Obwohl die Methode effektiv ist, die Unterscheidung zwischen Ambiguität und Halluzination im Glaubenszustand noch nicht perfekt ist und zukünftige Arbeiten darauf abzielen sollten, die Qualität der Glaubenszustände zu verbessern und die Routing-Logik zu verfeinern.
Der Ansatz eine praktische, sofortige Lösung zur Verbesserung der QA-Zuverlässigkeit ohne die Kosten des Neutrainings darstellt, obwohl er einen Rechenaufwand von $K$ Stichproben plus dem Reasoning-Prompt mit sich bringt.

Die Autoren schließen, dass BAG zwar die Genauigkeit und Treue verbessert, die „Entflechtung" des Zeitpunkts für Klärung versus Enthaltung jedoch eine offene Herausforderung bleibt, insbesondere da Glaubenszustände die plausiblen Ausgaben des Modells widerspiegeln und nicht die garantierte Ground Truth.