🤖 AI

Bayesian Uncertainty Propagation for Agentic RAG Pipelines: A Proof-of-Concept Study on Multi-Hop Question Answering

Dieses Paper schlägt ein bayesianisches Unsicherheitsfortpflanzungs-Framework für Agentic-RAG-Systeme vor, das semantische Divergenz und Selbstbewertungs-Signale integriert, um systemweite Ausfallrisiken zu schätzen, wobei eine verbesserte Zuverlässigkeit beim Multi-Hop-Reasoning auf HotpotQA demonstriert wird, während gleichzeitig Kalibrierungsschwierigkeiten bei StrategyQA hervorgehoben werden.

Ursprüngliche Autoren: Louis Donaldson, Connor Walker, Koorosh Aslansefat, Yiannis Papadopoulos

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Louis Donaldson, Connor Walker, Koorosh Aslansefat, Yiannis Papadopoulos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen ein Team aus drei Robotern, um ein kniffliges Rätsel zu lösen. Dieses Team wird eine Agentic RAG Pipeline genannt. So arbeiten sie zusammen:

Der Planer (The Planner): Schaut sich die Frage an und bricht sie in kleinere Schritte auf.
Der Evaluator (The Evaluator): Überprüft die gefundenen Informationen darauf, ob sie Sinn ergeben.
Der Generator (The Generator): Schreibt die endgültige Antwort basierend auf dem, was die anderen beiden gefunden haben.

Das Problem ist, dass Roboter (speziell Large Language Models) manchmal Fehler machen oder „halluzinieren“ (Dinge erfinden), und sie wissen oft nicht, wenn sie verwirrt sind. Diese Arbeit stellt die Frage: Wie können wir erkennen, ob dieses Roboter-Team kurz davor steht, eine falsche Antwort zu geben, bevor es tatsächlich dazu kommt?

Die Lösung: Ein „Sorgen-Meter“ für das Team

Die Autoren entwickelten ein System, um die „Unsicherheit“ (oder Sorge) bei jedem Schritt des Prozesses zu messen. Sie nutzen dafür zwei Hauptmethoden:

Der „Konfidenz-Check“ (Token-level Entropy): Stellen Sie sich vor, der Generator-Roboter schreibt einen Satz. Wenn er sich sehr sicher ist, wählt er das nächste Wort schnell. Wenn er verwirrt ist, zögert er und zieht viele verschiedene Wörter in Betracht. Das System misst dieses Zögern.
Der „Drift-Detektor“ (Semantic Divergence): Stellen Sie sich vor, der Planer sucht nach Informationen über „Äpfel“, aber auf halbem Weg beginnt er versehentlich, über „Orangen“ zu sprechen. Dieses System erkennt, wenn das Gespräch vom ursprünglichen Ziel abgewichen ist.

Das Gehirn: Das Bayes-Netzwerk

Die Autoren haben diese Sorge-Signale nicht einfach einzeln betrachtet, sondern sie mit einem Bayes-Netzwerk verbunden. Denken Sie an dies als einen zentralen Kontrollraum oder ein Ampelsystem.

Jeder Roboter sendet sein „Sorge-Signal“ an den Kontrollraum.
Der Kontrollraum kombiniert diese Signale, um zu entscheiden: „Ist das gesamte Team selbstbewusst oder gerät jemand in Panik?“
Wenn irgendein Teil des Teams in Panik gerät (unsicher ist), kennzeichnet das System die endgültige Antwort als potenziell riskant.

Die Autoren testeten dies an zwei Arten von Rätseln:

StrategyQA: Einfache Rätsel, die normalerweise nur ein oder zwei Schritte benötigen.
HotpotQA: Komplexe Rätsel, die erfordern, zwischen vielen verschiedenen Informationsteilen hin und her zu springen (Multi-Hop-Reasoning).

Was sie herausfanden

1. Es funktioniert am besten bei komplexen Rätseln (HotpotQA).
Wenn die Aufgabe schwierig ist und erfordert, dass die Roboter Informationen viele Male hin und her übergeben, ist das „Sorgen-Meter“ sehr nützlich. Die Unsicherheit aus dem ersten Schritt summiert sich zum nächsten Schritt auf, und der Kontrollraum kann erkennen, wenn das Team den Weg verliert. In diesen Fällen war das System besser darin, Fehler zu erkennen, als wenn man nur den einzelnen Roboter allein betrachtet hätte.

2. Es hat Schwierigkeiten mit einfachen Rätseln (StrategyQA).
Bei einfacheren Aufgaben senden die „Planer“- und „Evaluator“-Roboter oft Fehlalarme aus (sie waren besorgt, obwohl sie es nicht sein musstenten). Da der Kontrollraum jedes Sorge-Signal der Roboter als gleich wichtig behandelte, ließen diese Fehlalarme das gesamte System glauben, die Antwort sei riskant, obwohl sie es gar nicht war.

Die Analogie aus dem Papier: Es ist wie ein Sicherheitssystem, bei dem ein empfindlicher Bewegungsmelder im Flur jedes Mal losgeht, wenn eine Katze vorbeiläuft, was den gesamten Hausalarm auslöst, obwohl die Haustür sicher ist.

3. Die „Alles-oder-Nichts“-Regel.
Das System verwendete eine strikte Regel: Wenn irgendein Roboter unsicher ist, wird die gesamte Antwort als „Fehlgeschlagen“ markiert. Das ist sehr sicher (es übersieht selten einen Fehler), kann aber zu vorsichtig sein. Es könnte eine korrekte Antwort ablehnen, nur weil der Planer etwas nervös war.

Das Fazit

Die Arbeit kommt zu dem Schluss, dass dieses „Sorgen-Meter“-System ein vielversprechendes Werkzeug zur Überwachung komplexer KI-Teams ist, insbesondere wenn die KI viele Gedankenschritte durchführen muss. Es muss jedoch klüger darin werden, wem es vertraut. Momentan behandelt es einen nervösen Roboter genauso wie einen selbstbewussten, was bei einfacheren Aufgaben zu Problemen führen kann.

Die Autoren schlagen vor, dass für den Einsatz in realen Industrien (wie der Wartung von Offshore-Windkraftanlagen) das System mit echten Industriedaten getestet und darauf abgestimmt werden muss, unzuverlässige „Sorge-Signale“ von bestimmten Teilen des Teams zu ignorieren. Vorerst bleibt es ein „Proof-of-Concept“, der großes Potenzial zeigt, aber noch mehr Politur benötigt.

Technisches Resümee: Bayesianische Unsicherheitspropagierung für agentische RAG-Pipelines

Problemstellung

Die Integration von Large Language Models (LLMs) in industrielle Arbeitsabläufe, wie etwa die Wartungsplanung für Offshore-Windparks (OSW), erfordert zuverlässige Mechanismen zur Abschätzung, wann mehrstufige Reasoning-Pipelines versagen könnten. Während Retrieval-Augmented Generation (RAG) und Multi-Agent-Architekturen (MAAs) die Interpretierbarkeit durch die Einbindung von abgerufenem Wissen verbessern, modellieren sie nicht explizit, wie sich Unsicherheit über sequentielle Denkprozesse hinweg ausbreitet. In agentischen RAG-Systemen kann die während der Planung, des Retrievals oder der Evaluierung eingeführte Unsicherheit durch den Workflow kaskadieren, was zu „Reasoning Collapse“ (Zusammenbruch des logischen Schlussfolgerns), semantischer Drift und unzuverlässigen Endantworten führt. Aktuelle Black-Box-Modelle bieten nur begrenzten Einblick in die Logik hinter den Ausgaben, was den Bedarf an leichtgewichtigen Laufzeit-Monitoring-Methoden schafft, die in der Lage sind, die Konfidenz während des gesamten Entscheidungsprozesses zu quantifizieren.

Methodik

Die Autoren schlagen ein unsicherheitssensitives agentisches RAG-Framework vor, das das System als sequenziellen Entscheidungsprozess modelliert (konzeptionell als ein Partially Observable Markov Decision Process). Die Methodik umfasst drei Kernkomponenten:

1. Generierung von Unsicherheitssignalen

Die Pipeline besteht aus drei Agenten: Planner (Planer), Evaluator (Evaluator) und Generator. Jede Stufe erzeugt spezifische Unsicherheitssignale:

Token-level Entropy (Naive Entropie): Abgeleitet aus der Softmax-Wahrscheinlichkeitsverteilung der generierten Tokens. Das System berechnet die Log-Wahrscheinlichkeit der Sequenz, normalisiert sie nach der Länge und transformiert sie in ein Konfidenzmerkmal ( $q_i$ ). Dies wird verwendet, um die Prior-Wahrscheinlichkeiten im Bayesianischen Netzwerk zu parametrisieren.
Semantische Divergenz: Um die „semantische Drift“ zu adressieren – bei der die Suchanfragen eines Agenten von der ursprünglichen Informationsanforderung abweichen –, misst das System die Distanz zwischen der festgelegten Output-Verteilung und einer neu gesampelten Output-Verteilung in einem projizierten Embedding-Raum. Hierbei wird die Wasserstein-Distanz (analog zur Pointwise Mutual Information im UProp-Framework) genutzt, um die intrinsische Unsicherheit (IU) an jedem Knoten zu quantifizieren.
Generator Self-Evaluation ($P(True)$): Der Generator-Agent wird aufgefordert, eine binäre Frage zu beantworten („Sind Sie sicher, dass die bereitgestellte Antwort korrekt ist?“), nachdem er eine Antwort erstellt hat. Die der positiven Antwort zugewiesene Wahrscheinlichkeit dient als überwachtes, kontextbasiertes Schätzkriterium für die Unsicherheit.

2. Bayesianische Netzwerk-Propagierung (BN)

Diese Signale werden durch ein Bayesianisches Netzwerk (BN) propagiert, um die systemweite Unsicherheit zu schätzen:

Struktur: Der Workflow wird als gerichteter azyklischer Graph (DAG) modelliert, wobei die Knoten den Planner, den Evaluator und den Generator repräsentieren.
Logik: Das Netzwerk verwendet ein deterministisches OR-Gate für den „Overall“-Knoten. Dies impliziert, dass wenn irgendein einzelner Knoten in der Pipeline als „FAIL“ eingestuft wird (Unsicherheit übersteigt den Schwellenwert von 0,5), das Gesamtsystem als „FAIL“ markiert wird.
Inferenz: Das BN aktualisiert die Posterior-Wahrscheinlichkeiten, sobald neue Evidenzen (Unsicherheitsscores) eingeführt werden, was die Identifizierung der spezifischen Stufen ermöglicht, die am stärksten zur systemweiten Unsicherheit beitragen.

3. Experimentelles Setup

Das Framework wurde als Proof-of-Concept auf zwei Multi-Hop-Question-Answering-Benchmarks evaluiert: StrategyQA und HotpotQA.

Modelle: GPT-3.5-Turbo und GPT-4.1-Nano.
Metriken: Die Leistung wurde mittels Area Under the Receiver Operating Characteristic Curve (AUROC) für die Diskriminierung, Area Under the Accuracy-Rejection Curve (AUARC) für die selektive Prädiktion, Expected Calibration Error (ECE) und dem Brier Score für die Kalibrierung bewertet.
Baseline: Die Ergebnisse wurden mit dem UProp-Framework verglichen.

Zentrale Beiträge

Architektur: Eine leichtgewichtige Monitoring-Architektur, bei der die Agenten Planner, Evaluator und Generator während mehrstufiger Denkprozesse komplementäre Unsicherheitssignale (semantische Divergenz und Selbstbewertung) erzeugen.
Propagationsmodell: Ein auf einem Bayesianischen Netzwerk basierendes Modell, das die Knoten-basierte Unsicherheit zu einer interpretierbaren systemweiten Konfidenzschätzung aggregiert und in der Lage ist, Fehlerquellen zu lokalisieren.
Empirische Evaluierung: Eine vergleichende Studie, welche die Stärken und Grenzen der Bayesianischen Propagierung über verschiedene Komplexitätsgrade der Argumentation und Modellgrößen hinweg unter Verwendung von Standardmetriken zur Unsicherheitsquantifizierung aufzeigt.

Ergebnisse

Die Studie lieferte je nach Komplexität des Benchmarks gegensätzliche Ergebnisse:

HotpotQA (Hohe Komplexität): Die Bayesianische Propagierung erwies sich als äußerst effektiv. Die Unsicherheit akkumulierte sich über mehrere Denkstadien hinweg, und das Gesamt-BN erreichte im Vergleich zu den einzelnen Knoten und der UProp-Baseline wettbewerbsfähige oder überlegene Leistungen. Das System zeigte eine verbesserte Diskriminierung (AUROC) und Kalibrierung (ECE, Brier Score) mit zunehmender Aufgabenkomplexität.
StrategyQA (Geringere Komplexität): Der Ansatz zeigte hier Limitationen. Das Selbstbewertungs-Signal des Generators war der stärkste individuelle Indikator, während die Signale von Planner und Evaluator nahe an Zufallswerte lagen. Infolgedessen propagierte das deterministische OR-Gate Rauschen von unzuverlässigen Upstream-Knoten, was dazu führte, dass das Gesamt-BN in einigen Metriken (z. B. AUROC für GPT-3.5-Turbo) schlechter abschnitt als der Generator allein.
Kalibrierung vs. Diskriminierung: Das deterministische OR-Gate führte zu einer konservativen Verzerrung, was zu einer Überschätzung der Ausfallwahrscheinlichkeit bei StrategyQA führte (schlechte Kalibrierung), aber potenziell vorteilhaft für die Risikovermeidung ist. Bei HotpotQA verbesserte sich die Kalibrierung signifikant, was darauf hindeutet, dass das Framework besser für Aufgaben geeignet ist, bei denen sich Unsicherheit tatsächlich akkumuliert.

Bedeutung und Ansprüche

Das Paper positioniert die Bayesianische Unsicherheitspropagierung als einen vielversprechenden, aber vorläufigen Mechanismus zur Überwachung agentischer RAG-Systeme.

Kernerkenntnis: Die Methode ist am effektivsten, wenn sich Unsicherheit natürlich über mehrere Denkstadien hinweg aufbaut (wie bei HotpotQA beobachtet). In solchen Szenarien liefert die Kombination von Signalen einen prädiktiven Wert, der über die Schätzungen der einzelnen Knoten hinausgeht.
Anerkennung von Limitationen: Die Autoren merken explizit an, dass das aktuelle Framework durch das deterministische OR-Gate begrenzt ist, welches nicht in der Lage ist, unzuverlässige Upstream-Knoten (z. B. den Planner bei StrategyQA) abzuschwächen, sowie durch die konservative Kalibrierung des $P(True)$-Signals.
Zukünftige Ausrichtung: Die Studie beansprucht keine unmittelbare industrielle Implementierung. Stattdessen rahmt sie die Arbeit als Proof-of-Concept ein, der einer zukünftigen Validierung in spezifischen industriellen Domänen bedarf, wie etwa der Entscheidungsunterstützung für die Wartung von Offshore-Windanlagen (OSW), unter Verwendung domänenspezifischer Retrieval-Korpora anstelle allgemeiner Benchmarks. Die Autoren schlagen vor, dass sich zukünftige Arbeiten auf adaptive Bayesianische Strukturen (z. B. Noisy-OR-Gates) und verbesserte Kalibrierungstechniken konzentrieren sollten, um die identifizierten Einschränkungen zu adressieren.