💬 NLP

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

Dieser Beitrag stellt die schrittweise Vertrauensattribution (SCA) vor, ein Rahmenwerk zur Diagnose von Fehlern in mehrstufigen Schlussfolgerungen bei Black-Box-LLMs, das das Informationsflaschenhals-Prinzip anwendet, um auf Konsensstrukturen basierende Vertrauenswerte auf Ebene der einzelnen Schritte zuzuweisen und dadurch eine effektivere Selbstkorrektur im Vergleich zu herkömmlichem Feedback auf Antwortebene zu ermöglichen.

Ursprüngliche Autoren: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr klugen, aber leicht zerstreuten Freund, ein komplexes mathematisches Problem zu lösen oder eine knifflige Frage zu beantworten. Er gibt Ihnen nicht einfach nur die endgültige Antwort; er schreibt seinen gesamten Denkprozess Schritt für Schritt auf, wie ein Detektiv, der einen Fall löst.

Das Problem:
Manchmal erhält Ihr Freund die richtige Antwort aus Versehen, oder er erhält die falsche Antwort, weil er einen winzigen Fehler in der Mitte seiner Logik gemacht hat. Das Problem ist, dass Sie, wenn er Ihnen das Endergebnis vorlegt, nicht leicht erkennen können, wo er einen Fehler gemacht hat. Haben sie den ersten Schritt vermasselt? Den letzten Schritt? Oder hatten sie einfach nur Glück?

Aktuelle Methoden sind so, als würden Sie Ihren Freund fragen: „Haben Sie es richtig?" Sie können nur „Ja" oder „Nein" bezüglich der endgültigen Antwort sagen. Sie können nicht auf den spezifischen Satz in ihrem Notizbuch zeigen, an dem die Logik zusammengebrochen ist.

Die Lösung: Schrittweise Vertrauenswürdigkeits-Zuordnung (Stepwise Confidence Attribution, SCA)
Die Autoren dieses Papiers haben ein neues Werkzeug namens Schrittweise Vertrauenswürdigkeits-Zuordnung (SCA) entwickelt. Stellen Sie sich dies als einen „Logik-Spotter" vor, der die schrittweisen Notizen Ihres Freundes liest und neben jeden einzelnen Satz einen Vertrauenswürdigkeits-Score setzt.

Hohe Vertrauenswürdigkeit (Grüner Haken): „Dieser Schritt sieht solide aus. Er entspricht dem, was andere kluge Leute normalerweise tun, um dieses Problem zu lösen."
Niedrige Vertrauenswürdigkeit (Rote Flagge): „Moment mal. Dieser Schritt sieht seltsam aus. Er passt nicht zum Muster einer korrekten Lösung. Hier ist wahrscheinlich der Fehler passiert."

Wie funktioniert es? (Die „Konsens"-Analogie)
Das Geheimnis ist etwas namens Konsens. Stellen Sie sich vor, Sie bitten 20 verschiedene kluge Freunde, dasselbe Problem zu lösen.

Obwohl sie ihre Schritte möglicherweise in einer anderen Reihenfolge aufschreiben oder andere Wörter verwenden, werden die korrekten Lösungen alle einige wichtige „Landmarken" oder „Ankerpunkte" gemeinsam haben. Zum Beispiel muss bei einem mathematischen Problem jeder zuerst die Kosten für Stifte berechnen, bevor er die Gesamtkosten berechnet.
Das System des Papiers betrachtet alle 20 Lösungen. Es findet den „gemeinsamen Nenner" – die Schritte, auf die sich alle, die es richtig hatten, geeinigt haben.
Wenn die Lösung Ihres Freundes diesen gemeinsamen Landmarken folgt, verleiht das System diesen Schritten einen hohen Vertrauenswürdigkeits-Score.
Wenn Ihr Freund einen seltsamen Umweg nimmt oder einen notwendigen Landmarken überspringt, markiert das System dies als niedrige Vertrauenswürdigkeit.

Die zwei Werkzeuge, die sie entwickelt haben
Das Papier stellt zwei Möglichkeiten vor, diese „Spotting"-Methode anzuwenden:

NIBS (Der „Wort-Matcher"): Dies ist ein einfaches, schnelles Werkzeug. Es betrachtet lediglich die Wörter und die Bedeutung jedes Schritts. Wenn ein Schritt wie die Schritte in der „korrekten" Gruppe klingt, erhält er einen hohen Score. Es ist so, als würde man prüfen, ob ein Satz in einem Rezept mit den Schritten in tausend anderen erfolgreichen Rezepten übereinstimmt.
GIBS (Der „Karten-Leser"): Dies ist das ausgefeilte, fortschrittliche Werkzeug. Es betrachtet nicht nur die Wörter, sondern die Struktur der Logik. Es verwandelt das Schlussfolgern in eine Karte (einen Graphen), bei der Schritte durch Pfeile verbunden sind, die zeigen, wie einer zum nächsten führt. Anschließend findet es die „gemeinsame Karte", die von allen korrekten Lösungen geteilt wird. Wenn die Karte Ihres Freundes eine Brücke hat, die in der gemeinsamen Karte nicht existiert, markiert GIBS dies. Dies ist besser für komplexe Probleme geeignet, bei denen die Reihenfolge der Schritte sehr wichtig ist.

Warum ist das wichtig? (Die „Selbstkorrektur"-Magie)
Das Papier zeigt, dass es dabei nicht nur darum geht, Fehler zu finden, sondern sie zu beheben.

Alter Weg: Sie sagen Ihrem Freund: „Ihre endgültige Antwort ist falsch. Versuchen Sie es noch einmal." Oft raten sie einfach anders oder machen denselben Fehler erneut, weil sie nicht wissen, warum sie gescheitert sind.
Neuer Weg: Sie sagen Ihrem Freund: „Ihre endgültige Antwort ist falsch. Schauen Sie sich auch Schritt 3 und Schritt 5 an; unser System denkt, dass diese Schritte wackelig sind."
Ergebnis: Als das Papier dies testete, konnten die KI-Modelle ihre eigenen Fehler viel besser beheben (bis zu 13,5 % erfolgreicher), wenn sie auf die spezifischen schwachen Schritte hingewiesen wurden, anstatt nur zu hören, dass die endgültige Antwort falsch war.

Kurz gesagt
Dieses Papier bietet uns eine Möglichkeit, in die „Black Box" des Denkens einer KI zu schauen, ohne die Box öffnen zu müssen. Indem die Denkschritte einer KI mit einem „Konsens" korrekter Lösungen verglichen werden, kann das System genau lokalisieren, wo die Logik zusammenbricht. Dies verwandelt ein vages „Sie liegen falsch" in ein hilfreiches „Sie sind hier vom Weg abgekommen" und ermöglicht es der KI, aus ihren spezifischen Fehlern zu lernen und sich selbst zu korrigieren.

Technische Zusammenfassung: Diagnose von Fehlern in mehrstufigen Schlussfolgerungen bei Black-Box-LLMs durch schrittweise Vertrauenswürdigkeitszuweisung

1. Problemstellung

Large Language Models (LLMs) haben durch die Generierung schrittweiser Lösungen (z. B. Chain-of-Thought) eine starke Leistung bei Schlussfolgerungsaufgaben bewiesen. Die Diagnose, wo eine mehrstufige Schlussfolgerungskette versagt, bleibt jedoch eine erhebliche Herausforderung. Bestehende Ansätze fallen in zwei Kategorien: überwachte Klassifikatoren, die teure menschliche Annotationen erfordern, oder LLM-as-a-judge-Methoden, die Verzerrungen und Inkonsistenzen erben. Darüber hinaus arbeiten Standardmethoden zur Vertrauenswürdigkeitsschätzung (Confidence Estimation, CE) typischerweise nur auf Ebene der finalen Antwort und liefern grobe Zuverlässigkeitssignale, die keine spezifischen fehlerhaften Schritte identifizieren können.

Eine kritische Herausforderung bei der Erweiterung von CE auf die schrittweise Einstellung besteht darin, zwischen legitimer Variabilität (korrekte Lösungen, die sich in Reihenfolge, Ausdrucksweise oder Detailgrad unterscheiden) und wahren Schlussfolgerungsfehlern zu unterscheiden. Korrekte Schlussfolgerungspfade konvergieren oft auf spezifische „logische Invarianten" (kritische Zwischenzustände), während Fehler Abweichungen von diesem Konsens darstellen. Die Arbeit adressiert die Notwendigkeit einer schrittweisen Vertrauenswürdigkeitszuweisung (Stepwise Confidence Attribution, SCA): Ein Framework für Closed-Source-LLMs (Black-Box), das Vertrauenswürdigkeitswerte für einzelne Schlussfolgerungsschritte unter Verwendung ausschließlich generierter Spuren und Kennzeichnungen der Korrektheit der finalen Antwort zuweist, ohne Zugriff auf das interne Modell oder Annotationen auf Schrittebene zu benötigen.

2. Methodik

Die Autoren schlagen ein Framework vor, das auf dem Prinzip des Information Bottleneck (IB) basiert. Die Kernintuition besteht darin, die Eingabe-Schlussfolgerungstrajektorie zu komprimieren, indem nicht-essenzielle Variationen verworfen werden, während maximale Informationen über das zugrunde liegende korrekte Schlussfolgerungsmuster erhalten bleiben.

Das Framework definiert die Eingabe $X$ als Schlussfolgerungstrajektorie, die komprimierte Darstellung $Z$ als Trajektorie mit Vertrauenswürdigkeitsgewichten auf ihren Schritten und das Ziel $Y$ als Korrektheitssignal. Das Ziel ist die Minimierung von $I(X; Z) - \beta I(Z; Y)$ , was die Auswahl einer spärlichen Teilmenge von Schritten fördert, die für die Korrektheit hochrelevant sind.

Die Arbeit stellt zwei komplementäre Ausprägungen dieses Prinzips vor:

A. Nicht-parametrisches IB für schrittweise Vertrauenswürdigkeit (NIBS)

NIBS ist ein trainingsfreier Ansatz in geschlossener Form. Er geht davon aus, dass Schritte, die in korrekten Lösungen konsistent auftreten, am informativsten sind.

Mechanismus: Es aggregiert mehrere Lösungsstränge aus korrekten Lösungen, um „Konsens-Anker" zu bilden.
Bewertung: Für einen gegebenen Schritt in einer Trajektorie wird die Vertrauenswürdigkeit berechnet, indem seine semantische Ähnlichkeit zu Schritten in der Menge der korrekten Trajektorien gemessen wird.
Implementierung: Es verwendet semantische Ähnlichkeitsfunktionen (z. B. Kosinusähnlichkeit von Satz-Embeddings oder NLI-Entailment) und Aggregationsstrategien (Maximum oder Mittelwert), um Werte ohne Parameterlernen zu berechnen.

B. Graph-IB für schrittweise Vertrauenswürdigkeit (GIBS)

GIBS adressiert die Einschränkung von NIBS, strukturelle Abhängigkeiten zwischen Schritten zu ignorieren.

Darstellung: Schlussfolgerungsspuren werden als gerichtete Graphen modelliert, wobei Knoten Zwischenergebnisse und Kanten logische Operationen oder Teilfragen repräsentieren.
Konsenskonstruktion: Ein Konsensgraph ( $G_{MC}$ ) wird durch Aggregation der größten gemeinsamen Teilgraphen (Maximum Common Subgraphs, MCS) zwischen Kandidatengraphen und Graphen korrekter Lösungen konstruiert.
Lernen: GIBS lernt eine differenzierbare Maske $p_\theta$ , um einen Teilgraphen $G^*$ auszuwählen, der mit der Konsensstruktur übereinstimmt.
Optimierung: Das IB-Ziel wird mittels eines variationsbasierten Ansatzes angenähert:
- Kompression: Minimiert durch die KL-Divergenz zwischen der vorhergesagten Maske und einem spärlichen Prior (fördert eine binärähnliche Auswahl).
- Relevanz: Maximiert durch Minimierung der Cross-Entropy zwischen der vorhergesagten Maske und der aus korrekten Lösungen abgeleiteten Konsensmaske.
Architektur: Das Modell verwendet einen BERT-Encoder für semantische Schrittfunktionen und ein Graph Convolutional Network (GCN) für strukturellen Kontext, um weiche Auswahlwahrscheinlichkeiten vorherzusagen.

3. Hauptbeiträge

SCA-Framework: Die Einführung der schrittweisen Vertrauenswürdigkeitszuweisung, des ersten Frameworks, das speziell für Black-Box-LLMs entwickelt wurde, um feingranulare, schrittweise Zuverlässigkeitssignale unter Verwendung ausschließlich generierter Spuren und Kennzeichnungen der finalen Antwort zu liefern.
IB-basierte Formulierung: Die Anwendung des Information-Bottleneck-Prinzips auf Schlussfolgerungsspuren, wodurch der Kompromiss zwischen der Komprimierung von Ausgabevariabilität und dem Erhalt logischer Invarianten formalisiert wird.
Zwei neue Methoden:
- NIBS: Eine nicht-parametrische, trainingsfreie Methode, die semantischen Konsens nutzt.
- GIBS: Eine graphbasierte, lernbare Methode, die strukturelle Abhängigkeiten und logische Variabilität durch die Auswahl von Teilgraphen erfasst.
Diagnostischer und korrigierender Nutzen: Der Nachweis, dass Vertrauenswürdigkeitssignale auf Schrittebene nicht nur Fehler diagnostizieren, sondern auch die Selbstkorrektur effektiv lenken und dabei Feedback auf Antwortebene übertreffen.

4. Experimentelle Ergebnisse

Die Methoden wurden an drei Benchmarks evaluiert: GSM8K (mathematische Wortaufgaben), Math (Wettbewerbsniveau Mathematik) und MoreHopQA (Multi-Hop-QA), unter Verwendung von drei LLMs (Llama-3.1-8B, Phi-4-Reasoning, DeepSeek-R1-Distill-Qwen-32B).

Genauigkeit (RQ1): GIBS übertraf konsistent starke White-Box-Baselines (z. B. Token-Entropie, Sequenz-Wahrscheinlichkeit) und adaptierte Black-Box-Methoden. Auf MoreHopQA erreichte GIBS bei DeepSeek eine AUROC von 0,8084, was signifikant höher ist als bei den Baselines. NIBS-Varianten erzielten ebenfalls wettbewerbsfähige Leistungen ohne Training und demonstrieren die Robustheit der Konsensausrichtung.
Selbstkorrektur (RQ2): Die Nutzung von Vertrauenswürdigkeit auf Schrittebene zur Lenkung der Selbstkorrektur verbesserte die Erfolgsrate der Korrektur um bis zu 13,5 % im Vergleich zur Verwendung nur von Feedback auf Antwortebene. Dies war besonders effektiv bei stärkeren Schlussfolgerungsmodellen, die lokalisierte Fehlersignale nutzen konnten.
Ablation und Robustheit (RQ3):
- Das Entfernen entweder des Kanten-Encoders oder des Graph-Encoders in GIBS führte zu einem signifikanten Leistungsabfall, was die Notwendigkeit sowohl lokaler als auch globaler struktureller Signale bestätigt.
- Label-freie Generalisierung: Das Framework bleibt in label-freien Settings effektiv, wenn „Self-Consistency" (mehrheitsgeprüfte pseudo-korrekte Trajektorien) zur Konstruktion von Konsensankern verwendet wird, obwohl die Leistung mit der Qualität der Pseudo-Labels korreliert.
- Domänenverschiebung: GIBS, das auf MoreHopQA (textuell) trainiert wurde, generalisierte gut auf den Math-Datensatz ohne Neutrainieren und übertraf dabei NIBS und White-Box-Baselines. Dies deutet darauf hin, dass die graphbasierte Modellierung abstrakte Schlussfolgerungsmuster erfasst, die weniger an domänenspezifisches Vokabular gebunden sind.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SCA einen skalierbaren, zuverlässigen Mechanismus zur Prüfung von Black-Box-LLMs bietet, ohne internen Zugriff oder kostspielige menschliche Annotationen zu erfordern. Durch die Unterscheidung zwischen legitimer Variabilität und wahren Fehlern durch die Linse logischer Invarianten ermöglicht das Framework:

Feingranulare Diagnostik: Identifizierung spezifischer Schritte, die für Schlussfolgerungsfehler verantwortlich sind.
Verbesserte Zuverlässigkeit: Lenkung der Modelle zur Selbstkorrektur durch Hervorhebung von Schritten mit geringer Vertrauenswürdigkeit, wodurch die Genauigkeit der finalen Antwort verbessert wird.
Generalisierbarkeit: Der Ansatz ist robust über verschiedene Schlussfolgerungsformate (Mathematik vs. Text) und Modellarchitekturen hinweg.

Die Autoren positionieren diese Arbeit als „Audit-Hilfe für menschliche Aufsicht" und nicht als Ersatz für menschliches Urteil, mit dem Ziel, die Interpretierbarkeit und Zuverlässigkeit von LLM-Schlussfolgerungen in Szenarien mit hohem Risiko zu verbessern.