🤖 AI

Quantifying Consistency in LLM Logical Reasoning via Structural Uncertainty

Dieses Paper führt „strukturelle Unsicherheit“ ein, ein Framework, das die Konsistenz des logischen Schließens in großen Sprachmodellen quantifiziert, indem es die Stabilität von Selbstpräferenz-Rankings unter den gesampelten Lösungen analysiert, wodurch aufgezeigt wird, dass diese Metrik die traditionelle Antwort-Dispersion ergänzt, um unzuverlässiges Schließen bei deduktiven Aufgaben besser zu identifizieren und gleichzeitig Regime zu unterscheiden, in denen eine solche Konsistenzbewertung informativ ist.

Ursprüngliche Autoren: Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

Veröffentlicht 2026-06-17

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Baishali Chaudhury, Mengdie Flora Wang, Hyunji Hayley Park, Rahul Ghosh, Sungmin Hong, Jae Oh Woo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr klugen, aber manchmal übermütigen Schüler, ein schwieriges mathematisches Problem zu lösen. Sie bitten ihn, fünf verschiedene Versuche zu unternehmen, das Problem zu lösen.

Der alte Weg: Antworten zählen
Traditionell schauen wir uns einfach die fünf Antworten des Schülers an, um zu sehen, ob er zuverlässig ist.

Wenn er fünfmal „10“ sagt, denken wir: „Großartig! Er ist konsistent.“
Wenn er „10, 12, 9, 10, 11“ sagt, denken wir: „Oje, er ist verwirrt.“

Aber es gibt ein Problem. Was ist, wenn der Schüler jedes Mal falsch liegt, aber aus fünf verschiedenen Gründen?

Antwort 1: „10“ (weil er ein Minuszeichen vergessen hat).
Antwort 2: „10“ (weil er addiert statt subtrahiert hat).
Antwort 3: „10“ (weil er die Zahlen falsch gelesen hat).

Nach der alten Methode wirkt der Schüler perfekt konsistent, weil die endgültige Antwort immer „10“ ist. Aber das Denken dahinter war ein Chaos. Die alte Methode übersieht dieses interne Chaos.

Der neue Weg: Das „Selbst-Richter“-Turnier
Dieses Paper stellt eine neue Art vor, den Schüler zu prüfen, genannt Strukturelle Unsicherheit (Structural Uncertainty). Anstatt nur auf die endgültigen Antworten zu schauen, bitten wir den Schüler, als sein eigener Schiedsrichter zu fungieren.

Hier ist der Prozess:

Generieren: Der Schüler schreibt fünf verschiedene Lösungswege auf (einige könnten richtig, andere falsch sein).
Turnier: Wir bitten den Schüler, diese Lösungen paarweise miteinander zu vergleichen. „Ist Lösung A besser als Lösung B?“
Ranking: Wir nehmen all diese Vergleiche und erstellen ein Ranking. Wer ist die „beste“ Lösung? Wer ist die „schlechteste“?
Der Twist: Wir führen dieses Turnier mehrfach durch, ändern aber die Reihenfolge, wer gegen wen antritt (wie das Ziehen einer zufälligen Verbindungskarte).

Die zwei Signale
Indem wir beobachteten, wie der Schüler seine eigene Arbeit bewertet, fanden die Autoren zwei deutliche Signale, die verraten, ob das Denken stabil ist:

Das „Flip-Flop“-Signal (Instabilität über die Versuche hinweg):
- Stellen Sie sich vor: In einem Turnier sagt der Schüler, dass Lösung A die beste ist. Im nächsten Turnier (mit einem anderen Set an Paarungen) sagt er plötzlich, dass Lösung C die beste ist.
- Bedeutung: Der Schüler weiß eigentlich nicht, was eine „gute“ Lösung ausmacht. Sein interner Kompass dreht sich im Kreis. Dies ist ein großes Warnsignal, selbst wenn alle fünf Antworten dieselbe Zahl waren.
- Analogie: Es ist wie ein Richter, der heute den „besten“ Film in einer Auswahl wählt, aber morgen einen völlig anderen Film wählt, obwohl sich die Filme nicht geändert haben. Der Richter ist unzuverlässig.
Das „Tie-Breaker“-Signal (Ambiguität innerhalb eines Versuchs):
- Stellen Sie sich vor: In einem einzelnen Turnier schaut der Schüler auf alle fünf Lösungen und sagt: „Sie sind alle ziemlich gut, ich kann keinen Sieger wählen.“ Das Ranking ist eine flache Linie.
- Bedeutung: Das ist tatsächlich ein gutes Zeichen für komplexe mathematische Probleme! Es bedeutet, dass es mehrere gültige Wege gibt, das Problem zu lösen, und der Schüler erkennt das. Es zeigt, dass er die Nuancen versteht.
- Analogie: Es ist wie ein Food-Kritiker, der sagt: „Diese fünf Pizzen sind alle exzellent; ich kann mich nicht für eine entscheiden.“ Das ist ein Zeichen für einen anspruchsvollen Gaumen, nicht für Verwirrung.

Die „Bibliothek“ vs. die „Mathestunde“
Das Paper entdeckte, dass diese neue Methode je nach Art der Aufgabe unterschiedlich funktioniert:

In Mathe/Logik (die „Mathestunde“): Die Methode glänzt hier. Wenn der Schüler verwirrt ist, springen seine Rankings wild hin und her (Flip-Flop). Wenn er klug ist, kann er zwischen guten und schlechten Pfaden unterscheiden.
Beim Faktencheck (die „Bibliothek“): Die Methode stößt hier an ihre Grenzen. Stellen Sie sich vor, Sie bitten den Schüler, einen bestimmten Fakt in einer Bibliothek von Büchern zu finden. Wenn die Bücher die Antwort nicht enthalten, wird der Schüler jedes Mal sagen: „Ich weiß es nicht.“
- Da die Antwort „Ich weiß es nicht“ lautet, wird das interne Ranking des Schülers zu einer perfekten flachen Linie (alle sind für den letzten Platz gleichauf).
- Das Paper nennt dies einen „Kollaps“ (Collapse). Das Signal verschwindet. Die Methode erkennt: „Oh, das ist kein Denkproblem; es ist ein Abrufproblem (Retrieval Problem).“ In diesen Fällen ist die alte Methode (nur zu prüfen, ob sich die Antworten unterscheiden) tatsächlich besser.

Das Fazit
Dieses Paper fragt nicht nur: „Hat die KI die richtige Antwort gegeben?“ oder „Hat sie fünfmal die gleiche Antwort gegeben?“

Stattdessen fragt es: „Hat die KI eine stabile, konsistente Art und Weise, ihre eigene Arbeit zu beurteilen?“

Wenn die internen Rankings der KI wackelig sind und hin und her springen, denkt sie wahrscheinlich schlecht, selbst wenn die endgültige Antwort richtig aussieht.
Wenn die Rankings der KI stabil sind, denkt sie wahrscheinlich gut.
Wenn die Rankings der KI in ein flaches Unentschieden kollabieren, handelt es sich möglicherweise um eine Aufgabe, bei der das logische Denken keine Rolle spielt (wie das Suchen nach einem Fakt, der nicht vorhanden ist).

Dies hilft uns, „klug klingende“ Fehler zu erkennen, bei denen die KI zwar selbstbewusst falsch liegt, aber intern inkonsistent ist – ein Problem, das ältere Methoden völlig übersehen haben.

Technisches Resümee: Quantifizierung der Konsistenz in der logischen Argumentation von LLMs via Struktureller Unsicherheit

Problemstellung

Große Sprachmodelle (LLMs) weisen häufig einen Fehlermodus in der mehrstufigen deduktiven Argumentation auf, bei dem sie durch verschiedene, intern fehlerhafte Argumentationspfade zum gleichen falschen Schluss kommen. Bestehende Post-hoc-Evaluationsmethoden bewerten die Zuverlässigkeit primär über die Output-Dispersion (Messung der semantischen Variation oder Entropie der gesampelten Antworten). Während dieser Ansatz nützlich ist, verwirft er ein kritisches, komplementäres Signal: die strukturelle Konsistenz der internen Präferenzen des Modells unter konkurrierenden Argumentationskandidaten.

Aktuelle dispersionsbasierte Methoden können „systematisch, aber intern instabile“ Argumentationen nicht erkennen. Wenn ein Modell beispielsweise fünf Kandidaten generiert, die sich alle auf eine falsche Antwort einigen, melden dispersionsbasierte Metriken eine niedrige Unsicherheit (Null-Entropie), was jedoch verschleiert, dass das interne Ranking des Modells für diese Kandidaten hochgradig instabil sein kann. Diese Arbeit adressiert die Notwendigkeit eines Evaluationsrahmens, der nicht nur misst, welche Antworten sich unterscheiden, sondern auch, wie konsistent das Modell konkurrierende Argumentationslösungen für dieselbe Abfrage rankt.

Methodik: Framework der Strukturellen Unsicherheit

Die Autoren schlagen die Strukturelle Unsicherheit vor, einen konsistenzbewussten Evaluationsrahmen, der die Stabilität von durch Selbstpräferenz induzierten Rankings über gesampelte Kandidatenlösungen quantifiziert. Das Framework arbeitet in einem vollständig Black-Box-Szenario, ohne Zugriff auf interne Modellzustände (Logits oder Hidden States zu benötigen.

1. Pipeline-Übersicht

Gegeben sei eine Abfrage $x$ :

Kandidatengenerierung: Das Modell generiert $N$ diverse Kandidaten für Argumentationslösungen ( $N=5$ ) mittels stochastischer Dekodierung und distinkter Prompt-Templates (z. B. Schritt-für-Schritt, Think-Aloud, Sokratisch, Dekomposition, Analogisch).
Elicitierung der Selbstpräferenz: Dasselbe Modell fungiert als Richter, um paarweise Präferenzen zwischen seinen eigenen Outputs zu bestimmen. Um die Rechenkosten von $O(N^2)$ auf $O(N)$ zu senken, sampelt die Autoren einen gleichverteilten zufälligen Spannbaum über die $N$ Kandidaten für jeden Versuch und fragen nur die $N-1$ Kanten ab.
Präferenzaggregation:
- Bradley-Terry-Modellierung: Paarweise Urteile werden mithilfe des Bradley-Terry (BT)-Frameworks mit $L_2$ -Regularisierung modelliert, um latente Nutzenfunktionen $\theta_i$ für jeden Kandidaten abzuleiten.
- PageRank-Normalisierung: Die abgeleiteten paarweisen Gewinnwahrscheinlichkeiten werden in eine Übergangsmatrix umgewandelt, und die stationäre Verteilung (PageRank-Score $\pi$ ) wird berechnet, um eine globale Ranking-Verteilung für diesen Versuch zu erzeugen.
- Robustheitsprüfung: Eine TrueSkill-Variante (Bayesianische Skill-Bewertung mit konfidenzgewichteten Updates) wird ebenfalls implementiert und liefert hochgradig ähnliche Ergebnisse.
Unsicherheits-Dekomposition: Der Prozess wird für $M$ $M$ unabhängige Versuche (Spannbaum-Samples) wiederholt. Die resultierende Ensemble von Ranking-Verteilungen $\{\pi^{(m)}\}_{m=1}^M$ ${π^{(m)}}_{m = 1}^{M}$ wird in zwei entropiebasierte Komponenten zerlegt:
- Innerhalb-Versuch-Kandidatenambiguität ( $StructU_{within}$ ): Die durchschnittliche Entropie der Ranking-Verteilung innerhalb eines einzelnen Versuchs. Hohe Werte deuten darauf hin, dass das Modell nicht in der Lage ist, zwischen den Kandidaten selbst innerhalb eines Vergleichssatzes sicher zu unterscheiden.
- Über-Versuch-Ranking-Instabilität ( $StructU_{across}$ ): Die Differenz zwischen der Gesamtentropie des mittleren Rankings und der durchschnittlichen Entropie innerhalb der Versuche. Hohe Werte deuten darauf hin, dass das bevorzugte Ranking des Modells signifikant fluktuiert, je nachdem, welcher spezifische Vergleichssatz (Spannbaum) gesampelt wurde.

2. Integration mit Self-Consistency

Das Framework kombiniert die strukturelle Unsicherheit mit der Standard-Self-Consistency-Unsicherheit (Entropie der Antwortverteilung). Die Autoren schlagen eine feste empirische Fusionsregel vor:

Da $StructU_{across}$ negativ mit der Genauigkeit korreliert (Instabilität $\to$ Scheitern), wird es zur Self-Consistency-Entropie addiert.
Da $StructU_{within}$ positiv mit der Genauigkeit bei Argumentationsaufgaben korreliert (Ambiguität unter plausiblen Pfaden), wird es von der Self-Consistency-Entropie subtrahiert.

Zentrale Beiträge

Ein Post-hoc-Konsistenz-Framework: Eine modellagnostische Methode zur Quantifizierung der Argumentationskonsistenz über die Stabilität von Selbstpräferenz-Rankings, die ein Signal liefert, welches die Output-Dispersion ergänzt.
Strukturelle Dekomposition: Die Zerlegung der Unsicherheit in über-Versuch-Instabilität (Signal für unzuverlässige Argumentation) und innerhalb-Versuch-Ambiguität (Signal für kompetitive, plausible Pfade), abgeleitet via Bradley-Terry/TrueSkill und PageRank.
Regime-Analyse: Eine Charakterisierung der Bedingungen, unter denen strukturelle Signale informativ sind oder kollabieren. Die Arbeit identifiziert eine „Regime-Grenze“, an der die Evaluierung der Argumentationskonsistenz auf Ebene der Logik nicht mehr aussagekräftig ist.

Experimentelle Ergebnisse

Das Framework wurde über fünf LLMs (darunter Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B) und acht Benchmarks (Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA) evaluiert.

1. Komplementarität bei Argumentationsaufgaben

Auf mathematischen und logischen Argumentations-Benchmarks (z. B. Math-Synth, MATH-500, AMC-23) verbessert die Kombination von struktureller Unsicherheit mit Self-Consistency signifikant die Identifizierung unzuverlässiger Argumentationsinstanzen (gemessen an Selective Prediction AUC und AUROC).

Leistungssteigerungen: Der hybride Schätzer ($StructU + SelfConsU$) erreichte bei den meisten Argumentationsaufgaben die höchste oder zweithöchste Leistung, mit Gewinnen von bis zu +13,4 % bei schwächeren Modellen bei schwierigen Wettbewerbsproblemen.
Korrelation mit der Genauigkeit:
- Über-Versuch-Instabilität zeigte eine starke negative Korrelation mit der Korrektheit (Instabilität signalisiert Scheitern).
- Innerhalb-Versuch-Ambiguität zeigte eine positive Korrelation mit der Korrektheit bei Mathematikaufgaben, was konsistent mit Szenarien ist, in denen mehrere valide Lösungspfade existieren.

2. Kollaps bei Retrieval-Aufgaben

Bei faktischen Retrieval-Aufgaben (speziell HotpotQA) kollabierte das strukturelle Signal.

Beobachtung: Sowohl korrekte als auch falsche Fragen wiesen eine nahezu Null-Über-Versuch-Unsicherheit und eine nahezu maximale Innerhalb-Versuch-Entropie (uniforme PageRank-Verteilungen) auf.
Mechanismus: Faktisches Retrieval über feste Dokumente provoziert strukturell homogene Argumentationsketten, unabhängig vom Prompt-Template. Die Selbstpräferenz-Urteile des Modells werden ununterscheidbar (Münzwurf), wodurch das strukturelle Signal uninformativ wird.
Implikation: In diesem Regime sind dispersionsbasierte Methoden (wie Self-Consistency oder Semantische Dispersion) dem strukturellen Ansatz überlegen. Der Kollaps selbst dient als diagnostisches Merkmal, das das Fehlen von Argumentations-Diversität auf struktureller Ebene anzeigt.

3. Ablation und Validierung

Randomisierung: Das Ersetzen echter Selbstpräferenzen durch Zufallsvergleiche führte dazu, dass die AUROC auf das Niveau des Zufalls sank, was bestätigt, dass das Signal auf echten Modellpräferenzen basiert und nicht auf Artefakten der Pipeline.
Backend-Robustheit: Sowohl die Bradley-Terry- als auch die TrueSkill-Backends produzierten konsistente Rankings ( $\rho > 0,95$ ), was die Dekomposition als eine Eigenschaft der Ranking-Verteilung und nicht als eine spezifische Modellwahl validiert.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass Strukturelle Unsicherheit am besten nicht als universeller Konfidenzschätzer, sondern als ein regimesensitiver Evaluator der Konsistenz logischer Argumentation verstanden werden sollte.

Neubewertung der Evaluation: Sie verschiebt die Frage von „Wie stark unterscheiden sich die Antworten?“ (Dispersion) zu „Wie konsistent rankt das Modell konkurrierende Argumentationslösungen?“ (Struktur).
Diagnostischer Nutzen: Das Framework bietet Praktikern ein praktisches Diagnosewerkzeug. Die „HotpotQA-Signatur“ (nahezu Null-Über-Versuch-Unsicherheit + hohe Innerhalb-Versuch-Entropie) zeigt ein Aufgaben-Regime an, in dem die Evaluierung der strukturellen Argumentationskonsistenz vergeblich ist, was den Wechsel zu dispersionsbasierten Methoden nahelegt.
Limitierungen: Die Autoren merken bescheiden an, dass die Methode die Inferenzkosten erhöht ( $N \times M$ Vergleiche) und dass Selbstpräferenzen modellspezifische Biases erben. Die Dekomposition ist empirisch und unter einem festen Protokoll beobachtbar, nicht eine fundamentale Identifizierung der zugrunde liegenden Datenunsicherheit. Die Methode ist am effektivsten, wenn die Antworten sich in der Qualität der Argumentation unterscheiden; sie versagt, wenn die Variation rein stilistisch ist oder wenn die Aufgabenstruktur (z. B. deterministisches Retrieval) die Argumentations-Diversität unterdrückt.

Zusammenfassend zeigt die Arbeit, dass die Messung der Stabilität der internen Präferenzordnung eines Modells über seine eigenen Outputs eine kritische, komplementäre Sicht auf die Zuverlässigkeit von Argumentationen bietet, insbesondere zur Erkennung systematischer Fehler, die durch die Übereinstimmung auf Antwortebene allein nicht sichtbar werden.