Consistency-Guided Decoding with Proof-Driven Disambiguation for Three-Way Logical Question Answering

Die Arbeit stellt CGD-PD vor, eine leichte Testzeit-Methode, die durch konsistenzgeleitetes Decoding und proof-driven Disambiguierung die Genauigkeit von Large Language Models bei der dreiwertigen logischen Fragebeantwortung auf dem FOLIO-Benchmark signifikant verbessert, indem sie Negationsinkonsistenzen behebt und falsche „Unbekannt"-Vorhersagen reduziert.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber manchmal etwas verwirrten Assistenten (eine Künstliche Intelligenz), der dir Fragen zu Geschichten beantworten soll. Die Aufgabe ist einfach: Du gibst ihm eine Geschichte (die Fakten) und eine Behauptung. Er soll dann entscheiden:

1. Wahr: Die Behauptung passt perfekt zu den Fakten.
2. Falsch: Die Behauptung widerspricht den Fakten.
3. Unbekannt: Die Fakten reichen nicht aus, um eine Entscheidung zu treffen.

Das Problem ist: Dieser Assistent ist manchmal unsicher oder macht kleine Fehler. Er sagt oft „Ich weiß es nicht" (Unbekannt), selbst wenn er es eigentlich wissen könnte. Oder er sagt bei einer Frage „Wahr" und bei der exakt entgegengesetzten Frage „Falsch" – was logisch unmöglich ist.

Die Forscher in diesem Papier haben eine clevere Lösung dafür gefunden, die sie CGD-PD nennen. Hier ist die Erklärung, wie das funktioniert, mit ein paar einfachen Vergleichen:

Das Problem: Der verwirrte Richter

Stell dir den KI-Assistenten wie einen Richter vor, der allein in einem leeren Gerichtssaal sitzt.

• Das „Unbekannt"-Problem: Manchmal ist der Richter so vorsichtig, dass er sagt: „Ich kann das nicht entscheiden", obwohl die Beweise eigentlich klar genug wären. Er gibt auf, bevor er wirklich nachgedacht hat.
• Das „Widerspruchs"-Problem: Wenn du ihn fragst: „Ist es heute Montag?", sagt er vielleicht „Ja". Wenn du ihn aber sofort fragst: „Ist es heute nicht Montag?", sagt er plötzlich „Ja" (also: Nein, es ist nicht Montag). Das ist logisch unsinnig. Ein Richter sollte konsistent sein.

Die Lösung: Der „Doppel-Check" mit einem Detektiv

Die Forscher haben dem Richter nicht einfach gesagt „Sei besser!", sondern sie haben ihm eine kleine Checkliste und einen Detektiv zur Seite gestellt. Das System läuft in drei Schritten ab:

Schritt 1: Der Spiegel-Test (Konsistenz-Check)

Statt nur eine Frage zu stellen, stellt das System zwei Fragen gleichzeitig:

1. Die ursprüngliche Frage (z. B. „Ist der Hund im Haus?").
2. Die exakt umgekehrte Frage (z. B. „Ist der Hund nicht im Haus?").

Wenn der Richter bei beiden Fragen logisch widersprüchliche Antworten gibt (z. B. bei beiden „Ja"), weiß das System sofort: „Aha, hier stimmt etwas nicht!" Es nutzt dann eine einfache Regel, um die Antwort zu korrigieren, genau wie man einen Spiegel benutzt, um zu sehen, ob die Kleidung schief sitzt.

Schritt 2: Der „Unbekannt"-Fixer (Der Detektiv)

Wenn der Richter bei einer Frage sagt: „Ich weiß es nicht", greift der Detektiv ein.

• Der Detektiv fragt nicht einfach nochmal: „Weißt du es jetzt?"
• Stattdessen fragt er: „Kannst du mir einen einzigen Beweis aus der Geschichte zeigen, der beweist, dass es wahr ist?"
• Wenn der Richter einen Beweis findet, muss er eine klare Antwort geben (Wahr oder Falsch).
• Wenn er wirklich keinen Beweis findet, bleibt es bei „Unbekannt".

Das verhindert, dass der Richter aus Faulheit oder Unsicherheit aufhört zu suchen. Er wird gezwungen, nach einem konkreten „Zeugen" (Beweis) zu suchen.

Schritt 3: Der Ja/Nein-Check (Die letzte Instanz)

Wenn der Richter bei beiden Fragen (der normalen und der umgekehrten) immer noch „Ich weiß es nicht" sagt, schaltet das System auf einen sehr einfachen Modus um. Es fragt nicht mehr nach komplexen Erklärungen, sondern nur noch nach einfachen Ja/Nein-Fragen:

• „Beweisen die Fakten, dass der Hund im Haus ist? (Ja/Nein)"
• „Beweisen die Fakten, dass der Hund nicht im Haus ist? (Ja/Nein)"

Da Ja/Nein-Fragen für KI viel einfacher zu beantworten sind als komplexe Erklärungen, gelingt es dem System oft, die Antwort doch noch zu finden.

Warum ist das so gut?

Stell dir vor, du würdest einen Freund bitten, dir eine Geschichte zu erzählen. Wenn er unsicher ist, sagst du ihm nicht einfach „Gib auf", sondern du sagst: „Stell dir vor, du musst es beweisen. Hast du einen Beweis?" Plötzlich denkt er genauer nach und findet die Antwort.

Die Ergebnisse:

• Der Assistent macht weniger Fehler durch Widersprüche.
• Er sagt viel seltener „Ich weiß es nicht", wenn er es eigentlich wissen könnte.
• Er braucht dafür nur ein paar mehr Sekunden Rechenzeit (wie wenn man eine zweite Meinung einholt), aber das Ergebnis ist viel zuverlässiger.

Zusammenfassung

Die Forscher haben einen kleinen „Trick" entwickelt, der KI-Systeme zwingt, logisch konsistent zu denken und nicht einfach aufzugeben, wenn es schwierig wird. Sie nutzen die Logik des „Spiegels" (Fragen und Gegenfragen) und einen „Detektiv", der nach Beweisen sucht, um die KI schlauer und zuverlässiger zu machen – ohne dass man die KI neu trainieren muss. Es ist wie ein Sicherheitsnetz für die Denkprozesse der Maschine.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderungen beim Drei-Wege-Logik-Frage-Antwort-System (Three-Way Logical QA) mit großen Sprachmodellen (LLMs). Bei dieser Aufgabe wird eine Hypothese $H$ gegeben eine Menge von Prämissen $S$ mit einem der drei Labels True (Wahr), False (Falsch) oder Unknown (Unbekannt) klassifiziert.

Die Autoren identifizieren zwei kritische Fehlermodi, die auch bei leistungsfähigen LLMs häufig auftreten:

1. Negationsinkonsistenz (Negation Inconsistency): Da die Logik deterministisch ist, muss das Label für $\neg H$ (die Negation von $H$) direkt aus dem Label von $H$ ableitbar sein (z. B. wenn $H$ „True" ist, muss $\neg H$ „False" sein). LLMs behandeln $H$ und $\neg H$ jedoch oft als unabhängige Eingaben und liefern inkonsistente Ergebnisse.
2. Epistemisches „Unknown": Das Label „Unknown" wird oft nicht nur dann gewählt, wenn die Prämissen logisch unzureichend sind (echte Underspezifikation), sondern auch als Ausweichmanöver bei Unsicherheit, Instabilität oder Empfindlichkeit gegenüber der Formulierung. Dies führt zu einer unnötigen Reduktion der Genauigkeit und Abdeckung, da das Modell sich zurückzieht, obwohl eine logische Ableitung möglich wäre.

2. Methodik: CGD-PD

Die Autoren stellen CGD-PD (Consistency-Guided Decoding with Proof-Driven Disambiguation) vor. Dies ist eine leichtgewichtige Wrapper-Schicht zur Laufzeit (Test-Time), die ohne Nachtraining auskommt und auf Black-Box-Modellen funktioniert. Der Ansatz nutzt die logische Kopplung durch Negation, um Rauschen zu korrigieren und Unsicherheit aufzulösen.

Der Algorithmus durchläuft folgende Schritte:

1. Dual Probing (Zweiseitige Abfrage):
   Das Modell wird einmal auf die Hypothese $H$ und einmal auf die mechanisch negierte Form $\neg H$ angewendet.

   • Ziel: Prüfung auf Negationskonsistenz gemäß der Abbildung $NegMap(True)=False$, $NegMap(False)=True$, $NegMap(Unknown)=Unknown$.
   • Wenn die Ergebnisse konsistent sind und mindestens eine Seite entscheidend ist, wird das Ergebnis zurückgegeben.

2. Targeted Unknown Fixing (Gezielte Korrektur von „Unknown"):
   Falls eine Seite „Unknown" liefert, wird ein spezieller „Fixer"-Prompt verwendet. Dieser fordert das Modell auf, entweder:

   • Eine entscheidende Antwort (True/False) mit einem Zeugen (einem Zitat aus den Prämissen) zu liefern, oder
   • „Unknown" zu bestätigen und zu erklären, welche fehlende Prämisse nötig wäre.
   • Dies verhindert willkürliche Entscheidungen und reduziert falsche „Unknown"-Ausgaben.

3. Proof-Driven Disambiguation (Beweisgesteuerte Auflösung):
   Wenn beide Seiten nach dem Fixing immer noch „Unknown" sind, werden binäre Entailment-Probes (Ja/Nein-Fragen) eingesetzt:

   • $EntailsYesNo(S, H)$ und $EntailsYesNo(S, \neg H)$.
   • Diese binären Fragen sind einfacher als die 3-Klassen-Klassifikation und neigen weniger dazu, „Unknown" zu verwenden.
   • Entscheidungsregel: Wenn $H$ bejaht und $\neg H$ verneint wird $\rightarrow$ True. Wenn $H$ verneint und $\neg H$ bejaht wird $\rightarrow$ False. Andernfalls bleibt es „Unknown".

4. Adjudikation (Schlichtung):
   Falls beide Seiten entscheidend, aber inkonsistent sind (z. B. $H \to True$ und $\neg H \to True$), wird ein leichter „Adjudicator"-Prompt verwendet, um basierend auf den Eingaben die konsistentere Zuordnung zu wählen.

Ressourcennutzung: Im Durchschnitt werden nur 4–5 Modellaufrufe pro Beispiel benötigt (im Vergleich zu 1 Aufruf bei Standard-Methoden).

3. Wichtige Beiträge

1. Identifikation und Quantifizierung von Fehlermodi: Das Paper isoliert und misst systematisch Negationsinkonsistenzen und epistemisches „Unknown" auf dem FOLIO-Benchmark unter Verwendung formaler Logik-Annotationen.
2. Entwicklung von CGD-PD: Einführung eines kleinen, implementierbaren Test-Time-Wrappers, der finale Entscheidungen erzwingt, die der Negationslogik entsprechen, und „Unknown"-Fälle selektiv durch binäre Beweis-Proben auflöst.
3. Analyse der Verbesserungen: Das Paper liefert detaillierte Analysen, die zeigen, dass die Genauigkeitsgewinne primär durch die Umwandlung von epistemischem „Unknown" in korrekte True/False-Labels entstehen, ohne die Leistung bei tatsächlich unentscheidbaren Fällen signifikant zu verschlechtern.

4. Ergebnisse

Die Methode wurde auf dem FOLIO-Benchmark (speziell den First-Order-Logic-Feldern) mit zwei fortschrittlichen Modellen getestet: GPT-5.2 und Claude Sonnet 4.5.

• Genauigkeitssteigerung:
  • GPT-5.2: Steigerung von 63,7 % auf 68,1 % (+4,4 Punkte).
  • Claude Sonnet 4.5: Steigerung von 42,2 % auf 49,0 % (+6,9 Punkte).
• Reduktion von „Unknown":
  • Die Rate der „Unknown"-Vorhersagen sank signifikant (z. B. bei Claude von 75,5 % auf 58,8 %).
  • Besonders wichtig: Die Rate des epistemischen Unknown (fälschlicherweise als „Unknown" klassifizierte True/False-Fälle) ging drastisch zurück.
• Effizienz: Trotz der zusätzlichen Aufrufe liegt der Durchschnitt bei nur 4,36 (GPT) bzw. 4,91 (Claude) Aufrufen pro Beispiel, was die Methode effizient genug für viele Anwendungen macht.

Die Konfusionsmatrizen zeigen, dass die Gewinne hauptsächlich daraus resultieren, dass das Modell bei Fällen, die eigentlich True oder False sind, nicht mehr vorsichtig „Unknown" wählt.

5. Bedeutung und Fazit

Das Paper zeigt, dass die Erzwingung minimaler logischer Strukturen (insbesondere der Negationskonsistenz) zur Laufzeit eine praktische und effektive Ergänzung zu schwereren Reasoning-Pipelines ist.

• Methodische Bedeutung: CGD-PD demonstriert, dass man durch geschickte Nutzung logischer Redundanz (Abfrage von $H$ und $\neg H$) und gezielte Verifikation (binäre Probes) die Robustheit von LLMs in logischen Aufgaben erheblich steigern kann, ohne das Modell neu trainieren zu müssen.
• Praktische Relevanz: Die Methode reduziert unnötiges „Zurückweichen" (Abstention) des Modells und erhöht die Abdeckung (Coverage) bei gleichbleibender oder verbesserter Genauigkeit. Dies ist besonders für Anwendungen wie Bildungssoftware, Analyse-Assistenten und Verifikationssysteme wertvoll.
• Einschränkung: Die Methode ist kein vollständiger logischer Solver und erhöht die Rechenkosten leicht. Sie eignet sich daher am besten für Szenarien, in denen zusätzliche Zuverlässigkeit die Kosten für die Mehrfachabfragen rechtfertigt.

Zusammenfassend beweist CGD-PD, dass einfache, logikbasierte Konsistenzprüfungen während der Inferenz signifikante Verbesserungen bei der logischen Schlussfolgerung von LLMs bewirken können.