Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds

1. Problemstellung

Große Sprachmodelle (LLMs) zeigen zwar beeindruckende Fähigkeiten im logischen Schlussfolgern, scheitern jedoch systematisch, wenn die vorgegebenen Prämissen mit ihrem parametrischen Wissen (den während des Trainings gelernten Fakten) kollidieren. Dieses Phänomen wird als Wissenskonflikt (Knowledge Conflict) bezeichnet.

Das zentrale Problem ist, dass LLMs in kontrafaktischen Szenarien (z. B. „Wenn alle Schweine Vögel sind...") ihre inhärenten Weltkenntnisse nicht unterdrücken können, um strikt logisch zu deduzieren. Dies führt zu einem signifikanten Leistungsabfall im Vergleich zu Szenarien, in denen Logik und Fakten übereinstimmen. Bisherige Benchmarks untersuchten entweder komplexe Logik ohne Wissenskonflikte oder einfache Konflikte ohne mehrstufige Logik, wodurch die systematische Analyse dieser Interaktion fehlte.

2. Methodik

A. Einführung von CounterLogic (Benchmark)

Um dieses Problem zu isolieren und zu analysieren, stellen die Autoren CounterLogic vor, einen neuartigen Benchmark.

• Aufbau: Der Datensatz besteht aus 1.800 Beispielen, die auf 9 formalen logischen Schemata basieren (z. B. Modus Ponens, Hypothetischer Syllogismus, Disjunktiver Syllogismus).
• Steuerung: Die Daten werden durch hierarchische Entitäts-Tripel (z. B. Siamesen ⊂ Katzen ⊂ Raubtiere) generiert.
• Balancierung: Jedes Beispiel wird systematisch entlang zweier Dimensionen variiert:
  1. Logische Validität: Ist die Konklusion logisch zwingend aus den Prämissen ableitbar?
  2. Wissensausrichtung (Knowledge Alignment): Stimmt die Konklusion mit dem parametrischen Wissen des Modells überein (z. B. „Alle Menschen sind sterblich") oder widerspricht sie ihm (z. B. „Alle Schweine sind Vögel")?
• Komplexität: Die Aufgaben skalieren von 1 bis 9 logischen Schritten, um die Tiefe des Schlussfolgerns zu testen.

B. Experimentelles Setup

Die Autoren evaluierten 11 verschiedene LLMs (einschließlich GPT-4o, Llama-3, Qwen, DeepSeek) über CounterLogic und fünf weitere Datensätze (FOLIO, KNOT, LogicBench, etc.).

• Baseline: Standard-Chain-of-Thought (CoT) Prompting ohne spezielle Intervention.
• Intervention (FaR): Entwicklung einer metakognitiven Methode namens Flag & Reason (FaR).

C. Die Flag & Reason (FaR) Intervention

Inspiziert vom menschlichen Metakognition (der Fähigkeit, über das eigene Denken nachzudenken), schlägt FaR einen zweistufigen Prozess vor, um den „Glaubens-Bias" zu unterdrücken:

1. Flag (Markieren): Das Modell wird aufgefordert, vor dem eigentlichen logischen Schlussfolgern explizit zu bewerten, ob eine Prämisse oder Konklusion faktisch glaubwürdig ist (d. h., ob sie mit dem parametrischen Wissen übereinstimmt). Dies zwingt das Modell, den Konflikt bewusst zu erkennen.
2. Reason (Schlussfolgern): Erst nach dieser expliziten Kennzeichnung wird das Modell angewiesen, basierend nur auf den gegebenen Prämissen logisch zu deduzieren, wobei es den Konflikt als gegeben akzeptieren muss.

3. Wichtige Beiträge

1. CounterLogic Benchmark: Schaffung des ersten umfassenden Benchmarks, der mehrstufiges logisches Denken systematisch von Wissenskonflikten entkoppelt und dabei sowohl Validität als auch Glaubwürdigkeit balanciert.
2. Quantifizierung des Versagens: Nachweis eines systematischen und signifikanten Leistungsabfalls von LLMs in kontrafaktischen Szenarien.
3. FaR-Methode: Entwicklung und Validierung einer einfachen, aber effektiven metakognitiven Prompting-Strategie, die das Problem des Glaubens-Bias adressiert.
4. Mechanismus-Analyse: Durch Analyse der „Thought Anchors" (kritische Denk-Schritte) wurde gezeigt, dass FaR die Reasoning-Pfade von einer Abhängigkeit von Faktenabruf und Unsicherheitsmanagement hin zu aktiver Berechnung und Planungsgenerierung verschiebt.

4. Ergebnisse

• Leistungsabfall: Ohne Intervention sank die Genauigkeit der Modelle in kontrafaktischen Szenarien im Durchschnitt um 14 % im Vergleich zu wissensausgerichteten Szenarien.
• Einfluss der Logikstruktur: Der Abfall war nicht linear abhängig von der Anzahl der Schritte, sondern stark von der logischen Struktur. Schemata mit Negation (z. B. Disjunktiver Syllogismus) zeigten die größten Lücken (bis zu 30 %), während einfache affirmative Formen robuster waren.
• Effektivität von FaR:
  • Die FaR-Methode reduzierte die Leistungslücke zwischen wissensausgerichteten und kontrafaktischen Szenarien von 14 % auf nur noch 7 %.
  • Die Gesamtgenauigkeit stieg im Durchschnitt um 4 %.
  • Die Verbesserung war bei allen getesteten Modellen (von 7B bis 72B Parametern) und über alle Datensätze hinweg konsistent.
  • Besonders starke Verbesserungen wurden bei Datensätzen mit starken Wissenskonflikten (z. B. Hierarchische Syllogismen) beobachtet, wo die Genauigkeit mancher Modelle um über 15 Prozentpunkte stieg.
• Ablationsstudie: Eine Version von FaR, bei der das „Flaggen" und „Schlussfolgern" in einem einzigen Prompt kombiniert wurden, zeigte keine Verbesserungen. Dies bestätigt die Hypothese, dass die getrennte, sequenzielle Verarbeitung (epistemische Kompartimentierung) entscheidend ist, um das Modell dazu zu bringen, sein internes Wissen bewusst zu unterdrücken.

5. Bedeutung und Schlussfolgerung

Das Paper identifiziert eine fundamentale Schwäche moderner LLMs: Sie sind nicht unfähig zu logischem Denken, sondern scheitern an der kognitiven Verwaltung von Konflikten zwischen Kontext und gespeichertem Wissen. Dies ähnelt dem menschlichen „Glaubens-Bias" (Belief Bias).

Die vorgestellte FaR-Methode demonstriert, dass metakognitive Interventionen (das Bewusstmachen von Konflikten vor der Lösung) LLMs robuster und zuverlässiger machen können, ohne das Modell neu trainieren zu müssen. Dies hat weitreichende Implikationen für den Einsatz von LLMs in Bereichen, die kreatives oder wissenschaftliches Denken erfordern, wo kontrafaktische Annahmen („Was wäre wenn...") essenziell sind. Die Arbeit legt nahe, dass zukünftige Forschung sich auf die Mechanismen der epistemischen Kompartimentierung und die interne Repräsentation von Wissenskonflikten konzentrieren sollte.