💬 NLP

Explanation Generation for Contradiction Reconciliation with LLMs

Diese Arbeit führt die Aufgabe der Generierung von versöhnenden Erklärungen ein, um scheinbare Widersprüche durch plausible Hypothesen aufzulösen, und zeigt anhand von Experimenten mit 18 LLMs, dass aktuelle Modelle in diesem Bereich nur begrenzt erfolgreich sind und eine Skalierung der Rechenleistung keine linearen Verbesserungen bringt.

Ursprüngliche Autoren: Jason Chan, Zhixue Zhao, Robert Gaizauskas

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jason Chan, Zhixue Zhao, Robert Gaizauskas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

🕵️‍♂️ Die Detektive der Widersprüche: Wie KI lernen muss, „Aber..." zu sagen

Stell dir vor, du bist in einem Café und hörst zwei Sätze:

„Cassie hasst Kaffee."
„Cassie kauft jeden Tag Kaffee."

Für einen normalen Computer oder einen strengen Logiker sind das zwei Dinge, die sich gegenseitig ausschließen. Es ist ein Widerspruch. Ein klassisches KI-Modell würde wahrscheinlich sagen: „Einer dieser Sätze muss falsch sein. Ich lösche einen davon."

Aber Menschen sind schlauer. Wir denken: „Moment mal! Vielleicht kauft Cassie Kaffee, weil sie die Kellnerin ist und ihre Kollegen damit versorgen muss, obwohl sie ihn selbst nicht mag." Wir suchen nach einer Erklärung, die beide Tatsachen zusammenbringt, ohne eine davon zu löschen.

Genau das ist das Problem, das diese Forscher untersucht haben.

🧩 Das große Puzzle-Experiment

Die Forscher (Jason Chan und sein Team von der Universität Sheffield) haben sich gefragt: Können große Sprach-KIs (LLMs) auch so denken? Können sie nicht nur streiten, wer recht hat, sondern eine Brücke bauen, die den Widerspruch auflöst?

Sie haben einen neuen Test entwickelt, den sie „Reconciliatory Explanation Generation" nennen. Auf Deutsch: „Das Generieren von versöhnenden Erklärungen."

Wie funktioniert der Test?

Stell dir vor, du hast zwei widersprüchliche Karten:

Karte A (Die Prämisse): „Die Straßen sind voll mit Händlern, die Süßigkeiten verkaufen."
Karte B (Die Hypothese): „Die Händler haben Fackeln und Feuer aufgestellt."

Ein KI-Richter sagt sofort: „Widerspruch! Wenn sie Süßigkeiten verkaufen, warum haben sie Feuer? Das passt nicht zusammen!"

Die Aufgabe der KI ist es nun, einen dritten Satz (die Erklärung) zu erfinden, der beide Karten wieder zusammenpasst.

Gute Lösung: „Es wird Abend, und die Händler zünden Fackeln an, um ihre Süßigkeiten zu beleuchten." (Plötzlich passt alles!)
Schlechte Lösung: „Die Händler mögen Feuer." (Das hilft nicht wirklich).

🤖 Was haben sie herausgefunden?

Die Forscher haben 18 verschiedene KI-Modelle (von kleinen bis zu riesigen, wie GPT-5 oder Llama) an diesem Test gemessen. Hier sind die wichtigsten Ergebnisse, einfach erklärt:

1. Die „Denk"-Funktion hilft nicht immer
Viele moderne KIs haben eine Funktion, bei der sie erst „nachdenken" (eine Art Gedankengang schreiben), bevor sie antworten. Man dachte, das würde ihnen helfen, komplexe Rätsel zu lösen.

Das Ergebnis: Bei kleinen und mittleren Modellen half das Nachdenken tatsächlich. Sie wurden besser.
Aber: Bei den ganz großen, mächtigen Modellen kam das Nachdenken kaum noch einen Vorteil. Es war, als würde ein Marathonläufer versuchen, schneller zu laufen, indem er einen Rucksack trägt – je größer der Rucksack (das Nachdenken), desto mehr bremst er den Läufer, der eigentlich schon schnell genug ist.

2. Die „Magischen" Modelle
Die proprietären Modelle von OpenAI (wie gpt-5-mini) waren die besten Detektive. Sie konnten die besten Erklärungen finden. Die offenen Modelle (die jeder nutzen kann) waren oft gut darin, nicht zu widersprechen, aber schlecht darin, eine echte Lösung zu finden.

3. Der „Platzhalter"-Trick
Einige KIs waren zu faul oder zu clever. Wenn sie sagten: „Cassie kauft Kaffee, weil sie Kaffee kauft", dann war das technisch gesehen eine Erklärung, die den Widerspruch löste, aber es war sinnlos. Die Forscher haben das als „oberflächliches Geschwätz" entlarvt.

🌍 Warum ist das wichtig?

Stell dir vor, du nutzt eine KI als Assistenten für deine Arbeit oder als Chatbot.

Szenario: Ein Kunde sagt: „Ich liebe Pizza, aber ich esse nie Pizza."
Schlechte KI: „Das ist falsch. Du kannst nicht beides sagen." (Sie bricht das Gespräch ab).
Gute KI: „Vielleicht liebst du den Geschmack, aber du hast eine Allergie oder bist gerade auf Diät?" (Sie versteht den Menschen).

Die Forscher sagen: Damit KIs wirklich nützliche Gesprächspartner oder wissenschaftliche Helfer werden, müssen sie lernen, Widersprüche nicht als Fehler zu sehen, sondern als Rätsel, die eine Erklärung brauchen.

🎯 Das Fazit in einem Satz

Die KI ist heute schon gut darin, Fakten zu prüfen, aber sie muss noch viel üben, um wie ein menschlicher Diplomat zu denken, der sagt: „Halt, lass uns herausfinden, wie beide Seiten recht haben könnten."

Die Forscher hoffen, dass ihre neuen Tests und Methoden helfen, KIs zu bauen, die nicht nur logisch, sondern auch klug und verständnisvoll sind.

Titel: Explanation Generation for Contradiction Reconciliation with LLMs

Autoren: Jason Chan, Zhixue Zhao, Robert Gaizauskas (University of Sheffield, UK)

1. Problemstellung

In der aktuellen NLP-Forschung werden Widersprüche (Kontradiktionen) zwischen Aussagen meist als Fehler behandelt, die durch das Auswählen einer Aussage und das Verwerfen der anderen gelöst werden müssen (Arbitration). Dies steht im Gegensatz zum menschlichen Denken, insbesondere in sozialen und wissenschaftlichen Kontexten. Menschen nutzen oft abduktives Denken, um Erklärungen zu hypothesieren, die scheinbar widersprüchliche Aussagen miteinander in Einklang bringen (reconcile), anstatt sie zu verwerfen.

Beispiel: „Cassie hasst Kaffee" vs. „Sie kauft jeden Tag Kaffee". Ein Mensch könnte erklären, dass sie Kaffee für ihre Kollegen kauft, wodurch beide Aussagen wahr sein können.
Trotz der wachsenden Fähigkeiten von Large Language Models (LLMs) bleibt ihre Fähigkeit, solche rekonziierenden Erklärungen zu generieren, weitgehend unerforscht. Bisherige Arbeiten konzentrieren sich primär auf die Erkennung von Konflikten oder die Entscheidung, welche Information korrekt ist.

2. Methodik

A. Neue Aufgabe: Reconciliatory Explanation Generation (REG)

Die Autoren definieren die neue Aufgabe REG: Ein Modell muss eine natürliche Sprache-Explanation ( $e$ ) generieren, die zwei scheinbar widersprüchliche Aussagen (Prämisse $p$ und Hypothese $h$ ) kompatibel macht.
Die Erfolgskriterien sind formal definiert durch ein NLI-Richter-Modell ( $M_{nli}$ ):

Effektivität: Wenn die Prämisse $p$ mit der Erklärung $e$ kombiniert wird, muss die Hypothese $h$ daraus folgen (Entailment). Formal: $M_{nli}(p + e, h) = \text{entail}$ .
Kohärenz: Die Erklärung $e$ darf nicht im Widerspruch zur Prämisse $p$ stehen. Formal: $M_{nli}(p, e) \neq \text{contradict}$ und $M_{nli}(e, p) \neq \text{contradict}$ .

B. Datenerstellung (Dataset Curation)

Statt neue Daten manuell zu annotieren, repurposen die Autoren das ChaosNLI-MNLI-C-Subset (aus MultiNLI).

Idee: Sie nutzen die inhärente Uneinigkeit menschlicher Annotatoren als Feature. Instanzen, die von Menschen als „Widerspruch" markiert wurden, aber nicht einstimmig (d.h. nicht alle 100 Annotatoren stimmten zu), dienen als Testfälle.
Datensatz: 275 Instanzen, bei denen die Mehrheit der Annotatoren „Contradiction" wählte, aber die Wahrscheinlichkeit ( $w_{con}$ ) im Durchschnitt nur bei 0,62 lag. Dies impliziert, dass für viele dieser Fälle eine plausible Erklärung existiert, die den Widerspruch auflöst.

C. Evaluation Framework

Richter-Modelle (Judges): Anstatt menschlicher Bewertung nutzen die Autoren eine Reihe von NLI-Modellen (LLMs), um die generierten Erklärungen zu bewerten. Dies ermöglicht eine skalierbare, automatisierte Evaluation.
Metriken: Es werden drei Metriken berechnet:
- Effektivität: Wie oft führt $p+e$ zu $h$ ?
- Kohärenz: Wie oft ist $e$ mit $p$ vereinbar?
- Gesamterfolg (Success): Die Kombination aus beidem.
Robustheit: Es wurden Kontrollen durchgeführt (z.B. zufälliges Mischen von Erklärungen), um sicherzustellen, dass die Richter-Modelle nicht willkürlich akzeptieren.

D. Experimentelles Setup

Es wurden 18 verschiedene LLMs getestet, darunter:

Qwen3-Familie (0.6B bis 32B Parameter, mit und ohne „Thinking"-Modus).
Llama-3.1-Tulu-3, Olmo-3, DeepSeek-R1-Distill.
Proprietäre Modelle (gpt-5-mini, gpt-5.2).
Die Modelle wurden sowohl im direkten Ausgabemodus (Non-Thinking) als auch im „Thinking"-Modus (Chain-of-Thought) evaluiert.

3. Wichtige Ergebnisse

Leistungslücke: Die meisten Modelle haben Schwierigkeiten, effektive Erklärungen zu generieren, obwohl sie oft kohärente (nicht widersprüchliche) Erklärungen produzieren.
Proprietäre vs. Open-Weight: Proprietäre Modelle (gpt-5-mini, gpt-5.2) schneiden deutlich besser ab als Open-Weight-Modelle.
- gpt-5-mini: Höchste Erfolgsrate (40,25 %).
- Bestes Open-Weight-Modell (Llama-3.3-70B): 26,20 %.
Der „Thinking"-Effekt (Rechenzeit):
- Bei mittelgroßen Modellen (z.B. Qwen3-4B, 8B) verbessert der „Thinking"-Modus die Effektivität signifikant.
- Bei sehr großen Modellen (z.B. Qwen3-32B) plateauert dieser Vorteil; der Unterschied zwischen „Thinking" und „Non-Thinking" verschwindet oder wird sogar negativ.
- Bei sehr kleinen Modellen (0.6B, 1.7B) verschlechtert „Thinking" die Leistung, was darauf hindeutet, dass erzwungene Denkketten bei geringer Kapazität destabilisierend wirken.
Korrelation mit menschlicher Schwierigkeit: Es gibt eine signifikante negative Korrelation (-0,22) zwischen dem Anteil der menschlichen Annotatoren, die einen Fall als Widerspruch markierten, und der Erfolgsrate der Modelle. Je schwieriger es für Menschen ist, eine Erklärung zu finden, desto schlechter performen die Modelle.

4. Schlüsselbeiträge

Neue Aufgabe (REG): Einführung der „Reconciliatory Explanation Generation" als bisher vernachlässigte Dimension des LLM-Reasonings.
Skalierbares Datencurating: Ein Framework zur Wiederverwendung bestehender NLI-Datensätze unter Ausnutzung von Annotator-Unstimmigkeiten, ohne zusätzliche menschliche Annotationen für die Evaluation zu benötigen.
Automatische Metriken: Definition von Erfolgskriterien (Effektivität/Kohärenz) basierend auf Standard-NLI-Urteilen, die eine automatisierte Evaluation durch LLM-Judges ermöglichen.
Empirische Erkenntnisse: Umfassende Evaluation von 18 Modellen, die zeigt, dass mehr Rechenzeit („Thinking") nicht linear zu besseren Ergebnissen führt und dass aktuelle Modelle in dieser spezifischen abduktiven Aufgabe noch stark limitiert sind.

5. Bedeutung und Ausblick

Die Arbeit hebt hervor, dass die Fähigkeit, Widersprüche durch Erklärungen aufzulösen, ein Kernaspekt intelligenter Systeme ist, der für Anwendungen wie Chatbots, wissenschaftliche Assistenten und rechtliche Analyse entscheidend ist.

Limitationen: Die Studie beschränkt sich auf englische, kurze Textpaare. Eine Erweiterung auf längere Kontexte, andere Sprachen und die Einbeziehung faktischer Grounding (Wahrheitsgehalt) wird als zukünftige Arbeit identifiziert.
Implikation: Die Ergebnisse deuten darauf hin, dass das reine Vergrößern von Modellen oder das Hinzufügen von „Thinking"-Phasen nicht ausreicht. Es bedarf neuer Trainingsstrategien und Reasoning-Architekturen, um LLMs beizubringen, kontextuelle Nuancen und implizite Annahmen zu nutzen, um Paradoxa aufzulösen.

Zusammenfassend liefert das Paper einen wichtigen ersten Schritt, um LLMs von reinen Arbitratoren von Fakten zu aktiven Denkern zu machen, die komplexe, widersprüchliche Szenarien durch kreative Erklärungen harmonisieren können.