💬 NLP

Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

Diese Studie zeigt, dass große Sprachmodelle zwar manchmal menschliche Bewertungen bei der Präsuppositionsprojektion in Konditionalsätzen erreichen können, ihre Leistung jedoch häufig auf oberflächlichem Musterabgleich statt auf echtem pragmatischem Schlussfolgern beruht, was eine Diskrepanz zwischen statistischer Übereinstimmung und echter sprachlicher Kompetenz aufzeigt.

Ursprüngliche Autoren: Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tara Azin, Yongan Yu, Raj Singh, Olessia Jouravlev

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Das „Wenn-Dann"-Rätsel

Stellen Sie sich vor, Sie spielen ein Logikspiel mit einem Freund. Sie sagen: „Wenn John ein Taucher ist, wird er seinen Neoprenanzug mitbringen."

Ihr Freund fragt: „Hat John eigentlich schon einen Neoprenanzug?"

Die menschliche Antwort: Die meisten Menschen sagen: „Wahrscheinlich noch nicht. Er hat nur dann einen Neoprenanzug, wenn er taucht." Der Neoprenanzug ist an die Bedingung geknüpft.
Die andere menschliche Antwort: Stellen Sie sich nun vor, Sie sagen: „Wenn John nach London fliegt, wird ihn seine Schwester abholen."
Die menschliche Antwort: Hier sagen Menschen: „Ja, John hat definitiv eine Schwester." Die Tatsache, dass er eine Schwester hat, hängt nicht vom Flug ab; es ist einfach eine Tatsache über John.

Dieser Unterschied wird als „Proviso-Problem" bezeichnet. Es ist ein kniffliges Rätsel in der Linguistik darüber, wie wir entscheiden, ob eine verborgene Tatsache (eine „Präsupposition") immer wahr ist oder nur dann wahr ist, wenn der „Wenn"-Teil eintritt.

Das Experiment: Menschen vs. KI

Die Forscher wollten herausfinden, ob Large Language Models (LLMs) – die Gehirne hinter Chatbots wie dem, mit dem Sie sprechen – dieses Rätsel auf dieselbe Weise lösen können wie Menschen.

Sie richteten einen „Geschmackstest" mit zwei Gruppen ein:

120 Menschen: Echte Personen, die Sätze lasen und bewerteten, wie wahrscheinlich eine verborgene Tatsache auf einer Skala von 0 bis 7 war.
4 KI-Modelle: Verschiedene Versionen von KI (wie GPT-5, Gemini, Llama und Qwen), die exakt dieselbe Aufgabe erledigten.

Sie testeten die KI auf zwei Arten:

Der „bloße" Test: Nur der Satz (z. B. „Wenn John ein Taucher ist...").
Der „Kontext"-Test: Der Satz plus ein winziges Stück Hintergrundinformation (z. B. „John kommt aus Ottawa. Wenn John ein Taucher ist...").

Die Ergebnisse: Die „Betrüger"-KI

Hier ist das, was sie fanden, aufgeschlüsselt in einfache Metaphern:

1. Menschen sind intuitive Detektive

Menschen sind darin großartig. Sie mischen Logik mit gesundem Menschenverstand. Wenn der „Wenn"-Teil die verborgene Tatsache wahrscheinlicher macht (wie ein Taucher, der einen Neoprenanzug braucht), senken sie ihre Bewertung. Wenn der „Wenn"-Teil nichts mit der Tatsache zu tun hat (wie nach London fliegen und eine Schwester haben), behalten sie die Bewertung hoch. Sie sind sensibel dafür, wie relevant die beiden Teile des Satzes füreinander sind.

2. Die KI „imitiert" die Antwort, aber nicht die Begründung

Das ist der überraschendste Teil.

Die kleine KI (Qwen): Dieses Modell gab Antworten, die sehr ähnlich zu denen der Menschen aussahen. Wenn Menschen eine „7" sagten, sagte die KI „6,8". Es war ein großartiger Imitator.
Die große KI (GPT-5, Gemini): Diese Modelle gaben Antworten, die weniger menschenähnlich waren. Sie waren oft zu hoch oder zu niedrig und verpassten die subtilen Verschiebungen, die Menschen vornahmen.

Die Wendung: Als die Forscher die KIs baten zu erklären, warum sie diese Antworten gaben (wie wenn man einen Schüler auffordert, seine Rechenwege vorzuführen), trat ein seltsames Muster zutage:

Die kleine KI (Qwen), die die besten menschenähnlichen Antworten gab, hatte tatsächlich schreckliche Begründungen. Sie konnte die Logik nicht richtig erklären. Sie riet einfach basierend auf Mustern, die sie in ihren Trainingsdaten sah, wie ein Papagei, der einen oft gehörten Satz wiederholt, ohne zu wissen, was er bedeutet.
Die große KI (GPT-5), die schlechtere menschenähnliche Antworten gab, hatte tatsächlich bessere Begründungen. Sie konnte die Regeln der Logik gut erklären, aber wenn es um die endgültige Zahl ging, lag sie im Vergleich zu Menschen falsch.

Die „Checklisten"-Analogie

Um dies herauszufinden, verwendeten die Forscher eine „Richter-KI" (ein Schiedsrichter) mit einer Checkliste. Stellen Sie sich einen Lehrer vor, der einen Aufsatz eines Schülers bewertet.

Die Checkliste: „Haben Sie den Auslöser identifiziert? Haben Sie geprüft, ob der Kontext wichtig ist? Haben Sie die Logik erklärt?"
Das Ergebnis: Die „große KI" bestand die Checkliste (sie schrieb einen guten Aufsatz). Die „kleine KI" bestand die Checkliste nicht (ihr Aufsatz war unordentlich).
Das Paradoxon: Obwohl die „kleine KI" den Logiktest nicht bestand, lag ihre Endnote näher am menschlichen Durchschnitt.

Die Schlussfolgerung: Mustererkennung vs. Verständnis

Das Papier kommt zu dem Schluss, dass die KI-Modelle Sprache nicht wirklich so „verstehen" wie Menschen.

Menschen verwenden eine Mischung aus Logik, Weltwissen und Relevanz, um zu entscheiden, ob eine Tatsache wahr ist.
KI scheint oberflächliche Mustererkennung zu betreiben. Sie betrachtet die Wörter „Wenn John ein Taucher ist" und „Neoprenanzug", sieht, dass sie in ihren Trainingsdaten oft zusammen vorkommen, und rät die Zahl. Sie „weiß" nicht wirklich, dass der Neoprenanzug vom Tauchen abhängig ist.

Die Kernaussage: Nur weil eine KI Ihnen eine Antwort gibt, die richtig aussieht (wie ein Schüler, der den Antwortenschlüssel auswendig gelernt hat), bedeutet das nicht, dass sie die Lektion verstanden hat. Tatsächlich war die KI, die die meisten „menschenähnlichen" Antworten gab, diejenige, die am wenigsten auf echte Logik angewiesen war.

Was das Papier NICHT sagt

Es sagt nicht, dass KI nutzlos ist.
Es sagt nicht, dass KI Sprache niemals verstehen wird.
Es schlägt nicht vor, dies für medizinische Diagnosen oder Rechtsberatung zu verwenden.
Es sagt einfach: Im Moment, wenn es um diese spezifische Art von kniffligem Logikrätsel geht, fälscht die KI es besser, als sie denkt, und die „klügsten" aussehenden Antworten könnten die oberflächlichsten sein.

Technische Zusammenfassung: Präsupposition und Schlussfolgern in Konditionalsätzen: Eine theoriebasierte Studie zu Menschen und LLMs

Problemstellung
Der Beitrag adressiert eine kritische Lücke bei der Evaluierung von Large Language Models (LLMs) hinsichtlich ihrer pragmatischen Kompetenz, speziell im Bereich der Präsuppositionsprojektion innerhalb konditionaler Sätze. Während Theorien der Bedeutung und Pragmatik seit langem das „Vorbehaltproblem" diskutieren – wie Präsuppositionen, die im Konsequens eines Konditionalsatzes ausgelöst werden (z. B. „Wenn John ein Taucher ist, wird er seinen Neoprenanzug mitbringen"), entweder als unbedingte oder als vom Antezedens abhängige interpretiert werden –, bleibt dieses Phänomen bei LLMs weitgehend unevaluiert. Bestehende Benchmarks verlassen sich häufig auf einfache Entailment-Schlussfolgerungen oder Klassifikationsaufgaben, die die komplexe Interaktion zwischen Semantik, Diskurskontext, probabilistischem Schlussfolgern und Weltwissen, die zur Auflösung dieser Projektionen erforderlich ist, nicht erfassen. Die Autoren argumentieren, dass aktuelle Evaluierungen nicht ausreichend zwischen Modellen unterscheiden, die pragmatische Constraints genuinely verstehen, und solchen, die auf oberflächliches Muster-Matching zurückgreifen.

Methodik
Die Studie verwendet ein paralleles behaviorales Design, das menschliche Urteile mit vier LLMs (GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct und Qwen2.5-7B-Instruct) vergleicht, unter Verwendung eines normierten Datensatzes von 90 konditionalen Sätzen.

Datenerstellung: Die Autoren erstellten einen Datensatz auf Basis von 30 Basispropositionen (z. B. einen Neoprenanzug besitzen, eine Schwester haben), die in drei Varianten instantiiert wurden, welche die logische und probabilistische Beziehung zwischen dem Antezedens ( $A$ ) und der Präsupposition ( $p$ ) manipulieren. Eine Normierungsstudie mit 30 muttersprachlichen englischen Sprechern etablierte abgestufte Niveaus der $A$ - $p$ -Relevanz (hoch, mittel, niedrig) und der Propositionswahrscheinlichkeit.
Experimentelle Bedingungen: Sowohl Menschen ( $N=120$ $N = 120$ ) als auch LLMs bewerteten die Wahrscheinlichkeit, dass die Präsupposition wahr ist, auf einer Likert-Skala von 0–7 unter zwei Bedingungen:
- Ohne Kontext: Minimale Rahmung.
- Mit Kontext: Hinzugefügte identifizierende Hintergrundinformationen (z. B. „Die Person stammt aus Toronto"), um zu testen, wie minimaler Kontext die Evidenzverlässlichkeit und das Relevanzschlussfolgern moduliert.
LLM-as-a-Judge-Rahmenwerk: Um über Genauigkeitsmetriken hinauszugehen, entwickelten die Autoren eine theorieinformierte Checkliste, die auf formaler Semantik (z. B. Dynamische Semantik, Griceanische Pragmatik, Akkommodations-Theorie) basiert. Ein Judge-Modell (Claude-haiku-4) bewertete die Chain-of-Thought (CoT)-Schlussfolgerungsspuren der Zielmodelle anhand von 52–59 binären Kriterien, die Dimensionen wie Genauigkeit, Kontextintegration, Pragmatische Kriterien, Präsuppositionsbehandlung und Kohärenz abdecken.
Validierung: Eine Teilmenge der Bewertungen des Judges wurde von menschlichen Linguistik-Experten validiert, wobei eine Inter-Annotator-Übereinstimmung von 89 % und eine Übereinstimmung mit dem Judge-Modell von 79,46 % erreicht wurde.

Hauptergebnisse

Menschliches Verhalten: Menschliche Urteile integrieren probabilistische und pragmatische Hinweise nicht-additiv. Wenn das Antezedens für die Präsupposition irrelevant ist, verlassen sich Menschen stark auf die Vorwahrscheinlichkeit (Weltwissen). Selbst eine teilweise Relevanz wirkt jedoch als Schwellenwert, der die Wahrscheinlichkeitsbewertungen signifikant erhöht, was eine Sensitivität für Relevanz nahelegt, die in spezifischen Kontexten Basisraten überlagert. Kontextinformationen verfeinerten diese Integration und führten zu stärker abgestuften Unterscheidungen zwischen Relevanzniveaus.
Mensch-LLM-Übereinstimmung: LLMs zeigten eine variable Übereinstimmung mit menschlichen Mustern.
- Qwen2.5-7B-IT und Llama-3.1-8B-Instruct wiesen die stärkste Korrelation mit menschlichen Likert-Bewertungen auf (Spearman $\rho \approx 0,30\text{--}0,38$ ) und den niedrigsten Mean Absolute Error (MAE).
- GPT-5 und Gemini-2.5-flash zeigten eine schwächere oder inkonsistente Übereinstimmung, wobei GPT-5 in keiner der Bedingungen eine signifikante Korrelation aufwies.
Schlussfolgern vs. Leistung (Die Dissoziation): Ein zentrales Ergebnis ist die Dissoziation zwischen behavioraler Übereinstimmung und Qualität des Schlussfolgerns.
- Modelle mit der höchsten behavioralen Übereinstimmung zu Menschen (z. B. Qwen2.5-7B-IT) wiesen oft die niedrigste Konformität mit der theorieinformierten Checkliste auf. Ihr Schlussfolgern beruhte häufig auf oberflächlichen lexikalischen Assoziationen statt auf formalen pragmatischen Constraints.
- Umgekehrt generierten größere, proprietäre Modelle (GPT-5, Gemini) Schlussfolgerungsspuren, die konsistenter mit theoretischen Erwartungen waren (höhere Checklistenwerte), lieferten jedoch finale Wahrscheinlichkeitsurteile, die stärker von menschlichen Mustern abwichen.
Kontexteffekte: Die Bereitstellung minimalen Kontextes verbesserte allgemein die Checklisten-Konformität für kleinere Modelle, führte jedoch bei einigen zu „Schlussfolgerungsrauschen", was zu einer reduzierten Kohärenz in ihren Erklärungen führte.

Hauptbeiträge

Theoriegetriebener Benchmark: Der Beitrag führt einen kontrollierten Datensatz und ein experimentelles Design ein, die spezifisch das Vorbehaltproblem in Konditionalsätzen adressieren und eine Lücke in bestehenden NLI- und Präsuppositions-Benchmarks füllen, denen häufig pragmatische Tiefe fehlt.
LLM-as-a-Judge für Pragmatik: Es wird ein auf Checklisten basierendes Evaluierungsrahmenwerk vorgeschlagen und validiert, das pragmatische Kompetenz in interpretierbare, theoriebasierte Kriterien zerlegt und eine nuanciertere Sicht auf das Modell-Schlussfolgern bietet als Genauigkeitswerte allein.
Empirische Evidenz von Kompetenzlücken: Die Studie liefert empirische Belege dafür, dass eine hohe behaviorale Übereinstimmung bei LLMs möglicherweise auf probabilistisches Muster-Matching auf Trainingsdaten zurückzuführen ist und nicht auf stabile pragmatische Kompetenz, wie die Diskrepanz zwischen menschähnlichen Bewertungen und theoriekonsistentem Schlussfolgern belegt.

Bedeutung und Behauptungen
Die Autoren behaupten, dass ihre Erkenntnisse die Grenzen aktueller LLMs im Umgang mit komplexen pragmatischen Phänomenen aufzeigen. Der Beitrag argumentiert, dass die Leistung bei Aufgaben wie der Präsuppositionsprojektion eher „oberflächliches Muster-Matching" als genuines pragmatisches Verständnis widerspiegeln mag. Indem gezeigt wird, dass Modelle, die menschliche Urteile am besten imitieren, oft kein kohärentes pragmatisches Schlussfolgern aufweisen, legt die Studie nahe, dass aktuelle Benchmarks, die ausschließlich auf Output-Genauigkeit basieren, für die Evaluierung semantischer und pragmatischer Kompetenz unzureichend sind. Die Autoren schließen, dass Benchmarks, die in linguistischer Theorie verankert sind, unerlässlich sind, um zwischen oberflächlicher statistischer Übereinstimmung und echten Schlussfolgerungsfähigkeiten zu unterscheiden, und dass zukünftige Arbeiten die Dissoziation zwischen behavioraler Ähnlichkeit und theoretischer Validität adressieren müssen.