Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

Diese Studie zeigt, dass Large Language Models wie Menschen beim Wason-Selektionstest bei deontischen Regeln besser abschneiden als bei deskriptiven und dabei ähnliche Fehlermuster wie die menschliche Matching-Bias aufweisen.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Studie auf Deutsch:

🕵️‍♂️ Die große Logik-Prüfung: Können KI-Modelle wie Menschen denken?

Stell dir vor, du hast einen riesigen, super-intelligenten Roboter (eine sogenannte „Large Language Model" oder KI), der alles auf der Welt gelesen hat. Er kann Gedichte schreiben, Code programmieren und Gespräche führen. Aber kann er logisch denken? Und denkt er dabei wie ein Mensch?

Das ist genau das, was diese Forscher von der Universität Keio in Tokio herausfinden wollten. Sie haben eine alte, berühmte Logik-Aufgabe namens „Wason-Auswahltest" verwendet, um den KI-Modellen auf die Finger zu schauen.

1. Der Test: Das Karten-Spiel

Stell dir ein Kartenspiel vor. Es gibt vier Karten auf dem Tisch:

• Eine Karte zeigt eine Zahl (z. B. 7).
• Eine Karte zeigt einen Buchstaben (z. B. D).
• Eine Karte zeigt eine andere Zahl (z. B. 12).
• Eine Karte zeigt einen anderen Buchstaben (z. B. d).

Die Regel lautet: „Wenn auf der einen Seite eine ungerade Zahl steht, dann muss auf der anderen Seite ein großer Buchstaben stehen."

Die Frage ist: Welche Karten musst du umdrehen, um zu prüfen, ob die Regel stimmt?

• Die logisch korrekte Antwort: Du musst die 7 (weil sie ungerade ist) und das kleine d (weil es kein großer Buchstaben ist) umdrehen. Nur so kannst du beweisen, dass die Regel nicht gebrochen wurde.
• Der menschliche Fehler: Die meisten Menschen (und leider auch viele KIs) drehen die 7 und das große D um. Warum? Weil sie nur das suchen, was die Regel bestätigt (7 und D passen ja zusammen). Sie vergessen, dass sie auch das suchen müssen, was die Regel widerlegt.

2. Der Trick: Regeln mit „Müssen" vs. Regeln ohne Sinn

Die Forscher haben zwei Arten von Regeln getestet, um zu sehen, ob die KI wie ein Mensch reagiert:

• Typ A: Die trockene Logik (Beschreibend)
  • Beispiel: „Wenn eine Zahl ungerade ist, dann ist die andere Seite ein großer Buchstaben."
  • Das ist wie eine abstrakte Mathematikaufgabe ohne echten Bezug zum Leben.
• Typ B: Die Regel mit „Müssen" (Deontisch)
  • Beispiel: „Wenn Blut auf dem Boden ist, muss die Krankenschwester Handschuhe tragen."
  • Das ist eine Regel, die uns aus dem Alltag bekannt ist (Pflichten, Verbote, Gesetze).

Das Ergebnis:
Genau wie Menschen schneiden die KIs bei den Typ-B-Regeln (mit „muss" oder „darf nicht") viel besser ab! Bei den trockenen, abstrakten Regeln machen sie mehr Fehler.

• Die Metapher: Stell dir vor, die KI ist wie ein Schüler. Bei trockenen Matheaufgaben (Typ A) ist er verwirrt und macht Fehler. Aber wenn es um eine Regel geht, die er versteht (z. B. „Wenn es regnet, muss man einen Regenschirm mitnehmen"), dann ist er plötzlich ein Genie. Die KI scheint also einen speziellen „Menschlichkeits-Modus" für soziale Regeln zu haben.

3. Warum machen sie Fehler? (Der „Passende-Buchstaben"-Effekt)

Die Forscher wollten wissen: Warum machen die KIs Fehler? Gibt es zwei mögliche Gründe?

• Theorie 1: Der Bestätigungs-Fehler (Confirmation Bias)
  • Die KI sucht nur nach Beweisen, die ihre Regel bestätigen. Sie will nicht sehen, dass sie falsch liegen könnte.
• Theorie 2: Der „Passende-Buchstaben"-Fehler (Matching Bias)
  • Die KI ist etwas faul beim Lesen. Sie ignoriert kleine Wörter wie „nicht" oder „kein". Sie sucht einfach nur nach den Wörtern, die sie in der Regel gesehen hat.
  • Beispiel: Wenn die Regel lautet „Wenn nicht rot, dann nicht blau", sucht die KI trotzdem nach „rot" und „blau", weil diese Wörter im Satz vorkommen, und ignoriert das wichtige „nicht".

Das Fazit der Studie:
Die KIs machen Fehler eher wegen Theorie 2 (Passende-Buchstaben). Sie schauen auf die Wörter in der Regel und drehen die Karten um, die diese Wörter enthalten, egal ob dort ein „nicht" davor steht oder nicht. Sie übersehen die Verneinung, genau wie Menschen es oft tun.

4. Was bedeutet das für uns?

Diese Studie zeigt uns zwei wichtige Dinge:

1. KIs sind nicht nur reine Rechenmaschinen: Sie zeigen ähnliche Schwächen und Stärken wie Menschen. Sie sind bei Regeln, die mit Pflichten und Alltag zu tun haben, viel besser als bei abstraktem Unsinn. Das deutet darauf hin, dass sie durch das Lesen unserer Texte (die voller sozialer Regeln sind) gelernt haben, wie wir denken.
2. KIs können „faul" beim Lesen sein: Sie neigen dazu, wichtige Wörter wie „nicht" zu übersehen, wenn sie nur auf die Hauptwörter achten. Das ist eine wichtige Warnung für alle, die KIs für wichtige Entscheidungen nutzen wollen.

Zusammengefasst:
Die KI ist wie ein sehr gut ausgebildeter Assistent, der bei alltäglichen Regeln („Du musst den Müll rausbringen") brillant ist, aber bei abstrakten Logik-Rätseln manchmal die Verneinung übersieht und einfach nur das sucht, was ihm bekannt vorkommt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task" auf Deutsch:

1. Problemstellung und Motivation

Das Paper untersucht die Fähigkeit von Large Language Models (LLMs) zum konditionalen Schlussfolgern, insbesondere im Kontext der Domänenspezifität. Während menschliche kognitive Studien zeigen, dass Menschen bei deduktiven Aufgaben in normativen Kontexten (deontische Regeln, z. B. „Wenn Blut fließt, muss der Arzt Handschuhe tragen") deutlich besser abschneiden als bei abstrakten, deskriptiven Regeln (z. B. „Wenn eine Zahl ungerade ist, dann ist die andere Seite ein Großbuchstabe"), ist unklar, ob LLMs dieses Phänomen ebenfalls aufweisen.

Zudem besteht in der Forschung Unklarheit darüber, welche kognitiven Verzerrungen (Biases) für Fehler bei der Wason-Auswahl-Aufgabe (Wason Selection Task) verantwortlich sind:

• Bestätigungsfehler (Confirmation Bias): Die Tendenz, nach Beweisen zu suchen, die die Regel bestätigen.
• Matching-Bias: Die Tendenz, Elemente aus der Regel wörtlich zu übernehmen und Negationen zu ignorieren (z. B. Auswahl von Karten, die lexikalisch mit den Begriffen der Regel übereinstimmen, unabhängig von deren logischem Wahrheitswert).

Bisherige Studien haben diese beiden Bias-Typen nicht systematisch innerhalb eines einheitlichen experimentellen Designs für LLMs verglichen.

2. Methodik

Datensatz-Erstellung:
Die Autoren entwickelten einen neuen Datensatz mit 160 Problemen für die Wason-Auswahl-Aufgabe.

• Kategorien: Der Datensatz unterscheidet strikt zwischen deontischen Regeln (enthaltend Verpflichtungen wie „muss" oder Verbote wie „darf nicht") und deskriptiven Regeln (allgemeine Tatsachenbehauptungen ohne normative Modalitäten).
• Polaritäten: Um den Einfluss von Negation zu testen, wurden vier Regel-Polaritäten erstellt:
  1. Pos-Pos ($p \to q$)
  2. Pos-Neg ($p \to \neg q$)
  3. Neg-Pos ($\neg p \to q$)
  4. Neg-Neg ($\neg p \to \neg q$)
• Qualitätssicherung: Die Daten wurden manuell überprüft, um sicherzustellen, dass die logisch korrekten Antworten (die Karten, die einen Regelverstoß aufdecken könnten) eindeutig definiert sind.

Modelle und Experiment-Setup:
Es wurden fünf Familien von Open-Weight-Modellen evaluiert, darunter sowohl reine Reasoning-Modelle (z. B. gpt-oss, Qwen 3) als auch nicht-reasoning-Modelle (z. B. Gemma 3, Llama 3.3, OLMo 2).

• Prompting-Strategien: Die Modelle wurden unter drei Bedingungen getestet: Zero-Shot, Few-Shot (mit Beispielen, die absichtlich falsche Antworten zeigten, um keine falschen Muster zu induzieren) und Chain-of-Thought (CoT).
• Metrik: Die Genauigkeit (Accuracy) wurde als exakte Übereinstimmung (Exact-Match) berechnet. Eine Antwort galt nur als korrekt, wenn das Modell alle und nur die logisch richtigen Karten auswählte.

Analyse der Biases:
Um zwischen Bestätigungsfehler und Matching-Bias zu unterscheiden, wurde analysiert, welche Karten bei negierten Regeln ausgewählt wurden.

• Ein Bestätigungsfehler würde bedeuten, dass Modelle unabhängig von der Negation immer die Karten für „wahrer Antezedens" (TA) und „wahrer Konsequens" (TC) wählen.
• Ein Matching-Bias würde bedeuten, dass Modelle Karten bevorzugen, die lexikalisch den Begriffen $p$ und $q$ in der Regel entsprechen, und dabei Negationen ($\neg p, \neg q$) ignorieren.

3. Wichtige Ergebnisse

Domänenspezifität:

• Höhere Leistung bei deontischen Regeln: Über alle Modelle und Prompting-Methoden hinweg erzielten LLMs bei deontischen Regeln signifikant höhere Genauigkeiten als bei deskriptiven Regeln (Verbesserungen von 5,0 % bis 41,2 %).
• Dies spiegelt das menschliche Verhalten wider und deutet darauf hin, dass LLMs eine Form der Domänenspezifität aufweisen, bei der normative Kontexte das logische Schlussfolgern erleichtern.
• Die Größe des Effekts variierte je nach Modellgröße und Architektur.

Analyse der Biases (Matching vs. Bestätigung):

• Kein starker Bestätigungsfehler: Die Ergebnisse zeigten keine konsistente Tendenz, sowohl TA als auch TC unabhängig von der Negation zu wählen. Insbesondere bei negierten Regeln wurde der TC-Option nicht bevorzugt gewählt.
• Dominanz des Matching-Bias: Die Fehlermuster waren stark mit dem Matching-Bias vereinbar. Modelle neigten dazu, Karten auszuwählen, die lexikalisch mit den in der Regel genannten Begriffen übereinstimmten, und ignorierten dabei häufig die Negation.
  • Beispiel: Bei einer Regel „Wenn $p$, dann nicht $q$" wählten Modelle oft die Karte $q$ (lexikalische Übereinstimmung) statt $\neg q$, was logisch falsch ist.
• Negations-Sensitivität: Die Analyse bestätigte, dass die Behandlung von Negationen eine Schwachstelle in der konditionalen Reasoning-Fähigkeit der Modelle darstellt, was mit früheren Befunden zu Transformer-Modellen übereinstimmt.

Einfluss von Prompting:

• Reasoning-Modelle (insbesondere größere wie gpt-oss-120b und Qwen 3) zeigten bei deontischen Regeln nahezu perfekte Leistungen (bis zu 100 % Genauigkeit).
• Non-Reasoning-Modelle profitierten stark von Few-Shot und CoT-Prompts, erreichten aber bei deskriptiven Regeln immer noch deutlich schlechtere Ergebnisse als bei deontischen.

4. Hauptbeiträge

1. Neuer Datensatz: Einführung eines standardisierten Wason-Auswahl-Datensatzes mit expliziter Kodierung deontischer Modalitäten, der eine systematische Trennung zwischen deontischen und deskriptiven Regeln ermöglicht.
2. Umfassende Evaluation: Eine aktuelle und detaillierte Bewertung moderner LLMs (einschließlich dedizierter Reasoning-Modelle) in diesem Paradigma.
3. Parallelen zum menschlichen Verhalten: Nachweis, dass LLMs wie Menschen bei deontischen Regeln besser abschneiden als bei deskriptiven, was auf ähnliche domänenspezifische Mechanismen hindeutet.
4. Bias-Klärung: Systematischer Vergleich von Bestätigungsfehler und Matching-Bias. Die Studie liefert starke Evidenz dafür, dass Fehler in LLMs eher durch Matching-Bias (Ignorieren von Negation) als durch Bestätigungsfehler erklärt werden können.

5. Bedeutung und Implikationen

Die Studie hat weitreichende Implikationen für das Verständnis der kognitiven Fähigkeiten von LLMs:

• Architektur und Training: Die Ergebnisse deuten darauf hin, dass die Trainingsdaten oder die Architektur von LLMs Mechanismen enthalten, die normative Kontexte (wie Regeln und Gesetze) besser verarbeiten als abstrakte Logik. Dies könnte auf eine evolutionäre Parallele in der Datenverteilung hinweisen, da menschliche Sprache stark von sozialen und normativen Regeln geprägt ist.
• Fehleranalyse: Die Identifizierung des Matching-Bias als Hauptfehlerquelle ist entscheidend für die Entwicklung verbesserter Reasoning-Strategien. Es zeigt, dass Modelle oft „oberflächlich" auf lexikalische Muster reagieren, anstatt die logische Struktur (insbesondere Negation) tiefgreifend zu verstehen.
• Zukunft der Forschung: Die Autoren schlagen vor, diese Analysen auf andere Formen des konditionalen Denkens und auf die Unterscheidung zwischen Erlaubnis und Verpflichtung auszuweiten. Zudem bleibt die mechanistische Analyse (Warum genau zeigen diese Modelle dieses Verhalten?) eine offene Frage für zukünftige Arbeiten.

Zusammenfassend belegt das Paper, dass LLMs nicht nur formale Logik anwenden, sondern stark von der semantischen und modalen Struktur der Eingabe beeinflusst werden, wobei ihre Fehlermuster menschliche kognitive Verzerrungen (insbesondere Matching-Bias) widerspiegeln.