Failing to Falsify: Evaluating and Mitigating Confirmation Bias in Language Models

Die Studie zeigt, dass große Sprachmodelle wie Menschen eine Bestätigungsneigung aufweisen, die durch gezielte Prompting-Interventionen und Wissensdistillation gemildert werden kann, was zu einer verbesserten Fähigkeit zur Hypothesenprüfung und Regelentdeckung führt.

Das Wesentliche

Das große Rätsel: Warum KI manchmal so stur ist wie ein Kind

Stell dir vor, du spielst ein Spiel mit einem sehr klugen, aber etwas sturen Freund. Du hast eine geheime Regel für Zahlenreihen im Kopf (z. B. „Die Zahlen müssen aufsteigend sein"). Dein Freund muss diese Regel erraten.

Er schlägt eine Zahlenreihe vor: [2, 4, 6]. Du sagst: „Ja, das passt!"
Jetzt kommt der kritische Moment:

• Der kluge Weg: Er denkt: „Vielleicht ist die Regel, dass die Zahlen gerade sind?" Um das zu testen, schlägt er eine Reihe vor, die nicht gerade ist, aber trotzdem aufsteigend, wie [1, 3, 5]. Wenn du sagst „Ja", weiß er, dass „gerade" falsch war. Er hat den Fehler gefunden!
• Der sture Weg (Bestätigungsfehler): Er denkt: „Aha, es sind gerade Zahlen!" Um das zu beweisen, schlägt er wieder eine gerade Reihe vor, wie [4, 6, 8]. Du sagst: „Ja, das passt!" Er freut sich: „Siehst du? Ich habe recht!" Aber er hat gar nichts Neues gelernt. Er hat nur das bestätigt, was er ohnehin schon glaubte.

Genau dieses „Stur-Sein" nennt man Bestätigungsfehler (Confirmation Bias). Menschen machen das oft, und jetzt haben die Forscher herausgefunden: Künstliche Intelligenz (KI) macht das auch!

---

Was haben die Forscher gemacht?

Die Wissenschaftler von der NYU haben 11 verschiedene große Sprachmodelle (wie Chatbots) getestet. Sie haben ihnen das oben beschriebene Zahlen-Rätsel gegeben.

Das Ergebnis war eindeutig:
Die meisten KIs waren wie der sture Freund. Sie schlugen fast immer Zahlen vor, die ihre aktuelle Vermutung bestätigten, statt solche zu testen, die sie widerlegen könnten.

• Die Folge: Sie brauchten viel länger, um die richtige Regel zu finden, und schafften es oft gar nicht.
• Die Erkenntnis: Je mehr die KI versuchte, ihre eigene Idee zu widerlegen (indem sie „Gegentests" machte), desto schneller und besser löste sie das Rätsel.

Der Heilmittel-Trick: „Denke im Gegenteil!"

In der Psychologie gibt es schon lange Tricks, um Menschen aus diesem Denk-Sumpf zu holen. Die Forscher haben zwei dieser Tricks auf die KIs angewendet:

1. Der „Gegenteil-Trick" (Think-in-Opposites):
   Stell dir vor, du glaubst, alle Vögel können fliegen. Der Trick sagt dir: „Such dir sofort einen Vogel aus, der nicht fliegen kann (wie ein Pinguin), und teste, ob deine Regel stimmt."

   • Bei der KI: Die Forscher gaben den KIs einen kleinen Zettel mit der Anweisung: „Bevor du eine neue Zahl testest, überlege dir eine Eigenschaft deiner aktuellen Idee und teste dann das genaue Gegenteil."
   • Das Ergebnis: Plötzlich wurden die KIs viel schlauer! Sie fanden die Regeln schneller. Ihre Erfolgsrate stieg von etwa 42 % auf 56 %. Sie hörten auf, nur zu bestätigen, und fingen an, aktiv zu suchen.

2. Das „Zwei-Ziele-Spiel" (Dual-Goal):
   Statt nur eine Regel zu finden, mussten die KIs zwei Regeln gleichzeitig erraten: eine für das, was passt, und eine für das, was nicht passt. Das zwingt das Gehirn (oder die KI), beide Seiten zu betrachten. Auch das half, war aber etwas schwieriger zu verstehen.

Der Geniestreich: Den Trick „einbrennen"

Normalerweise muss man der KI bei jedem neuen Spiel den „Gegenteil-Trick" als Anweisung geben. Aber was, wenn die KI den Trick einfach lernt und ihn für immer im Kopf behält?

Die Forscher haben das gemacht:

• Sie haben eine „Lehrer-KI" genommen, die den Trick beherrschte.
• Sie haben eine „Schüler-KI" trainiert, indem sie ihr gezeigt haben, wie die Lehrer-KI denkt und handelt.
• Das Wunder: Die Schüler-KI hat den Trick nicht nur gelernt, sondern sie hat ihn generalisiert. Das bedeutet: Als man ihr ein völlig neues Rätsel gab (keine Zahlen mehr, sondern Objekte, die einen Lichtschalter aktivieren – ein Spiel, das man „Blicket-Test" nennt), benutzte sie den Trick automatisch! Sie brauchte keine neue Anweisung mehr. Sie war einfach „entspannter" und suchte besser nach Fehlern.

Warum ist das wichtig?

Stell dir vor, du bist ein Wissenschaftler oder ein Arzt.

• Wenn du nur nach Beweisen suchst, die deine Theorie stützen, wirst du vielleicht eine falsche Diagnose stellen oder eine gefährliche Erfindung machen, die nicht funktioniert.
• Diese Studie zeigt uns, dass wir KI-Systeme so trainieren können, dass sie kritischer werden. Sie lernen, ihre eigenen Annahmen in Frage zu stellen, statt nur zu nicken.

Zusammengefasst:
KIs sind oft wie Menschen, die nur das hören wollen, was sie hören möchten. Aber wenn wir ihnen beibringen, aktiv nach dem Gegenteil zu suchen (oder ihnen diesen Trick „einzuverleiben"), werden sie zu besseren Denkern, die schneller die Wahrheit finden. Es ist, als würde man einem Detektiv beibringen, nicht nur die Spuren zu suchen, die den Verdächtigen entlasten, sondern besonders genau nach den Spuren zu suchen, die ihn überführen.

Technische Zusammenfassung

Titel

FAILING TO FALSIFY: EVALUATING AND MITIGATING CONFIRMATION BIAS IN LANGUAGE MODELS
(Nicht Falsifizieren: Evaluierung und Minderung von Bestätigungsfehlern in Sprachmodellen)

1. Problemstellung

Der Bestätigungsfehler (Confirmation Bias) ist eine kognitive Verzerrung, bei der Akteure (Menschen oder KI) eher nach Beweisen suchen, die ihre bestehenden Überzeugungen stützen, als nach solchen, die sie widerlegen. Dies behindert effektives Lernen und rationales Entscheiden.
Das Paper untersucht, ob Large Language Models (LLMs) als autonome Agenten denselben Fehler aufweisen, wenn sie Hypothesen in einem explorativen Prozess testen. Im Gegensatz zu bisherigen Studien, die sich oft auf die Interpretation von bereits vorliegenden Argumenten konzentrierten, fokussiert sich diese Arbeit auf den Prozess der Hypothesenexploration: Wie wählen LLMs Testfälle aus, um eine verborgene Regel zu entdecken? Die Autoren vermuten, dass LLMs dazu neigen, bestätigende Tests (kompatible Tripel) durchzuführen, anstatt versuchende Tests (inkompatible Tripel) zu wählen, was zu ineffizientem Lernen führt.

2. Methodik

A. Experimentelles Setup: Wason-2-4-6-Task (adaptiert)

Die Autoren adaptieren den klassischen psychologischen „Wason-2-4-6-Task" für LLMs:

• Aufgabe: Ein Agent erhält ein initiales Zahlen-Tripel (z. B. [2, 4, 6]), das einer verborgenen Regel entspricht.
• Interaktion: Der Agent führt einen mehrstufigen Loop durch:
  1. Hypothesenbildung: Der Agent schlägt eine Regel vor.
  2. Test: Der Agent schlägt ein neues Tripel vor.
  3. Feedback: Die Umgebung gibt ein binäres Feedback („JA"/„NEIN"), ob das Tripel der Regel entspricht.
• Ziel: Die verborgene Regel so schnell wie möglich korrekt identifizieren.
• Metriken:
  • Aufgabenerfolg (Task Success): Prozentsatz der Episoden, in denen die Regel korrekt gefunden wurde.
  • Effizienz: Anzahl der Runden bis zum Erfolg.
  • Bestätigungsfehler-Metrik (I:C Ratio): Das Verhältnis von inkompatiblen Tests (die die aktuelle Hypothese widerlegen könnten) zu kompatiblen Tests (die die Hypothese bestätigen). Ein höheres I:C-Verhältnis deutet auf geringeren Bestätigungsfehler hin.

B. Interventionsstrategien

Um den Fehler zu mindern, werden zwei aus der Humanpsychologie bekannte Strategien auf LLMs angewendet (via Prompting):

1. Think-in-Opposites (TiO): Der Agent wird angewiesen, eine Eigenschaft des aktuellen Beispiels zu identifizieren und gezielt ein „gegenläufiges" Beispiel zu testen.
2. Dual-Goal: Der Agent muss zwei Regeln gleichzeitig erraten: die ursprüngliche Regel (DAX) und ihre logische Negation (MED). Dies zwingt den Agenten, sowohl bestätigende als auch widerlegende Fälle zu testen.

C. Distillation (Wissensübertragung)

Um den Effekt dauerhaft zu internalisieren, ohne Prompts zur Laufzeit zu benötigen, wird symbolische Wissensdistillation eingesetzt:

• Ein „Lehrer"-Modell (gesteuert durch Interventions-Prompts) generiert Daten.
• Ein „Schüler"-Modell wird durch überwachtes Fine-Tuning (SFT) darauf trainiert, das Verhalten des Lehrers (insbesondere die Testauswahl) nachzuahmen.
• Ziel ist es, die Fähigkeit zur Falsifikation in die Parameter des Modells zu injizieren.

D. Generalisierungstest: Blicket-Test

Um zu prüfen, ob die gelernte Strategie generalisiert, wird das trainierte Modell auf einen neuen Domänen-Test angewendet: den Blicket-Test. Hierbei muss der Agent herausfinden, welche Objekte („Blickets") einen Detektor aktivieren (basierend auf logischen Regeln wie AND, OR, XOR).

3. Wichtige Ergebnisse

A. Existenz von Confirmation Bias in LLMs

• Beobachtung: Über 11 verschiedene LLMs (verschiedener Familien und Größen, einschließlich Modelle mit „Thinking Mode" wie Qwen3, DeepSeek-R1, Gemini-2.5) hinweg zeigen die Modelle einen signifikanten Bestätigungsfehler.
• Korrelation: Es besteht eine starke negative Korrelation zwischen dem Ausmaß des Bestätigungsfehlers (niedriges I:C-Verhältnis) und dem Erfolg bei der Aufgabenlösung. Modelle, die mehr widerlegende Tests durchführen, finden die Regel schneller und häufiger.
• Leistung: Ohne Interventionen liegt die Erfolgsrate vieler Modelle bei nur 6–40 %. Modelle mit „Thinking Mode" (ausführliche Denkprozesse) performen generell besser und zeigen weniger Bias.

B. Wirksamkeit von Interventionen

• Prompting: Die Anwendung von Interventions-Prompts (insbesondere Think-in-Opposites) führt zu einer signifikanten Steigerung der Erfolgsraten (durchschnittlich von 42 % auf 56 %).
• Verhalten: Die Interventionen erhöhen das I:C-Verhältnis, d. h., die Modelle testen öfter Fälle, die ihre aktuelle Hypothese widerlegen könnten.
• Statistik: Die Verbesserungen sind bei Modellen mit „Thinking Mode" statistisch signifikant stärker als bei Standard-Modellen ohne Denkprozess.

C. Distillation und Generalisierung

• Internalisierung: Durch Fine-Tuning auf Daten, die durch Interventions-Prompts generiert wurden, lernen die Modelle, den Bestätigungsfehler auch ohne externe Prompts zu reduzieren.
• Generalisierung: Die auf dem Zahlen-Task (Wason) trainierten Modelle zeigen verbesserte Leistung und geringeren Bestätigungsfehler auch im Blicket-Test (Objekt-basierte Domäne), ohne dass dort weitere Fine-Tuning-Schritte nötig waren. Dies beweist, dass die Fähigkeit zur falsifikationsorientierten Exploration transferierbar ist.

4. Hauptbeiträge

1. Rahmenwerk zur Evaluierung: Einführung eines standardisierten, interaktiven Frameworks zur Messung von Confirmation Bias in LLMs während des Hypothesenfindungsprozesses, nicht nur bei der Antwortgenerierung.
2. Empirischer Nachweis: Der Nachweis, dass moderne LLMs (auch große Modelle) anfällig für Bestätigungsfehler sind und dass dieser Fehler direkt mit schlechterer Reasoning-Leistung korreliert.
3. Mitigationsstrategien: Demonstration, dass psychologisch fundierte Interventionen (Dual-Goal, Think-in-Opposites) effektiv sind, um LLMs zu „entzerren" (debiasen).
4. Persistente Lösung: Beweis, dass diese entzerrenden Verhaltensweisen durch symbolische Distillation in die Modellparameter injiziert werden können und sich auf neue Domänen (Blicket-Test) verallgemeinern lassen.

5. Bedeutung und Implikationen

Die Arbeit hat weitreichende Konsequenzen für die Entwicklung autonomer KI-Agenten:

• Wissenschaftliche Entdeckung: Für KI-Systeme, die autonom Hypothesen in Bereichen wie der Wissenschaft oder Medizin testen sollen, ist die Fähigkeit zur Falsifikation entscheidend. Ein Bestätigungsfehler führt zu ineffizienten Experimenten und falschen Schlussfolgerungen.
• Robustheit des Reasonings: Die Studie zeigt, dass reine Skalierung (größere Modelle) den Bias nicht vollständig eliminiert, sondern gezielte Trainingsstrategien und Prompting notwendig sind.
• Kognitive KI: Die Arbeit verbindet kognitive Psychologie und KI-Forschung, indem sie zeigt, dass menschliche Strategien zur Reduktion kognitiver Verzerrungen erfolgreich auf LLMs übertragen und internalisiert werden können.

Fazit: Bestätigungsfehler sind eine signifikante Einschränkung für die Hypothesenexploration in LLMs. Durch gezielte Interventionen und Distillation kann dieses Verhalten jedoch effektiv gemildert werden, was zu robusteren und effizienteren KI-Agenten führt, die besser in der Lage sind, komplexe Regeln und Kausalitäten zu entdecken.