🤖 AI

FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games

Dieses Paper führt FALSIFYBENCH ein, einen Benchmark, der von der Wason 2-4-6-Aufgabe inspiriert wurde, um das induktive Denken von LLMs für wissenschaftliche Entdeckungen zu evaluieren, wobei aufgezeigt wird, dass Reasoning-Modelle instruktionsoptimierten Modellen primär aufgrund ihrer Kapazität für negatives Testen überlegen sind und das Scheitern auf identifizierbare Muster in der Hypothesennavigation zurückzuführen ist.

Ursprüngliche Autoren: Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie spielen ein Ratespiel mit einem Freund, der eine geheime Regel kennt, Sie jedoch nicht. Ihr Freund gibt Ihnen drei Beispiele, die auf die Regel passen, wie zum Beispiel „2, 4, 6“. Ihre Aufgabe ist es, die geheime Regel herauszufinden, indem Sie Ihre eigenen Zahlenreihen vorschlagen und fragen: „Passt das?“

Dies ist die klassische „Wason 2-4-6-Aufgabe“, ein berühmtes Rätsel, das verwendet wird, um das Denken von Menschen zu untersuchen. Das Paper, nach dem Sie fragen, FALSIFYBENCH, überträgt dieses Spiel auf Künstliche Intelligenz (KI), verwendet jedoch statt Zahlen Wörter und Kategorien (wie „Tiere“ oder „Werkzeuge“).

Hier ist die Aufschlüsselung dessen, was die Forscher getan und herausgefunden haben, unter Verwendung einfacher Analogien.

Das Spiel: „Finde die verborgene Kategorie“

Stellen Sie sich die KI als einen Detektiv vor, der versucht, ein Rätsel zu lösen.

Das Setup: Der KI werden drei Gegenstände gezeigt, zum Beispiel eine „Fledermaus“, ein „Skimmer“ und ein „Tarsier“.
Das Ziel: Die KI muss die verborgene Kategorie erraten, zu der diese gehören (z. B. „Tiere“).
Die Besonderheit: Die KI kennt die Antwort nicht. Sie muss eine Regel erraten, sie testen und Feedback erhalten.
- Wenn die KI „Flugwesen“ rät und eine „Fledermaus“ testet, sagt das System: „Ja, das passt.“
- Wenn die KI einen „Fisch“ testet und das System sagt: „Nein, das passt nicht“, lernt die KI, dass ihre Regel zu breit gefasst ist.
- Wenn die KI einen „Wal“ testet und das System sagt: „Ja, das passt“, die KI aber an „Flugwesen“ gedacht hat, lernt die KI, dass ihre Regel zu eng gefasst war.

Das große Problem: Die „Ja-Sager“-Falle

Die Forscher entdeckten, dass die meisten KI-Modelle (und Menschen) einem spezifischen Denkfehler erliegen, der als Bestätigungsfehler (Confirmation Bias) bezeichnet wird.

Stellen Sie sich vor, Sie sind ein Detektiv, der fest davon überzeugt ist, dass der Täter „der Butler“ ist.

Die „Ja-Sager“-Strategie (Bestätigung): Sie stellen nur Fragen, die beweisen, dass der Butler es war. „Hatte der Butler ein Motiv?“ „Ja.“ „War der Butler im Raum?“ „Ja.“ Sie fühlen sich sicher, aber Sie prüfen nie, ob der Butler unschuldig ist. Sie suchen nur nach „Ja“-Antworten.
Die „Advocatus Diaboli“-Strategie (Falsifikation): Sie versuchen aktiv zu beweisen, dass der Butler nicht der Täter ist. Sie fragen: „War der Butler zur Tatzeit am Strand?“ Wenn die Antwort „Ja“ lautet, ist Ihre Theorie zerstört und Sie müssen einen neuen Verdächtigen finden.

Das Hauptergebnis des Papers:
Die KI-Modelle, die wie „Advocati Diaboli“ agierten (also versuchten, ihre eigenen Theorien zu widerlegen), waren viel besser darin, das Rätsel zu lösen. Die Modelle, die wie „Ja-Sager“ agierten (also nur nach Beweisen suchten, dass sie recht hatten), blieben stecken. Sie hielten immer wieder an engen Regeln fest (wie „fliegende Säugetiere“) und merkten nie, dass die eigentliche Regel breiter war („alle Tiere“).

Die Ergebnisse: Wer hat am besten gespielt?

Das Team testete 12 verschiedene KI-Modelle. Hier ist, was sie fanden:

Die „Reasoning“-Modelle gewannen: Die neueren KI-Modelle, die darauf ausgelegt sind, „nachzudenken“, bevor sie sprechen (oft als „Reasoning-Modelle“ bezeichnet), waren bessere Detektive als die Standardmodelle. Sie waren eher bereit, ihre eigenen Theorien zu hinterfragen.
Niemand ist perfekt: Selbst die besten KI-Modelle lösten das Spiel nicht perfekt. Sie machten immer noch Fehler, was zeigt, dass KI noch kein Meister der wissenschaftlichen Entdeckung ist.
Es geht nicht um Intelligenz, sondern um Strategie: Die Forscher prüften, ob die KI scheiterte, weil sie die Definitionen von Wörtern nicht kannte (z. B. nicht wusste, was eine „Fledermaus“ ist). Sie fanden heraus, dass dies nicht das Problem war. Die KI kannte die Wörter; sie hatte nur eine schlechte Strategie. Sie war zu sehr darauf bedacht, Ideen zu testen, die falsch sein könnten.

Die „Schritt-für-Schritt“-Analyse

Die Forscher haben nicht nur beobachtet, wer gewonnen hat; sie haben beobachtet, wie die KI jeden einzelnen Zug spielte. Sie fanden zwei Hauptwege, wie die KI scheiterte:

Sich im Wald verirren: Anstatt langsam von einer spezifischen Vermutung zu einer allgemeineren zu wechseln (wie von „Fledermäusen“ zu „Säugetieren“ zu „Tieren“), sprang die KI manchmal zu völlig unzusammenhängenden Vermutungen (wie „Dinge, die mit dem Buchstaben B beginnen“).
Sich auf die falschen Details konzentrieren: Manchmal, anstatt die Bedeutung der Wörter zu erraten, rät die KI basierend darauf, wie die Wörter aussahen. Zum Beispiel könnte sie raten: „Die Regel ist, dass alle Wörter drei Buchstaben haben“ oder „Sie beginnen alle mit einem Vokal“. Das ist so, als würde ein Detektiv den Tatort ignorieren und sich stattdite auf die Farbe der Schuhe des Verdächtigen konzentrieren.

Das Fazenzit

Dieses Paper führt einen neuen Test (FALSIFYBENCH) ein, um zu sehen, ob KI echte wissenschaftliche Denkprozesse durchführen kann. Die Schlussfolgerung lautet: Obwohl KI besser im „Denken“ wird, kämpft sie immer noch mit dem wichtigsten Teil der Wissenschaft: dem Mut, falsch zu liegen.

Um ein guter Wissenschaftler (oder ein guter Detektiv) zu sein, muss man aktiv versuchen, seine eigenen Ideen zu widerlegen. Die KI-Modelle, die lernten, dies zu tun, waren die Gewinner, aber selbst sie haben noch einen weiten Weg vor sich, bis sie menschliche Wissenschaftler ersetzen können.

Technisches Resümee: FALSIFYBENCH

Problemstellung

Während Large Language Models (LLMs) zunehmend als autonome Agenten für wissenschaftliche Aufgaben eingesetzt werden, bleibt ihre Fähigkeit zur Ausübung der spezifischen Formen des induktiven Schließens, die für wissenschaftliche Entdeckungen erforderlich sind, eine offene Frage. Eine kritische Komponente des wissenschaftlichen Denkens ist das hypothesengesteuerte Denken, insbesondere die Fähigkeit, Hypothesen im Licht neuer Evidenz zu generieren, zu bewerten und zu revidieren, einschließlich der Fähigkeit zur Falsifizierung.

Bestehende Benchmarks testen induktives Denken oft durch Sequenz-zu-Sequenz-Aufgaben (z. B. ARC) oder logische Rätsel, versäumen es jedoch häufig, den dynamischen, iterativen Prozess der Hypothesenprüfung abzubilden, bei dem Agenten aktiv nach Beweisen suchen müssen, die ihre aktuellen Überzeugungen widerlegen. Darüber hinaus haben Humanstudien (z. B. Wason, 1960) lange Zeit etabliert, dass Menschen unter Bestätigungsfehler (Confirmation Bias) leiden, indem sie dazu neigen, nach Beweisen zu suchen, die ihre Hypothesen bestätigen, anstatt nach Beweisen, die diese falsifizieren könnten. Es ist unklar, ob LLMs ähnliche Biases aufweisen und ob „Reasoning“-Modelle (Modelle mit erweiterten Denkfähigkeiten) sich von Standard-Instruction-Tuned-Modellen in ihrer Fähigkeit unterscheiden, diese Biases zu überwinden und verborgene Regeln zu entdecken.

Methodik: FALSIFYBENCH

Die Autoren führen FALSIFYBENCH ein, einen Benchmark, der darauf ausgelegt ist, das hypothesengesteuerte Denken durch eine semantische Verallgemeinerung der klassischen Wason 2-4-6-Aufgabe zu evaluieren.

Spielstruktur

In FALSIFYBENCH agiert ein LLM als „Spieler“, der versucht, eine verborgene Zielregel ( $R$ ) zu entdecken, die durch eine semantische Kategorie (z. B. „Tier“) definiert ist.

Initialisierung: Der Spieler erhält ein initiales Triplett von Objekten (z. B. „Taschenfledermaus“, „Skimmer“, „Tarsius glis“), die aus einer spezifischen Unterkategorie ( $S$ ) stammen, die eine strikte Untermenge der Zielregel $R$ ist (z. B. $S$ = „Wirbeltier“, $R$ = „Tier“).
Interaktion: Der Spieler schlägt iterativ neue Tripletts von Objekten zusammen mit einer aktuellen Hypothese ( $H$ ) und einer Begründung vor.
Oracle-Feedback: Ein Oracle (eine weitere LLM-Instanz) antwortet mit „Konform“ oder „Nicht konform“, basierend darauf, ob die vorgeschlagenen Objekte die verborgene Regel $R$ erfüllen.
Terminierung: Das Spiel endet, wenn der Spieler eine finale Vermutung für $R$ abgibt (Richtig/Falsch) oder das maximale Turn-Limit (20 Züge) erreicht.

Experimentelles Design

Semantische Domäne: Im Gegensatz zur numerischen Wason-Aufgabe verwendet FALSIFYBENCH semantische Taxonomien, die aus WordNet abgeleitet sind. Dies ermöglicht die Konstruktion von Spielen, in denen die initialen Beispiele den Spieler dazu zwingen, eine zu spezifische Hypothese ( $H \subset R$ ) zu bilden – eine Konfiguration, in der negatives Testen (das Vorschlagen von Objekten außerhalb von $H$ ) die einzige Strategie ist, die in der Lage ist, die Hypothese schlüssig zu falsifizieren.
Evaluierte Modelle: 12 LLMs aus verschiedenen Familien und Skalen, einschließlich Instruction-Tuned-Varianten (z. B. Llama-4-Maverick, Mistral-Small) und Reasoning-Varianten (z. B. GPT-5.2-Chat, GPT-OSS-120B, DeepSeek-V3.1).
Duale Rollen: Jedes Modell diente sowohl als Spieler (Reasoning-Agent) als auch als Oracle (beurteilender Agent), um sowohl die Denkfähigkeiten als auch die Konsistenz ihrer semantischen Urteile gegenüber menschlichen Annotationen zu bewerten.
Metriken:
- Erfolgsrate (Success Rate): Prozentsatz der Spiele, in denen die Zielregel korrekt identifiziert wurde.
- Bestätigungsfehler (Confirmation Bias): Der Anteil an „positiven Tests“ (Testen von Objekten, die laut $H$ konform sein sollten) gegenüber „negativen Tests“ (Testen von Objekten, die laut $H$ nicht konform sein sollten).
- Oracle-Genauigkeit (Oracle Accuracy): Übereinstimmung mit menschlichen Annotationen bezüglich der Konformität von Objekten mit der Regel.
- Turn-Level-Analyse: Eine feingranulare Analyse der Beziehung zwischen der aktuellen Hypothese $H$ und der Zielregel $R$ (z. B. $H \subset R$ , $H \supset R$ , partielle Überlappung), um die Optimalität der verwendeten Teststrategie zu bestimmen.

Zentrale Beiträge

FALSIFYBENCH Benchmark: Ein neuartiger Evaluierungsrahmen, der auf semantischen Taxonomien basiert und die Fähigkeit operationalisiert, Hypothesen aktiv zu generieren und potenziell zu falsifizieren, was die $H \subset R$ -Konfiguration widerspiegelt, die in der Wissenschaftsgeschichte häufig vorkommt (z. B. Newtonsche Mechanik als Teilmenge der Relativitätstheorie).
Vergleichende Evaluation: Eine systematische Evaluierung von 12 LLMs, die zeigt, dass Reasoning-Modelle im Allgemeinen besser abschneiden als Instruction-Tuned-Modelle bei wissenschaftlichen Denkaufgaben, obwohl kein Modell eine optimale Leistung erbringt.
Mechanistische Erkenntnis: Eine feingranulare Turn-Level-Analyse, die zeigt, dass das Scheitern nicht zufällig ist, sondern an identifizierbaren Mustern in der Navigation durch den Hypothesenraum gekoppelt ist, insbesondere der Abhängigkeit von Bestätigungsfehlern und der Generierung oberflächlicher linguistischer Hypothesen.

Ergebnisse

Leistung und Strategie

Reasoning vs. Instruction-Tuned: Reasoning-Modelle erreichten signifikant höhere Erfolgsraten (z. B. GPT-5.2-Chat bei 75 %, GPT-OSS-120B bei 68 %) im Vergleich zu Instruction-Tuned-Modellen (z. B. DeepSeek-V3.1 bei 41 %, andere zwischen 33–35 % gruppiert). Dennoch blieben selbst die besten Modelle hinter der optimalen Leistung zurück.
Die Rolle des negativen Testens: Es besteht eine starke negative Korrelation zwischen Bestätigungsfehler und Erfolg ( $\rho = -0,779$ ). Modelle, die aktiv versuchten, ihre Hypothesen zu falsifizieren (negatives Testen), schnitten konsistent besser ab als solche, die primär nach Bestätigung suchten.
Oracle-Qualität: Während die Oracle-Genauigkeit generell hoch war (85–95 %), gab es keine signifikante Korrelation zwischen der Oracle-Qualität und dem Spielerfolg. Eine Bayes'sche gemischte logistische Regression bestätigte, dass der Bestätigungsfehler ein starker negativer Prädiktor für den Erfolg war, während die Fehlerrate des Oracles einen vernachlässigbaren Effekt hatte.

Fehlerbilder (Failure Modes)

Navigation im Hypothesenraum: In gescheiterten Spielen formten Modelle häufig Hypothesen, die partiell überlappend oder disjunkt zur Zielregel waren, anstatt einem kohärenten Pfad der Aufwärtsrevision ( $H \subset R$ ) zu folgen.
Oberflächliche Merkmale: Gescheiterte Spiele enthielten signifikant häufiger Hypothesen, die sich auf oberflächliche linguistische Merkmale konzentrierten (z. B. „alle Items beginnen mit dem Buchstaben 'a'“ oder „Silbenzahl“) anstatt auf semantische Eigenschaften. Bei leistungsstarken Modellen beinhalteten fast alle gescheiterten Spiele mindestens eine solche linguistische Hypothese.
Turn-Effizienz: Erfolgreiche Spiele waren durch eine Konzentration von $H \subset R$ -Zügen und effizienter Revision gekennzeichnet. Gescheiterte Spiele zeigten einen höheren Anteil an „Partial Overlap“-Zügen, was darauf hindeutet, dass Modelle bei Hypothesen stecken blieben, die zwar nah am Ziel, aber dennoch falsch waren.

Bedeutung und Ansprüche

Das Paper behauptet, dass FALSIFYBENCH einen rigorosen Test für die „wissenschaftliche Denkfähigkeit“ von LLMs darstellt, der über statische Wissensabrufe hinausgeht und zu dynamischer Hypothesenprüfung führt. Die primäre Erkenntnis ist, dass die Fähigkeit zum negativen Testen der Haupttreiber für den Erfolg bei induktiven Denkaufgaben ist.

Die Autoren betonen, dass, obwohl Reasoning-Modelle eine überlegene Fähigkeit zur Falsifizierung von Hypothesen im Vergleich zu Instruction-Tuned-Modellen zeigen, aktuelle LLMs den vollen wissenschaftlichen Prozess noch immer nur schwer bewältigen. Die Tendenz, auf Bestätigungsfehler zu vertrauen und zu oberflächlichen linguistischen Mustern abzugleiten, deutet darauf hin, dass selbst fortgeschrittene Modelle die normativen Strategien wissenschaftlicher Entdeckung noch nicht vollständig internalisiert haben. Die Arbeit hebt hervor, dass „Denken“ (Reasoning) allein ohne die strategische Disziplin, aktiv nach diskonfirmierenden Beweisen zu suchen, nicht ausreicht.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und räumen ein, dass sich die Studie auf einen spezifischen Aspekt des wissenschaftlichen Denkens (Hypothesenrevision in einer Teilmengen-Konfiguration) konzentriert und die Verwendung von WordNet als Proxy für semantisches Wissen Limitationen hat. Sie behaupten nicht, dass LLMs bereit für die autonome wissenschaftliche Entdeckung sind, sondern dass FALSIFYBENCH ein notwendiges Diagnosewerkzeug bietet, um Fortschritte in diesem spezifischen Bereich zu messen.