🤖 AI

FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games

Dit artikel introduceert FALSIFYBENCH, een benchmark geïnspireerd door de Wason 2-4-6 taak om het inductieve redeneren van LLM's voor wetenschappelijke ontdekkingen te evalueren, waarbij wordt onthuld dat reasoning-modellen beter presteren dan instructie-afgestemde modellen voornamelijk vanwege hun capaciteit voor negatieve testen en dat falen voortkomt uit identificeerbare patronen in hypothese-navigatie.

Oorspronkelijke auteurs: Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een raadspel speelt met een vriend die een geheime regel kent, maar jij niet. Je vriend geeft je drie voorbeelden die aan de regel voldoen, zoals "2, 4, 6." Jouw taak is om de geheime regel te achterhalen door je eigen reeksen getallen voor te stellen en te vragen: "Past dit?"

Dit is de klassieke "Wason 2-4-6 taak", een beroemd puzzelstuk dat wordt gebruikt om te onderzoeken hoe mensen denken. Het artikel waar je naar vraagt, FALSIFYBENCH, neemt deze game en geeft deze aan Artificial Intelligence (AI) modellen, maar in plaats van getallen gebruiken ze woorden en categorieën (zoals "dieren" of "gereedschap").

Hier is de uitsplitsing van wat de onderzoekers hebben gedaan en gevonden, met behulp van eenvoudige analogieën.

Het Spel: "Vind de Verborgen Categorie"

Beschouw de AI als een detective die een mysterie probeert op te lossen.

De Opzet: De AI krijgt drie items te zien, bijvoorbeeld een "vleermuis", een "skimmer" en een "tarsier".
Het Doel: De AI moet de verborgen categorie raden waartoe deze behoren (bijv. "Dieren").
De Addertje onder het gras: De AI kent het antwoord niet. Het moet een regel raden, deze testen en feedback krijgen.
- Als de AI "Vliegende dingen" raadt en een "vleermuis" test, zegt het systeem: "Ja, dat past."
- Als de AI een "vis" test en het systeem zegt: "Nee, dat past niet," leert de AI dat zijn regel te breed is.
- Als de AI een "walvis" test en het systeem zegt: "Ja, dat past," terwijl de AI dacht aan "Vliegende dingen", leert de AI dat zijn regel te nauw is.

Het Grote Probleem: De "Ja-knikker" Valstrik

De onderzoekers ontdekten dat de meeste AI-modellen (en mensen) lijden aan een specifieke denkfout genaamd Bevestigingsvooroordeel (Confirmation Bias).

Stel je voor dat je een detective bent die ervan overtuigd is dat de dader "De Butler" is.

De "Ja-knikker" Strategie (Bevestiging): Je stelt alleen vragen die bewijzen dat de Butler het heeft gedaan. "Had de Butler een motief?" "Ja." "Was de Butler in de kamer?" "Ja." Je voelt je zelfverzekerd, maar je controleert nooit of de Butler onschuldig is. Je bent alleen maar op zoek naar "Ja"-antwoorden.
De "Advocaat van de Duivel" Strategie (Falsificatie): Je probeert actief te bewijzen dat de Butler niet de dader is. Je vraagt: "Was de Butler op dat moment op het strand?" Als het antwoord "Ja" is, wordt je theorie vernietigd en moet je een nieuwe verdachte zoeken.

De Hoofdvinding van het Papier:
De AI-modellen die optraden als "Advocaten van de Duivel" (die probeerden hun eigen theorieën te breken) waren veel beter in het oplossen van de puzzel. De modellen die optraden als "Ja-knikkers" (die alleen op zoek waren naar bewijs dat ze gelijk hadden) liepen vast. Ze bleven smalle regels raden (zoals "vliegende zoogdieren") en realiseerden zich nooit dat de echte regel breder was ("alle dieren").

De Resultaten: Wie Speelde het Best?

Het team testte 12 verschillende AI-modellen. Dit is wat ze vonden:

De "Redeneer"-Modellen Wonnen: De nieuwere AI-modellen die ontworpen zijn om na te "denken" voordat ze spreken (vaak "reasoning models" genoemd), waren betere detectives dan de standaardmodellen. Ze waren eerder geneigd om hun eigen theorieën te proberen te breken.
Niemand is Perfect: Zelfs de beste AI-modellen losten het spel niet perfect op. Ze maakten nog steeds fouten, wat aantoont dat AI nog geen meester is in wetenschappelijke ontdekking.
Het Gaat Niet Om Slimheid, Maar Om Strategie: De onderzoekers controleerden of de AI faalde omdat het de definities van woorden niet kende (zoals niet weten wat een "vleermuis" is). Ze vonden dat dit niet het probleem was. De AI kende de woorden; het had gewoon een slechte strategie. Het was te bang om ideeën te testen die fout zouden kunnen zijn.

De "Beurt-voor-Beurt" Analyse

De onderzoekers keken niet alleen naar wie er won; ze volgden elke enkele zet van de AI. Ze vonden twee belangrijke manieren waarop de AI faalde:

Verdwalen in het Bos: In plaats van langzaam te bewegen van een specifieke gok naar een algemene gok (zoals van "vleermuizen" naar "zoogdieren" naar "dieren"), zou de AI soms compleet ongerelateerde gokken doen (zoals "dingen die met de letter B beginnen").
Focus op de Verkeerde Details: Soms, in plaats van de betekenis van de woorden te raden, raadde de AI gebaseerd op hoe de woorden eruit zagen. Bijvoorbeeld, het zou kunnen gokken: "De regel is dat alle woorden drie letters hebben," of "Ze beginnen allemaal met een klinker." Dit is alsof een detective de plaats delict negeert en zich focust op de kleur van de schoenen van de verdachte.

De Kern van de Zaak

Dit papier introduceert een nieuwe test (FALSIFYBENCH) om te zien of AI echt wetenschappelijk kan denken. De conclusie is dat hoewel AI beter wordt in "denken", het nog steeds worstelt met het belangrijkste deel van wetenschap: de moed om ongelijk te hebben.

Om een goede wetenschapper (of een goede detective) te zijn, moet je actief proberen je eigen ideeën te weerleggen. De AI-modellen die leerden dit te doen, waren de winnaars, maar zelfs zij hebben een lange weg te gaan voordat ze menselijke wetenschappers kunnen vervangen.

Technische Samenvatting: FALSIFYBENCH

Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet als autonome agenten voor wetenschappelijke taken, blijft de vraag of hun capaciteit om de specifieke vormen van inductief redeneren die vereist zijn voor wetenschappelijke ontdekkingen, een open vraag. Een cruciaal onderdeel van wetenschappelijk redeneren is hypothese-gestuurd redeneren, specif seguito de het vermogen om hypothesen te genereren, te evalueren en te herzien in het licht van nieuw bewijs, inclusclusief de capaciteit voor falsificatie.

Bestaande benchmarks testen inductief redeneren vaak via sequentie-naar-sequentie taken (bijv. ARC) of logische puzzels, maar ze slagen er vaak niet in om het dynamische, iteratieve proces van hypothesetesten te vangen, waarbij agenten actief moeten zoeken naar bewijs dat hun huidige overtuigingen ontkracht. Bovendien hebben menselijke studies (bijv. Wason, 1960) lang vastgesteld dat mensen lijden aan bevestigingsvooroordeel (confirmation bias), waarbij ze de neiging hebben om bewijs te zoeken dat hun hypothesen bevestigt in plaats van bewijs dat hen zou kunnen falsificeren. Het is onduidelijk of LLMs soortgelijke vooroordelen vertonen en of "redeneermodellen" (modellen met uitgebreide denkcapaciteiten) verschillen van standaard instructie-afgestelde modellen in hun vermogen om deze vooroordelen te overwinnen en verborgen regels te ontdekken.

Methodologie: FALSIFYBENCH

De auteurs introduceren FALSIFYBENCH, een benchmark die is ontworpen om hypothese-gestuurd redeneren te evalueren via een semantische generalisatie van de klassieke Wason 2-4-6 taak.

Spelstructuur

In FALSIFYBENCH fungeert een LLM als een "speler" die probeert een verborgen doelregel ( $R$ ) te ontdekken die wordt gedefinieerd door een semantische categorie (bijv. "dier").

Initialisatie: De speler krijgt een initiële driedeling van items (bijv. "pocketed bat," "skimmer," "tarsius glis") afkomstig van een specifieke subcategorie ( $S$ ) die een strikte afstammeling is van de doelregel $R$ (bijv. $S$ = "vertebrate," $R$ = "animal").
Interactie: De speler stelt iteratief nieuwe driedelingen van items voor, samen met een huidige hypothese ( $H$ ) en een rationale.
Oracle Feedback: Een oracle (een andere LLM-instantie) reageert met "Conform" of "Do not conform" op basis van of de voorgestelde items voldoen aan de verborgen regel $R$ .
Terminatie: Het spel eindigt wanneer de speler een definitieve gok voor $R$ indient (Correct/Incorrect) of een maximaal aantal beurten bereikt (20 beurten).

Experimenteel Ontwerp

Semantisch Domein: In tegenstelling tot de numerieke Wason-taak, gebruikt FALSIFYBENCH semantische taxonomieën afgeleid van WordNet. Dit maakt het mogelijk om games te construeren waarbij de initiële voorbeelden de speler dwingen een overmatig specifieke hypothese te vormen ( $H \subset R$ ), een configuratie waarin negatieve testen (het voorstellen van items buiten $H$ ) de enige strategie is die in staat is om de hypothese definitief te falsificeren.
Geëvalueerde Modellen: 12 LLMs uit verschillende families en schalen, inclusief instructie-afgestelde varianten (bijv. Llama-4-Maverick, Mistral-Small) en redeneervarianten (bijv. GPT-5.2-Chat, GPT-OSS-120B, DeepSeek-V3.1).
Dubbele Rollen: Elk model diende zowel als de speler (redenerende agent) als de oracle (oordelende agent) om zowel de redeneercapaciteiten als de consistentie van hun semantische oordelen tegenover menselijke annotaties te evalueren.
Metrieken:
- Succespercentage: Percentage games waarin de doelregel correct werd geïdentificeerd.
- Bevestigingsvooroordeel: De proportie "positieve testen" (testen van items die naar verwachting voldoen aan $H$ ) versus "negatieve testen" (items die naar verwachting $H$ falsificeren).
- Oracle Accuratesse: Overeenstemming met menselijke annotaties over de vraag of items voldoen aan de regel.
- Beurt-niveau Analyse: Een fijnmazige analyse van de relatie tussen de huidige hypothese $H$ en de doelregel $R$ (bijv. $H \subset R$ , $H \supset R$ , gedeeltelijke overlap) om de optimaliteit van de gebruikte teststrategie te bepalen.

Belangrijkste Bijdragen

FALSIFYBENCH Benchmark: Een nieuw evaluatiekader geworteld in semantische taxonomieën dat het vermogen om actief hypothesen te genereren en potentieel te falsificeren operationaliseert, wat de $H \subset R$ configuratie weerspiegelt die gebruikelijk is in de wetenschappelijke geschiedenis (bijv. Newtoniaanse mechanica als een deelverzameling van de Relativiteitstheorie).
Vergelijkende Evaluatie: Een systematische evaluatie van 12 LLMs, die aantoont dat redeneermodellen over het algemeen beter presteren dan instructie-afgestelde modellen in wetenschappelijke redeneertaken, hoewel geen enkel model optimale prestaties levert.
Mechanistisch Inzicht: Een fijnmazige analyse op beurt-niveau die onthult dat falen niet willekeurig is, maar gekoppeld is aan identificeerbare patronen in hoe modellen door de hypotheseruimte navigeren, specifiek de afhankelijkheid van bevestigingsvooroordeel en de generatie van oppervlakkige linguïstische hypothesen.

Resultaten

Prestaties en Strategie

Redeneren vs. Instructie-afgestelde Modellen: Redeneermodellen behaalden significant hogere succespercentages (bijv. GPT-5.2-Chat op 75%, GPT-OSS-120B op 68%) vergeleken met instructie-afgestelde modellen (bijv. DeepSeek-V3.1 op 41%, anderen clusterend tussen 33–35%). Echter, zelfs de beste modellen bleven achter bij optimale prestaties.
De Rol van Negatieve Testen: Er is een sterke negatieve correlatie tussen Bevestigingsvooroordeel en succes ( $\rho = -0.779$ ). Modellen die actief zochten naar falsificatie van hun hypothesen (negatieve testen) presteerden consequent beter dan modellen die primair zochten naar bevestiging.
Oracle Kwaliteit: Hoewel de oracle-accuratesse over het algemeen hoog was (85–95%), was er geen significante correlatie tussen de kwaliteit van de oracle en het succes van de speler. Een Bayesiaanse mixed-effects logistische regressie bevestigde dat Bevestigingsvooroordeel een sterke negatieve voorspeller van succes was, terwijl de foutmarge van de oracle een verwaarloosbaar effect had.

Foutmodi

Navigatie door de Hypotheseruimte: In mislukte games vormden modellen vaak hypothesen die gedeeltelijk overlapten of disjunct waren van de doelregel, in plaats van een coherent opwaarts revisiepad ( $H \subset R$ ) te volgen.
Oppervlakkige Kenmerken: Gefaalute games bevatten significant vaker hypothesen die zich richtten op oppervlakkige linguïstische kenmerken (bijv. "alle items beginnen met de letter 'a'" of "lettergreep aantal") in plaats van semantische eigenschappen. Voor hoogpresterende modellen betrokken bijna alle gefaalute games ten minste één dergelijke linguïstische hypothese.
Beurt-efficiëntie: Succesvolle games werden gekenmerkt door een concentratie van $H \subset R$ beurten en efficiënte revisie. Gefaalute games vertoonden een hoger aandeel "Gedeeltelijke Overlap" beurten, wat aangeeft dat modellen vastliepen op hypothesen die dichtbij maar onjuist waren.

Betekenis en Claims

Het artikel claimt dat FALSIFYBENCH een rigoureuze test biedt voor de "wetenschappelijke redeneercapaciteiten" van LLMs, waarbij de focus verschuift van statische kennisretrieval naar dynamische hypothesetest. De primaire bevinding is dat de capaciteit voor negatieve testen de belangrijkste drijfveer is voor succes in inductieve redeneertaken.

De auteurs benadrukken dat hoewel redeneermodellen superieure capaciteiten vertonen in het falsificeren van hypothesen vergeleken met instructie-afgestelde modellen, huidige LLMs nog steeds worstelen met het volledige wetenschappelijke proces. De neiging om te vertrouwen op bevestigingsvooroordeel en af te drijven naar oppervlakkige linguïstische patronen suggereert dat zelfs geavanceerde modellen nog niet volledig de normatieve strategieën van wetenschappelijke ontdekking hebben geïnternaliseerd. Het werk onderstreept dat "denken" (redeneren) alleen onvoldoende is zonder de strategische discipline om actief op zoek te gaan naar ontstellend bewijs.

De auteurs blijven bescheiden over de reikwijdte en erkennen dat de studie zich richt op een specifief aspect van wetenschappelijk redeneren (hypothese-revisie in een deelverzameling-configuratie) en dat het gebruik van WordNet als een proxy voor semantische kennis beperkingen heeft. Zij beweren niet dat LLMs klaar zijn voor autonome wetenschappelijke ontdekking, maar stellen dat FALSIFYBENCH een noodzakelijk diagnostisch instrument biedt om vooruitgang in dit specifieke domein te meten.