Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning

Probleemstelling

Hoewel taalmodellen (LLMs) steeds complexere taken oplossen, is het onduidelijk hoe hun redeneerfouten zich verhouden tot menselijke cognitieve patronen. Bestaande benchmarks tonen vaak aan dat LLMs presteren op logische taken, maar het blijft een open vraag of hun fouten willekeurig zijn of dat ze systematische, menselijke redeneerfouten (fallacies) vertonen. De auteurs stellen de centrale vraag: Volgen de fouten van LLMs bij gecontroleerde redeneerproblemen de gevestigde patronen van menselijke fallacies?

Het paper bekritiseert de huidige evaluatiemethoden die vaak focussen op algemene nauwkeurigheid of data-vervuiling (contamination), en pleit voor een dieper inzicht in de samenstelling van fouten (error composition) in plaats van alleen het foutpercentage.

Methodologie

De auteurs gebruiken een theoretisch onderbouwde aanpak gebaseerd op de Erotetic Theory of Reasoning (ETR) en de bijbehorende open-source implementatie PyETR.

1. Theoretisch Kader (ETR):

   • ETR is een formele cognitieve theorie die stelt dat redeneren werkt door disjunctieve alternatieven (mogelijke antwoorden) te onderhouden en deze te filteren bij het binnenkomen van nieuwe informatie.
   • Dit proces kan leiden tot systematische fouten door te vroeg alternatieven te elimineren. ETR kan wiskundig voorspellen wanneer en welke specifieke fallacies een mens (of een systeem dat volgens deze regels werkt) zal maken.

2. Data Generatie (PyETR):

   • De auteurs hebben een pipeline ontwikkeld om synthetische redeneerproblemen te genereren die specifiek zijn ontworpen om ETR-voorspelde fallacies op te wekken.
   • Er zijn 383 formeel gespecificeerde problemen gegenereerd, gebaseerd op een originele bank van 400 problemen (waarvan 17 werden verwijderd vanwege validiteitsproblemen).
   • Om data-vervuiling te voorkomen en generalisatie te testen, zijn deze formele logica-problemen gemapt naar 12 verschillende thematische domeinen (bijv. alchemie, quantumdeeltjes, magische wezens, kaarten) met consistente vertalingen van logische predikaten naar natuurlijke taal.

3. Experimenteel Opzet:

   • Modellen: 38 verschillende taalmodellen werden geëvalueerd, variërend van kleinere modellen (bijv. Mistral 7B) tot geavanceerde systemen (bijv. GPT-4.5, Claude 3.7).
   • Capaciteitsproxy: De prestaties werden geanalyseerd in relatie tot de Chatbot Arena Elo-score als proxy voor modelcapaciteit. Ook werden correlaties onderzocht met trainingscompute (Epoch AI) en HELM-benchmarks.
   • Evaluatie: Voor elk antwoord werd bepaald of het logisch correct was (via PySMT) en, indien onjuist, of het overeenkwam met een door ETR voorspelde fallacy.
   • Interventie: Een subset van de tests omvatte het omkeren van de volgorde van de premissen om te testen op "order effects" (een bekend fenomeen bij menselijke redenaars).

Belangrijkste Bijdragen

1. Kwantitatieve Correlatie: Het paper rapporteert een statistisch significante correlatie tussen de modelcapaciteit (Elo-score) en de neiging om menselijke fallacies te vertonen.
2. PyETR-toepassing: De eerste substantiële toepassing van PyETR om onbeperkte, synthetische en verontreinigingsbestendige redeneertaken te genereren die direct gekoppeld zijn aan een cognitieve theorie.
3. Foutanalyse: In plaats van alleen te kijken naar hoe vaak een model fouten maakt, introduceert de studie een nieuwe metriek: de fallacy rate (het aandeel van de fouten dat specifiek menselijke patronen volgt).
4. Order-Effecten: Het aantonen dat LLMs, net als mensen, gevoelig zijn voor de volgorde van premissen, wat leidt tot een vermindering van fallacies bij omkering.

Resultaten

De analyse leverde twee opvallende en tegenstrijdige bevindingen op:

1. Correlatie tussen Capaciteit en Menselijke Fouten:

   • Naarmate de Elo-score van een model toeneemt, neemt het aandeel van de fouten dat overeenkomt met ETR-voorspelde menselijke fallacies toe.
   • Correlatiecoëfficiënt (Spearman): $\rho = 0.360$ ($p = 0.0265$).
   • Dit suggereert dat sterkere modellen niet per se "logischer" worden in de zin van het vermijden van menselijke denkfouten; ze maken juist vaker dezelfde soort fouten als mensen.

2. Geen Correlatie met Algemene Nauwkeurigheid:

   • Er is geen significante correlatie gevonden tussen de Elo-score en het totale percentage correcte antwoorden op dit specifieke dataset ($r \approx 0.004$, $p = 0.981$).
   • Dit impliceert dat het verbeteren van modelgrootte of training niet automatisch leidt tot een fundamentele verbetering in logische geldigheid binnen dit domein.

3. Order-Effect Interventie:

   • Het omkeren van de volgorde van de premissen leidde bij veel modellen tot een significante daling in het produceren van fallacies.
   • Voor een meerderheid van de modellen was dit effect statistisch significant (geanalyseerd met twee-proportie z-tests), wat bevestigt dat LLMs kwetsbaar zijn voor dezelfde niet-commutatieve effecten als menselijke redenaars.

4. Andere Capaciteitsproxi's:

   • De correlatie met menselijke fallacies hield ook stand bij andere maatstaven zoals geschatte trainingscompute ($\rho = 0.489$) en HELM-benchmark scores, wat de robuustheid van de bevindingen onderstreept.

Betekenis en Implicaties

• Uitdaging aan "Scaling Hypothesis": De resultaten suggereren dat schaling (het groter maken van modellen) op zichzelf niet garandeert dat systemen normatief correcter redeneren. Sterkere modellen kunnen juist meer "menselijk" worden in hun foutpatronen.
• Nieuwe Evaluatie-Axis: De studie introduceert "foutensamenstelling" als een cruciale evaluatiemeta. Voor toepassingen die hoge betrouwbaarheid vereisen (zoals juridische analyse of medische diagnose), is het belangrijk om te weten of een model menselijke denkfouten maakt, zelfs als het over het algemeen goed presteert.
• Toekomstige Richtingen: De auteurs suggereren dat deze bevindingen leiden tot gerichte training om specifiek deze menselijke fallacies te onderdrukken, zonder de algemene capaciteiten van het model te verliezen. Het biedt ook een raamwerk voor het evalueren van engineeringkeuzes (zoals prompt-engineering of architecturale wijzigingen) op hun effectiviteit om menselijke redeneerpatronen te doorbreken.

Kortom, het paper toont aan dat LLMs niet alleen menselijke kennis kopiëren, maar ook menselijke cognitieve kwetsbaarheden lijken te kopiëren, en dat deze kwetsbaarheden zelfs sterker worden naarmate de modellen geavanceerder worden.