Reasoning as Pattern Matching: Shared Mechanisms in Human and LLM Everyday Reasoning

Titel: Redeneren als Patroonherkenning: Gedeelde Mechanismen in het Alledaagse Redeneren van Mensen en LLM's

Probleemstelling
De heersende visie in de cognitieve wetenschap en AI-veiligheid stelt dat menselijk redeneren steunt op abstracte, gestructureerde "wereldmodellen" die causale structuur, compositionaliteit en rol-invuller-onafhankelijkheid behouden. Daartegenover staan Large Language Models (LLM's), die vaak worden bekritiseerd omdat ze niet generaliseren of willekeurige fouten maken, wat leidt tot de conclusie dat ze slechts oppervlakkige "patroonherkenning" uitvoeren op basis van statistische associaties in plaats van werkelijk redeneren. Echter, menselijk redeneren staat erom bekend ook zeer inhoudsgevoelig te zijn en vatbaar voor fouten die strikte logische compositionaliteit schenden (bijv. de Wason-selectietaken, of het "798 is minder even"-fenomeen). Dit artikel onderzoekt of de redeneerfouten die bij LLM's worden waargenomen uniek zijn aan hun architectuur of of ze een gedeeld cognitief mechanisme weerspiegelen met de mens. Specifiek vragen de auteurs: wordt alledaags causaal redeneren in zowel mensen als LLM's beter verklaard door abstracte wereldmodellen of door een vorm van contextafhankelijke patroonherkenning?

Methodologie
De studie hanteert een veelzijdige aanpak die gedragsexperimenten met mensen en LLM's combineert, gevolgd door mechanistische interpreteerbaarheid-analyse.

1. Gedragsevaluatie:

   • Deelnemers: 142 menselijke participanten en 25 LLM's (inclusief open-source modellen zoals Gemma en Llama, en propriëtaire modellen zoals GPT-4.1 en DeepSeek-R1).
   • Taak: Een modulaire causale redeneertaak bestaande uit 11 categorieën van alledaagse scenario's (bijv. geocentrisch-nabij, egocentrisch-ver, toestand-volgt, actie-volgt-niet).
   • Ontwerp: Prompts werden gepresenteerd in twee kaders: target (het afleiden van een uitkomst gegeven een oorzaak) en context (het afleiden van een oorzaak gegeven een uitkomst). Cruciaal was dat de studie minimale verschilparen bevatte waarbij alleen ogenschijnlijk irrelevante inhoudswoorden veranderden (bijv. "De soep staat op de tafel" versus "De stoofpot staat op de tafel"), terwijl de grondwaarheid van de causale uitkomst identiek bleef.
   • Metrieken: Menselijke accuratesse werd gemeten via binaire keuze. LLM-accuratesse werd gemeten via logit-verschillen tussen correcte en incorrecte tokens (voor open weights) of binaire correctheid (voor API-modellen).

2. Mechanistische Interpreteerbaarheid:

   • Model: De focus lag op gemma-2-27b-it vanwege de sterke overeenkomst met menselijke gedragspatronen.
   • Causale Identificatie: De auteurs voerden ablatie-experimenten uit om de top-$k$ attention heads te identificeren die causaal verantwoordelijk zijn voor modeloutputs (d.w.z. heads waarvan de verwijdering de grootste verandering in logit-verschillen veroorzaakte).
   • Activatie-patching: Om te bepalen waarop deze heads letten, patchten de auteurs activaties van "kritieke" prompts (waarbij inhoud de grondwaarheid verandert) en "niet-kritieke" prompts (waarbij inhoud verandert maar de uitkomst gelijk blijft) in de basisprompt.
   • Voorspelling: De entropie van deze causaal kritieke attention heads werd gebruikt als kenmerk om de menselijke accuratesse op uitgesloten (held-out) prompts en scenario's te voorspellen.

Belangrijkste Resultaten

1. Gedeelde Foutprofielen: Zowel mensen als LLM's vertoonden "gegradueerde accuratesse", waarbij prestaties zeer gevoelig waren voor kleine, oppervlakkige veranderingen in de inhoud van de prompt.

   • Mensen en LLM's waren accurater op geocentrische relaties met verre referenties (bijv. steden) dan op nabije objecten (bijv. schilderijen), en accurater op egocentrische relaties voor nabije objecten dan voor verre objecten.
   • Kleine wijzigingen in prompts (bijv. het veranderen van "soep" naar "stoofpot" in een scenario waarin het fornuis aan staat) induceerden vergelijkbare "fouttoestanden" in beide groepen, zelfs wanneer de logische uitkomst ongewijzigd bleef.
   • LLM's met een hogere algehele accuratesse (bijv. DeepSeek-R1) waren niet noodzakelijkerwijs menselijker; in sommige gevallen kwamen kleinere modellen (zoals Gemma-3-27b-it) beter overeen met menselijke foutpatronen.

2. Mechanisme van LLM-responsen:

   • Inhoudsgevoeligheid: Activatie-patching onthulde dat de top-$k$ causaal belangrijke attention heads aanzienlijk gevoeliger waren voor niet-kritieke inhoudelijke substituties (bijv. het veranderen van "schilderij" naar "standbeeld") dan voor kritieke structurele veranderingen (bijv. het veranderen van "Noord" naar "Zuid"). Dit ondersteunt de hypothese dat deze heads een vorm van patroonherkenning implementeren op basis van oppervlakkige inhoud in plaats van abstracte causale structuur.
   • Voorspellen van Menselijke Fouten: De entropie van deze attention heads slaagde erin de menselijke accuratesse te voorspellen. Een lineair model dat gebruikmaakte van deze head-activaties verklaarde een aanzienlijke variantie in menselijke reacties ($R^2 \approx 0,65$ voor held-out prompts), zelfs na controle voor categorie, promptformaat en n-gram frequentie.
   • Scenario's met Minimaal Verschil: In een vervolg-evaluatie met 96 prompts die slechts verschilden door één inhoudswoord, voorspelden de activaties van deze patroonherkennende heads de menselijke accuratesse met hoge getrouwheid, waarbij tot 76% van de variantie werd verklaard.

Belangrijkste Bijdragen

• Empirische Alignement: Het artikel levert robuust bewijs dat menselijke en LLM-redeneerfouten geen onderscheidende fenomenen zijn, maar een gemeenschappelijk profiel delen van inhoudsgevoeligheid en broosheid.
• Mechanistische Verklaring: Het gaat verder dan gedragsmatige correlatie door de specifieke interne circuit (een subset van attention heads) te identificeren die deze gedragingen aanstuurt in LLM's.
• Herformulering van Redeneren: De auteurs tonen aan dat het "patroonherkennings"-mechanisme, dat vaak wordt afgedaan als een falen van LLM's, eigenlijk hetzelfde mechanisme is dat de menselijke fouten kan voorspellen. Dit suggereert dat het menselijk redeneren zelf sterk kan steunen op patroonherkenning in plaats van louter abstracte wereldmodellen.

Betekenis en Claims
Het artikel betoogt dat het onderscheid tussen "redeneren" (abstracte wereldmodellen) en "patroonherkenning" (oppervlakkige associaties) mogelijk een valse dichotomie is voor alledaags causaal redeneren. De auteurs claimen dat:

1. Menselijk Redeneren is Contextafhankelijk: Menselijk redeneren is niet volledig compositional of abstract; het wordt diepgaand beïnvloed door de specifieke inhoud en context van een probleem. De "fouttoestanden" gezien bij LLM's zijn geen bewijs van een gebrek aan intelligentie, maar een reflectie van hoe het menselijk cognitie daadwerkelijk functioneert.
2. LLM's als Instrument voor de Cognitieve Wetenschap: Omdat LLM's toestaan om interne mechanismen causaal te manipuleren (in tegen tegenstelling tot mensen), dienen ze als een uniek instrument om de menselijke cognitie te reverse-engineeren. Het feit dat LLM attention heads menselijke fouten kunnen voorspellen, suggereert dat de "rommeligheid" van het menselijk redeneren een kenmerk is, geen fout, die waarschijnlijk geëvolueerd is om de open, contextrijke aard van realistische problemen aan te kunnen.
3. Patroonherkenning als een Geldig Mechanisme: De studie stelt dat patroonherkenning niet louter een achteraf-oplossing of een oppervlakkige heuristiek is, maar een fundamentele manier waarop neurale netwerken (zowel biologisch als kunstmatig) problemen oplossen. Het vermogen om "ogenschijnlijk irrelevante" details te volgen kan adaptief zijn in natuurlijke omgevingen waar de specifieke entiteiten die betrokken zijn (bijv. een specif kind type voedsel of een specifieke stad) impliciete contextuele informatie dragen die rigide abstracte modellen wellicht zouden verwerpen.

De auteurs concluderen dat redeneren over alledaagse causale scenario's, zowel voor mensen als voor LLM's, een vorm van patroonherkenning is die zeer gevoelig is voor de volledige inhoud van een prompt, in plaats van een proces dat uitsluitend wordt gedreven door abstracte, structuur-behoudende wereldmodellen.