Technische Samenvatting: Hypothesegeneratie en Inductieve Inferentie bij Kinderen en Taalmodellen

Probleemstelling

Real-world besluitvorming vereist het construeren van mentale modellen onder onzekerheid met betrekking tot bewijs, onderliggende causale regels en de staat van de wereld zelf. Een centrale uitdaging in de cognitiewetenschap en robotica is het identificeren van de computationele principes die agenten in staat stellen coherent theorieën te ontdekken onder deze omstandigheden. Specifiek is er een tekort aan experimentele kaders die systematisch wisselende bronnen van onzekerheid variëren over verschillende systemen (mens versus kunstmatig) om inferentiemechanismen te vergelijken.

Dit artikel adresseert dit door inductieve inferentie te modelleren in de Box Task, een fysiek puzzeloplossend domein dat oorspronkelijk is ontworpen om te bestuderen hoe kinderen van 7 tot 10 jaar reageren op misleidende instructies onder onzekerheid. De taak bestaat uit het openen van vijf vergrendelde dozen met dertien sleutels binnen een tijdslimiet. De ware regel (het afstemmen van het aantal vormen op een doos op het nummer van een sleutel) is latent, terwijl kinderen worden misleid door een video van een leraar die een kleurafstemmingsregel suggereert. De omgeving is gedeeltelijk waarneembaar (vormaantallen zijn verborgen totdat dozen worden opgepakt) en kenmerkt onbetrouwbaar bewijs (mechanische storingen kunnen voorkomen dat correcte sleutel-dooscombinaties openen).

Methodologie

De auteurs formaliseren de Box Task als een Partially Observable Markov Decision Process (POMDP) waarbij een agent een latent regel $h$ moet ontdekken uit stochastische staatsovergangen en onvolledige waarnemingen. Ze implementeren twee complementaire kaders om de oplossing te benaderen met behulp van Sequential Monte Carlo Samplers (SMC-S) voor online Bayesiaanse updates:

1. Sets of Constraints (SoC) – Cognitieve Modellering

Deze implementatie behandelt hypothesen als gestructureerde verzamelingen van bewijs-afgeleide beperkingen. Het dient als een cognitief model dat is aangepast aan het gedrag van menselijke kinderen ($N=100$).

• Hypothese Representatie: Hypothesen zijn afbeeldingen van dozen naar sleutels.
• Voorgestelde Verdeling: Een mengsel van:
  • Vooraf gespecificeerde regels: Opvallende kandidaatregels (kleur, vorm, volgorde) met toegewezen priors.
  • Online generator: Een mechanisme om nieuwe beperkingen voor te stellen op basis van opgebouwd bewijs, waarbij consistente toewijzingen worden opgewaardeerd en gefalsifieerde toewijzingen worden downgewaardeerd.
• Subjectieve Betrouwbaarheid: Introduceert een parameter $\rho \in (0, 1]$ die de subjectieve schatting van de agent van de betrouwbaarheid van het bewijs vertegenwoordigt. Dit stelt het model in staat om storingen toe te schrijven aan externe oorzaken (bijvoorbeeld een stijve vergrendeling) in plaats van de hypothese direct te falsifiëren.
• Varianten: De auteurs testten vier varianten, waaronder lesioned modellen (het verwijderen van de generator of subjectieve betrouwbaarheid) en een volledig model (SoC-Full).

2. LLM-gebaseerde Programmasynthese (LLM-PS) – Modelorganisme

Deze implementatie behandelt Large Language Models (LLM's) als controleerbare "modelorganismen" om te onderzoeken hoe gedrag verandert onder systematische variatie van omgevingscondities.

• Hypothese Representatie: Hypothesen zijn uitvoerbare Python-functies (predict(key, box) -> bool) die worden gegenereerd en herzien door de LLM.
• Inferentie-engine: Het systeem onderhoudt een populatie van hypothese-deeltjes. Wanneer een deeltje wordt geselecteerd voor "verjonging", wordt de LLM gevraagd om een herzien programma te synthetiseren dat consistent is met de geschiedenis van acties en uitkomsten.
• Actiekeuze: Agenten kiezen acties om de verwachte informatiewinst (EIG) over de deeltjesverdeling te maximaliseren.
• Varianten: De auteurs implementeerden condities die overeenkomen met de menselijke taak:
  • LLM-PS-S: Volledige waarneembaarheid, onbetrouwbare sleutels.
  • LLM-PS-P: Gedeeltelijke waarneembaarheid (vereist OBSERVE-acties om vormaantallen te onthullen), onbetrouwbare sleutels.
  • ReAct Baseline: Een standaard ReAct-agent die direct acties genereert zonder expliciete hypothese-representaties te onderhouden.

Belangrijkste Bijdragen

1. Formalisatie van Inductieve Inferentie: Het artikel breidt de Sampling Hypothesis uit naar settings met onbetrouwbaar bewijs en onbegrensde hypothese-ruimten, en biedt twee complementaire implementaties: op beperkingen gebaseerd (SoC) en programmasynthese (LLM-PS).
2. Computationele Analyse van Kinderen: De studie toont aan dat het gedrag van kinderen het beste wordt verklaard door de gezamenlijke werking van subjectieve bewijsbetrouwbaarheid (het afwaarderen van storingen als mechanische fouten) en online hypothese-generatie (het creëren van benaderende oplossingen). Dit verklaart de dissociatie tussen taakvoltooiing en generalisatie van de ware regel.
3. Gecontroleerde Vergelijking: Door LLM's te behandelen als modelorganismen, variëren de auteurs systematisch de betrouwbaarheid van bewijs en de waarneembaarheid. Ze tonen aan dat LLM-gebaseerde agenten de prestatiepatronen van kinderen repliceren onder onzekere omstandigheden (bijvoorbeeld het afwaarderen van onbetrouwbaar bewijs, het zoeken naar het oplossen van gedeeltelijke informatie), maar onderscheidende inductieve bias vertonen, specifiek een neiging tot over-waarnemen en over-naleving van instructies in vergelijking met kinderen.

Resultaten

SoC Resultaten

• Modelpassing: Het SoC-Full model (dat zowel subjectieve betrouwbaarheid als een online generator omvat) bood een significant betere passing aan de trajecten en generalisatiesnelheden van kinderen dan enige lesioned variant ($p < .001$).
• Generalisatie: Hoewel 66% van de kinderen alle dozen opende, generaliseerde slechts 22% de ware regel. Het SoC-Full model replicateerde dit, waarbij het in ongeveer 20% van de simulaties convergeerde naar de correcte regel.
• Mechanisme: De resultaten geven aan dat noch subjectieve betrouwbaarheid noch online generatie alleen voldoende is; hun combinatie is vereist om de verdeling van pogingen en het lage percentage correcte generalisatie te reproduceren.

LLM-PS Resultaten

• Replicatie van Patronen: LLM-gebaseerde agenten repliceren de reacties van kinderen op veranderingen in bewijsbetrouwbaarheid en waarneembaarheid. Ze slaagden erin onbetrouwbaar bewijs af te waarderen en gedeeltelijke informatie op te lossen.
• Taakvoltooiing versus Generalisatie: Net als kinderen voltooien LLM-agenten de taak vaak zonder de ware regel te ontdekken. Wanneer dit voorkwam, vertrouwden ze op "benaderende" hypothesen die uiteenlopende oorzaken combineerden (bijvoorbeeld het gebruik van kleur voor sommige dozen en nummers voor anderen) in plaats van een verenigde regel.
• Afwijking in Gedrag:
  • Instructienaleving: LLM's hielden zich strikt aan de misleidende kleurafstemmingsinstructie bij de eerste proef, terwijl 21% van de kinderen onmiddellijk niet-kleurafstemmende combinaties testte.
  • Waarnemingskosten: LLM-PS-P-agenten observeerden systematisch alle dozen voordat ze hervatten, terwijl kinderen aanzienlijk varieerden in waarnemingsfrequentie, waarbij velen weinig of geen dozen observeerden. Dit suggereert dat kinderen impliciet informatie-waarde afwegen tegen cognitieve of sociale kosten die ontbreken in de LLM-setting.
• Backend Capabiliteit: Generalisatie naar de ware regel vereiste voldoende backend-capabiliteit (bijvoorbeeld GPT-5.2 slaagde met een enkel deeltje, terwijl zwakkere modellen zoals DEEPSEEK V3.2 faalden om de ware regel te ontdekken, zelfs onder volledige waarneembaarheid).

Betekenis en Claims

Het artikel claimt een gecontroleerd kader te bieden voor het evalueren van inductieve inferentie onder onzekerheid over menselijke en kunstmatige agenten. De primaire betekenis ligt in:

1. Brug slaan tussen Cognitiewetenschap en AI: Het toont aan dat LLM's kunnen dienen als geldige "modelorganismen" voor de cognitiewetenschap, waardoor systematische manipulatie van omgevingsvariabelen mogelijk is die moeilijk te bereiken is met menselijke proefpersonen.
2. Begrip van Benaderende Inferentie: De studie benadrukt dat succesvolle taakvoltooiing niet noodzakelijkerwijs de ontdekking van de ware onderliggende regel impliceert. Zowel kinderen als LLM's kunnen "benaderende" hypothesen gebruiken die uiteenlopende oorzaken integreren om directe problemen op te lossen, wat kan dienen als een stapsteen voor latere unificatie.
3. Inductieve Bias: De resultaten suggereren dat hoewel kinderen en LLM's zich op vergelijkbare wijze aanpassen aan de omgevingsstructuur, hun informatiezoekgedrag wordt gevormd door verschillende onderliggende kosten en priors. Kinderen lijken te opereren met een bredere prior en impliciete kosten voor waarneming, terwijl LLM's een bias vertonen naar gestructureerde, kleine hypothese-ruimten en strikte instructienaleving.

De auteurs merken bescheiden op dat hun interpretatie van LLM-gedrag indirect blijft, aangezien ze niet definitief bewijzen dat LLM's expliciete hypothese-representaties onderhouden of likelihood-gebaseerde updates uitvoeren versus retrieval. Ze suggereren dat toekomstig werk mechanische interpretabiliteit kan gebruiken om deze mogelijkheden te onderscheiden en verder onderzoek te doen naar de "subjectieve betrouwbaarheid" en regel-priors van LLM's.