Technische Samenvatting: Volwassen Mensen en LLM's als Wetenschappers: Wie Profiteert van Actieve Exploratie?

Probleemstelling

Een hardnekkige bevinding in de causale leercultuur is dat volwassen mensen moeite hebben met het identificeren van conjunctieve causale regels (waarbij een effect de gelijktijdige aanwezigheid van meerdere oorzaken vereist, $A \land B$), en vaak terugvallen op disjunctieve regels (waarbij elke afzonderlijke oorzaak voldoende is, $A \lor B$). Deze "conjunctieve handicap" is traditioneel aangetoond met behulp van passieve observatieparadigma's, waarbij leerlingen een vaste sequentie van bewijs observeren zonder controle over hoe dat bewijs wordt gegenereerd.

De centrale vraag die dit artikel behandelt, is of deze bias persisteert wanneer volwassenen agency krijgen door middel van actieve exploratie. Specifiek onderzoeken de auteurs of het onvermogen om conjunctieve regels te infereren voortkomt uit een vaste beperking in causale competentie, of uit de beperkingen van passieve bewijspresentatie, die het voor leerlingen verhindert om de specifieke bewijslast te genereren en te evalueren die nodig is om hun priors bij te werken. Bovendien plaatst de studie de menselijke prestaties in een bredere computationele context door volwassen leerlingen te vergelijken met Large Language Models (LLMs) die optreden als algemene redeneeragenten in dezelfde actieve causale ontdekkingssetting.

Methodologie

Experimentele Taak: De "Nexiom Detector"

De auteurs ontwikkelden een eigen webgebaseerd platform, Nexiom Text Adventure, dat functioneel gelijkwaardig is aan het klassieke "blicket detector"-paradigma, maar gebruikmaakt van de nieuwe term "nexium" om voorkennis uit de gevestigde literatuur te minimaliseren.

• Opzet: Deelnemers interageren met een machine die wordt geactiveerd op basis van de aanwezigheid van specifieke objecten ("nexiums") en een onderliggende causale regel.
• Condities:
  1. Actieve Exploratie: Deelnemers selecteren vrij objecten, testen willekeurige combinaties en beslissen wanneer ze stoppen met exploreren om zowel de causale objecten als de regel (Conjunctief versus Disjunctief) te infereren.
  2. Passieve Observatie (Yoked Control): Deelnemers observeren de acties en testresultaten van een gekoppelde Actieve deelnemer zonder zelf interventies uit te voeren.
  3. Passieve Proposer: Een aanvullende conditie waarbij deelnemers hypothesen genereren en interventies voorstellen, maar de resultaten ontvangen die worden gegenereerd door een gematchte Actieve deelnemer. Dit isoleert of de voordelen voortkomen uit het plannen van interventies of uit het ontvangen van contingente feedback.

Deelnemers en Agenten

• Mensen: 306 volwassen deelnemers (leeftijd 22–35) geworven via Prolific. Zij werden toegewezen aan de condities Actief, Passief Observerend of Passief Proposer.
• LLM's: Zes modellen werden getest (gpt-5, gpt-5-mini, gemini-2.5-flash, deepseek-reasoner, o4-mini, deepseek-chat). Modellen kregen dezelfde actieruimte als mensen: sequentieel objecten toevoegen/verwijderen, combinaties testen en uitkomsten observeren.
• Ontwerp: Experimenten maakten gebruik van zowel Conjunctieve als Disjunctieve regelstructuren. De menselijke data omvatte 51 deelnemers per regeltype per conditie; LLM's ondergingen 24 trials per regeltype (48 trials totaal per model).

Evaluatiemetrieken

• Nauwkeurigheid: Binaire maten voor Objectidentificatie (exacte match van causale objecten), Regelinferentie (Conjunctief versus Disjunctief) en Volledige Hypothese-nauwkeurigheid (beide correct).
• Exploratieproces:
  • Cumulatieve Informatiewinst: Het kwantificeren van onzekerheidsreductie (in bits) over de tests heen.
  • Hypothese-pruning: Het bijhouden van het aantal resterende consistente hypothesen na elke test.
  • Efficiëntie: Aantal tests, acties en tijd per test.

Belangrijkste Bijdragen en Resultaten

1. Actieve Exploratie Overwint de Conjunctieve Handicap

In tegenstelling tot eerdere passieve studies, verbeterde actieve exploratie de prestaties van volwassenen aanzienlijk op conjunctieve causale regels.

• Nauwkeurigheid: Actieve volwassenen behaalden een hoge nauwkeurigheid bij het infereren van conjunctieve regels, wat aanzienlijk beter was dan die van passieve observeerders.
• Efficiëntie: Hoewel conjunctieve regels nog steeds meer tests vereisten om te infereren dan disjunctieve regels (Gemiddeld aantal tests: 9,6 versus 6,4 voor gemiddelde mensen), genereerden actieve volwassenen relatief kleine maar zeer informatieve sets van tests.
• Implicatie: De volwassen "conjunctieve handicap" weerspiegelt de beperkingen van passieve bewijspresentatie, en niet een vaste beperking in causale competentie. Actieve volwassenen vertoonden een flexibiliteit die vergelijkbaar is met die van jonge kinderen.

2. De Noodzaak van Contingente Feedback

Het experiment met de Passieve Proposer toonde aan dat het alleen plannen van interventies onvoldoende is.

• Deelnemers die interventies voorstelden maar de uitkomsten observeerden van de tests van iemand anders, presteerden even slecht als passieve observeerders (bijv. 0,12 objectidentificatie-nauwkeurigheid in conjunctieve settings versus 0,69 voor Actieve Explorers).
• Conclusie: De voordelen van actieve exploratie hangen kritisch af van de strakke koppeling tussen zelfgegenereerde interventies en hun contingente uitkomsten.

3. LLM-prestaties versus Menselijke Prestaties

• Disjunctieve Regels: Verschillende state-of-the-art modellen (bijv. gpt-5, deepseek-reasoner) benaderden of evenaarden de prestaties van de best presterende mensen. Disjunctieve omgevingen lijken gemakkelijker op te lossen zodra agenten actief informatieve interventies kunnen genereren.
• Conjunctieve Regels: Er ontstonden significante prestatiekloven. Terwijl top-presterende mensen een perfecte nauwkeurigheid bereikten, vertoonden veel LLM's (inclusclusief kleinere of minder gestructureerde modellen) een duidelijke achteruitgang. Zelfs sterke reasoning-georiënteerde modellen bleven over het algemeen achter bij de top menselijke prestaties in conjunctieve settings.
• Exploratiestrategieën:
  • Mensen: Top-presterende mensen convergeerden snel naar gerichte multi-object interventies om de hypotheseruimte te verkleinen (pruning).
  • LLM's: Hoewel sommige modellen de complexiteit van interventies aanpasten, vertoonden ze vaak minder efficiënte exploratiestrategieën en vergelijkbare conjunctieve-disjunctieve prestatiekloven als mensen, zij het minder effectief gemitigeerd.
  • Foutpatronen: LLM's maakten vaak "bijna-fouten" (het verkeerd classificeren van een enkel causaal object), terwijl menselijke fouten heterogener waren.

4. Zoekefficiëntie en Informatiewinst

• Disjunctieve Settings: Zowel mensen als modellen cumuleerden snel informatie, waarbij de marginale nuttigheid na enkele tests bijna nul was.
• Conjunctieve Settings: Vereisten langere exploratietrajecten. Informatieve interventies bleven ook later in de sequentie verschijnen. Succesvolle ontdekking was geassocieerd met progressieve hypothese-pruning en adaptieve sequentiële zoekstrategieën.

Betekenis en Claims

Het artikel beweert dat volwassen causaal leren meer adaptief en flexibel is dan eerdere passieve paradigma's suggereerden. Het schijnbare falen in conjunctief redeneren komt niet door een onvermogen om complexe causale structuren te representeren, maar komt voort uit de interactie tussen sterke standaardheuristieken (die de voorkeur geven aan disjunctieve regels) en beperkte leeromgevingen.

Door volwassenen toe te staan als "wetenschappers" te fungeren — door te exploreren en hun eigen bewijs te genereren — onthult de studie vormen van causale competentie die passieve observatie maskeert. De bevindingen sluiten aan bij interventionistische verklaringen van causaal leren, wat suggereert dat causale kennis fundamenteel gaat over het begrijpen van hoe acties de wereld veranderen.

Verder suggereert de vergelijking met LLM's dat actieve interventie alleen onvoldoende is voor mensachtige causale ontdekking. Succesvol optreden hangt af van de kwaliteit, efficiëntie en informatieve waarde van de tests, met name in conjunctieve omgevingen. Hoewel sommige LLM's mensen kunnen evenaren op het gebied van hypothese-inferentie nauwkeurigheid, missen ze vaak de strategische test- en bewijselectiecapaciteiten die top menselijke explorers karakteriseren.

De studie concludeert dat de ontwikkelingsverschillen tussen kinderen en volwassenen mogelijk reflecties zijn van verschillen in de sterkte van standaardheuristieken en de bereidheid om overtuigingen te herzien, in plaats van fundamentele verschillen in causale redeneermechanismen. Wanneer zij worden voorzien van een omgeving die hypothese-gestuurde exploratie ondersteunt, vertoont het leren van volwassenen een vergelijkbare flexibiliteit als die van jongere kinderen.