💻 computer science

AutoToM: Scaling Model-based Mental Inference via Automated Agent Modeling

AutoToM is een geautomatiseerd framework dat Theory of Mind-redeneren verbetert door agentmodellen iteratief te verfijnen via Bayesiaanse inverse planning geleid door inferentie-onzekerheid, waardoor het schaalbare, robuuste en interpreteerbare mentale inferentie bereikt die bestaande methoden over diverse benchmarks heen overtreft.

Oorspronkelijke auteurs: Zhining Zhang, Chuanyang Jin, Mung Yao Jia, Shunchi Zhang, Tianmin Shu

Gepubliceerd 2026-01-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhining Zhang, Chuanyang Jin, Mung Yao Jia, Shunchi Zhang, Tianmin Shu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mysteriefilm kijkt. Een personage, laten we haar Sally noemen, verstopt een appel in een doos. Dan komt een ander personage, Anne, binnen en verplaatst de appel naar een mandje. Sally ziet dit niet gebeuren.

Als je vraagt: "Waar denkt Anne dat de appel is?", weet een slim mens direct: Anne denkt dat hij in het mandje zit omdat zij zag dat hij bewoog. Maar als je vraagt: "Waar denkt Sally dat de appel is?", moet je een mentale omschakeling maken. Je moet je herinneren dat Sally de verplaatsing niet heeft gezien, dus denkt zij nog steeds dat de appel in de doos zit.

Dit vermogen om te begrijpen wat anderen denken, geloven of willen — vooral wanneer hun gedachten afwijken van de werkelijkheid — wordt Theory of Mind (ToM) genoemd. Het is de superkracht die ons in staat stelt om samen te werken, te liegen, grappen te maken en elkaar te helpen.

Het artikel introduceert een nieuw AI-systeem genaamd AutoToM dat probeert deze superkracht te beheersen. Hier is hoe het werkt, eenvoudig uitgelegd.

Het Probleem: Twee Gebrekkige Benaderingen

Vóór AutoToM probeerde AI deze puzzels op twee manieren op te lossen, die beide grote tekortkomingen hadden:

De "Onderbuikgevoel"-benadering (LLM's): Large Language Models (zoals de AI waar je nu mee praat) lezen simpelweg het verhaal en raden het antwoord op basis van patronen. Het is als een student die een toets maakt door te gokken op basis van hoe de vraag klinkt. Soms hebben ze het goed, maar vaak raken ze in de war door lange verhalen of lastige logica, wat leidt tot "systematische fouten".
De "Rigide Blauwdruk"-benadering (Model-gebaseerd): Andere onderzoekers bouwden strikte, wiskundige regelboeken (zoals een stroomdiagram) om de AI te dwingen stap voor stap te denken. Dit is zeer nauwkeurig, maar het is alsof je een kaart van New York City probeert te gebruiken om door een dorp in Japan te navigeren. Je moet handmatig voor elk afzonderlijk verhaal een nieuwe kaart bouwen, wat traag is en niet werkt voor nieuwe situaties.

De Oplossing: AutoToM (De "Adaptieve Architect")

AutoToM is een hybride. Het combineert de flexibiliteit van een slimme gokker met de betrouwbaarheid van een regelboek, maar het doet iets unieks: het bouwt on the fly zijn eigen regelboek.

Beschouw AutoToM als een detective die voor elk nieuw mysterie een op maat gemaakt dossier samenstelt.

Hoe AutoToM Werkt (De 3-stappenlus)

1. De Initiële Schets (Voorstel)
Wanneer AutoToM een verhaal krijgt, leest het niet alleen; het vraagt zich af: "Welke mentale variabelen heb ik nodig om dit op te lossen?"

Analogie: Stel je voor dat je een legpuzzel krijgt. In plaats van te proberen de stukjes bij elkaar te dwingen, kijk je eerst naar de afbeelding op de doos en schets je een ruwe opzet van hoe de stukjes mogelijk eruitzien.
AutoToM gebruikt een Large Language Model om een eenvoudig "mentaal model" voor te stellen (een diagram van wie wat weet, wat ze willen en wat ze zien).

2. De Stress-test (Bayesiaanse Inferentie)
Zodra het een schets heeft, draait het een simulatie. Het vraagt: "Als dit mentale model waar is, verklaart het dan de acties die we in het verhaal zagen?"

Analogie: Dit is als een weervoorspeller die een simulatie draait. "Als het winderig en vochtig is (het model), zal het dan regenen (de actie)?"
Als de simulatie overeenkomt met het verhaal, geweldig! Als de wiskunde een mismatch laat zien (bijv. het model zegt dat het personage de appel zou moeten hebben zien bewegen, maar het verhaal zegt dat ze dat niet deden), dan weet het systeem dat het model fout is.

3. De Reparatieploeg (Model Aanpassing)
Dit is het magische deel. Als de eerste schets faalt, geeft AutoToM niet op. Het repareert automatisch zijn eigen blauwdruk.

Variabele Aanpassing: Misschien is vergeten een "Doel" op te nemen. Het voegt een "Doel"-variabele toe aan het diagram en probeert het opnieuw.
Tijd Aanpassing: Misschien keek het alleen naar de laatste zin van het verhaal. Het realiseert zich dat het het hele verhaal moet bekijken, dus voegt het meer "tijdstappen" toe aan het model.
Het blijft de blauwdruk bijstellen (het toevoegen van overtuigingen, doelen of tijdstappen) totdat de wiskunde het verhaal perfect verklaart.

Waarom Dit Er Toe Doet (De Resultaten)

Het artikel testte AutoToM op vijf verschillende "mysterie"-benchmarks, variërend van eenvoudige verhalen tot complexe scenario's met meerdere personages en video-inputs.

De Giganten Verslaan: AutoToM presteerde beter dan de grootste, slimste AI-modellen van dit moment (zoals GPT-4o en DeepSeek-R1). Het gokte niet alleen; het redeneerde.
Menselijke Zekerheid: Wanneer mensen deze puzzels oplossen, voelen ze zich soms "vrij zeker" en soms "niet zo zeker". AutoToM kan dezezelfde vertrouwensniveaus produceren. Het weet wanneer het een gok doet en wanneer het een solide antwoord heeft.
Hulp in de Praktijk: De auteurs testten AutoToM in een scenario met robotassistentie. Stel je een robot voor die een mens probeert te helpen bij het koken. Door het doel van de mens te begrijpen (zelfs als de mens dit nog niet heeft uitgesproken), kon de robot 27% sneller helpen dan andere methoden. De robot volgde niet alleen bevelen; het begreep de intentie.

De Kernboodschap

AutoToM is een systeem dat niet alleen antwoorden uit het hoofd leert of rigide regels volgt. In plaats daarvan ontwerpt het automatisch het perfecte mentale model voor elke sociale situatie die het tegenkomt. Het bouwt een op maat gemaakte "theory of mind" voor elk verhaal, waardoor het in staat is om te begrijpen wat anderen denken, zelfs in complexe, verwarrende of gelaagde scenario's.

Het is het verschil tussen een student die het antwoordmodel uit het hoofd leert en een detective die leert hoe hij telkens weer vanaf nul een zaak opbouwt.

Technische Samenvatting: AutoToM: Schalen van Model-gebaseerde Mentale Inferentie via Geautomatiseerde Agent Modellering

Probleemstelling

Theory of Mind (ToM)—het vermogen om mentale toestanden (doelen, overtuigingen, verlangens) af te leiden uit geobserveerd gedrag—is cruciaal voor sociaal intelligente agenten. Huidige benaderingen kampen met een dichotomie:

Prompt-gebaseerde LLM's: Hoewel flexibel, zijn Large Language Models (LLM's) gevoelig voor systematische fouten in complexe, langdurige contexten of recursieve redeneerscenario's.
Model-gebaseerde Inferentie (Bayesian Inverse Planning - BIP): Deze methoden zijn robuust en interpreteerbaar, maar vertrouwen op rigide, handmatig ontworige agentmodellen. Ze missen generaliseerbaarheid omdat ze handmatige specificatie van mentale variabelen en causale structuren vereisen voor elk nieuw domein of scenario.

De kernuitdaging is het ontwikkelen van een verenigde, geautomatiseerde methode die robuuste, model-gebaseerde ToM-inferentie kan uitvoeren over diverse, open eindstaande domeinen zonder handmatige model engineering.

Methodologie: AutoToM

AutoToM is een framework dat de volledige pijplijn van Bayesian Inverse Planning (BIP) automatiseert door een LLM te gebruiken als computationele backend. Het bestaat uit twee iteratieve componenten:

1. Geautomatiseerde Bayesian Inverse Planning

Gegeven een specifiek agentmodel (gedefinieerd als een Bayesiaans netwerk van latente mentale variabelen $V$ en observeerbare variabelen $X$ ), voert AutoToM inferentie uit om $P(q|X)$ te schatten, waarbij $q$ de doelvariabele is voor de mentale toestand.

Hypothese Sampling: In plaats van een vaste hypotheseruimte aan te nemen, genereert een LLM een kleine, hoogwaardige set hypothesen voor elke latente variabele (bijv. mogelijke overtuigingen of doelen), geleid door de context en de query.
Hypothese Reductie: Spurieuze hypothesen worden gefilterd door lokale conditionele waarschijnlijkheden te evalueren (bijv. het verwerpen van observatiehypothesen met een lage waarschijnlijkheid gegeven de staat).
Bayesiaanse Inferentie: De LLM schat lokale conditionele waarschijnlijkheden (bijv. $P(actie | overtuiging, doel)$). Het systeem marginaliseert vervolgens over niet-doel gerichte latente variabelen om de posterieure distributie van de doelvariabele te berekenen. Dit ondersteunt willekeurige niveaus van recursief redeneren (bijv. I-POMDP's) zonder vooraf gedefinieerde structurele limieten.

2. Geautomatiseerde Ontdekking van Agentmodellen

Omdat de optimale structuur van het agentmodel a priori onbekend is, construeert en verfijnt AutoToM iteratief het model om een nutsfunctie $U(M, q) = R(M, q) - C(M)$ te maximaliseren, waarbij $R$ de negatieve entropie van de inferentie (vertrouwen) is en $C$ de computationele kosten (modelcomplexiteit).

Initiële Modelvoorstel: Een LLM stelt een minimaal initieel model voor dat alleen essentiële variabelen bevat, gebaseerd op de query en geëxtraheerde observeerbare variabelen ( $X$ ).
Model Aanpassing: Als het initiële nut onder een drempelwaarde ligt, past het systeem het model iteratief aan:
- Variabele Aanpassing: Introduceert nieuwe latente variabelen (bijv. overtuiging, doel, observatie, interactieve staat) bij specifieke tijdstappen om de onzekerheid in de inferentie op te lossen.
- Tijdstap Aanpassing: Breidt het contextvenster uit om eerdere tijdstappen ( $t_{s-1}$ ) op te nemen als de huidige context onvoldoende is.
Terminatie: De lus gaat door totdat het nut van het model een drempelwaarde overschrijdt of tot verdere significante verbetering niet meer mogelijk is.

Belangrijkste Bijdragen

Verenigde Formulering: Een formele definitie van model-gebaseerde ToM-inferentie die diverse BIP-instantiaties (MDP, POMDP, I-POMDT) verenigt in één enkel probabilistisch framework.
Geautomatiseerde Ontdekking van Agentmodellen: De eerste benadering die automatisch agentmodelstructuren ontdekt en verfijnt voor BIP, waardoor de noodzaak voor handmatige, domeinspecifieke modelspecificaties vervalt.
Schaalbaar en Robuust Framework: Een systeem dat in staat is om elke mentale variabele in elk domein te infereren, willekeurige recursieniveaus ondersteunt en zich aanpast aan complexe, multi-agent scenario's.

Experimentele Resultaten

AutoToM werd geëvalueerd over vijf diverse ToM-benchmarks (ToMi, BigToM, MMToM-QA, MuMA-ToM, Hi-ToM), klassieke cognitieve studies en embodied assistentietaken.

Benchmark Prestaties: AutoToM (met GPT-4o als backend) behaalde state-of-the-art resultaten over alle benchmarks en presteerde aanzienlijk beter dan:
- LLM's: Inclusief GPT-4o, Llama 3.1 70B en Gemini 2.0 Pro.
- Reasoning Modellen: Inclusief DeepSeek-R1 en o3-mini-high.
- Eerdere Model-gebaseerde Methoden: Presteerde beter dan BIP-ALM en LIMP, met name in generalisatie over domeinen en het afhandelen van lange contexten.
Robuustheid: AutoToM vertoonde een lagere volatiliteit dan grote reasoning modellen onder variërende condities (vraagtypen, contextlengte, aantal agenten, recursiediepte).
Cognitieve Alignement: In klassieke cognitieve studies (online doel-inferentie, food truck scenario's) vertoonden de posterieure distributies van AutoToM een hoge correlatie met menselijke vertrourens-oordelen, waarbij het baseline LLM's aanzienlijk versloeg in taken met partiële observeerbaarheid.
Embodied Assistance: In de Online Watch-And-Help (O-WAH) benchmark stelde AutoToM een helper-agent in staat om een versnelling van 27,7% in taakvoltooiing te bereiken, wat aanzienlijk beter was dan de random en GPT-4o baselines, dankzij een nauwkeurigere onzekerheidsschatting van de doelen van de hoofdagent.
Efficiëntie: AutoToM behaalde een hogere nauwkeurigheid met vergelijkbare of lagere tokenkosten en inferentietijden vergeleken met grote reasoning modellen.

Betekenis en Claims

De auteurs stellen dat AutoToM een schaalbaar, robuust en interpreteerbaar framework voor machine Theory of Mind vestigt. Door de ontdekking van agentmodellen te automatiseren, overbrugt de methode de kloof tussen de flexibiliteit van LLM's en de strengheid van model-gebaseerde inferentie.

Belangrijke claims zijn onder meer:

Generaliseerbaarheid: In tegen tegenstelling tot eerdere model-gebaseerde methoden die beperkt zijn tot specifieke domeinen, kan AutoToM worden toegepast op open eindstaande scenario's zonder handmatige herprogrammering.
Interpreteerbaarheid: De expliciete constructie van agentmodellen maakt diagnose van redeneerfouten mogelijk (bijv. het identificeren van ontbrekende variabelen of incorrecte tijdstappen) en ondersteunt human-in-the-loop feedback om modelbeslissingen te corrigeren.
Cognitieve Gronding: Het vermogen om menselijke vertrouws-schattingen te produceren suggereert dat de methode genuanceerde inferentiepatronen die in de menselijke cognitie worden gevonden, vastlegt.

Het artikel concludeert dat AutoToM een veelbelovende richting vertegenwoordigt naar cognitief gegronde ToM-modellering, hoewel het huidige beperkingen erkent in native multimodale verwerking en het potentieel voor impliciete modelvoorstellen om de inferentiekosten verder te verlagen.