Technische Samenvatting: MindClaw

Probleemstelling

Huidige Theory of Mind (ToM) benchmarks hebben de herkenning van mentale toestanden in tekst en multimodale domeinen geavanceerd, maar behandelen ToM grotendeels als een offline vraag-en-antwoordtaak of een labelvoorspellings-taak. Deze bestaande formuleringen falen in het testen of een belichaamde agent in staat is om verbonden te blijven met een veranderende omgeving, actor-specifieke overtuigingen over de tijd heen bij te werken, te beslissen wanneer redeneren noodzakelijk is, en te interveniëren alleen wanneer assistentie werkelijk nuttig is.

In real-world mensgerichte omgevingen kan een assistent die standaard handelt, ontrichtend of schadelijk zijn. De kernuitdaging is niet enkel het afleiden van de overtuigingen, verlangens en intenties (het Belief–Desire–Intention ofwel BDI-framework) van een mens, maar het bepalen van de precieze timing voor interventie. Een agent moet onderscheid maken tussen scenario's waarin een mens normaal vordert (geen actie vereist) en scenario's waarin een mens handelt onder invloed van een valse overtuiging of een verborgen doel (minimale, behulpzame interventie vereist). Bestaande robot-gecentreerde frameworks zoals MindPower zijn bewogen naar actiegeneratie, maar opereren nog steeds primair als statische, finale-fase besluitvormingsprocessen in plaats van real-time, closed-loop cognitieve controlesystemen.

Methodologie

De auteurs stellen MindClaw voor, een framework dat robot-gecentreerde ToM-redenering uitbreidt van statische hiërarchie-voltooiing naar een real-time, closed-loop setting gericht op precisie-interventie. Het systeem is ontworpen om verbonden te blijven met een uitvoerbare omgeving (bijv. VirtualHome, ThreeDWorld, of statische video-replays) en dynamisch te beslissen of het de geheugen moet bijwerken, moet redeneren, moet handelen, of stil moet blijven.

Architectuur

MindClaw bestaat uit drie primaire lagen:

1. Input Interface: Accepteert multi-source inputs inclusief statische video's, live simulator-streams en menselijke controle-events, en normaliseert deze naar een gemeenschappelijke window-representatie.
2. Claw Layer (Control): Het kerncontrolemechanisme dat de online status beheert en de interactieloop orkestreert. Het bevat:
   • Engine: Beheert de runtime-loop, waarbij wordt gewaarborgd dat observatie voorafgaat aan trigger-beslissingen.
   • Adapter: Converteert diverse inputbronnen naar een canoniek formaat voor de redeneerlaag.
   • Memory: Slaat een belief table op die visueel gegronde feiten scheidt van actor-specifieke overtuigingen (bijv. actor_beliefs[actor][object] → locatie). Dit stelt het systeem in staat om mismatches tussen de realiteit en de mentale staat van een actor te detecteren.
   • Trigger: Een belichaamde cognitieve vaardigheid die beslist over de volgende interne operatie ($z_t$) op basis van de huidige observatie, het geheugen en kandidaat-slots.
3. Reasoning Layer (Model-Based Services): Biedt drie modulaire capaciteiten:
   • Observation: Extraheert gestructureerde beschrijvingen van de scène.
   • Mental Reasoning: Wordt alleen aangeroepen wanneer de trigger besluit, dit module leidt af of een actor handelt onder invloed van een valse overtuiging of een verborgen doel en bepaalt of interventie gerechtvaardigd is.
   • Action Generation: Converteert resultaten van redeneren naar uitvoerbare robotacties of een "none" (noop) commando.

De Trigger als een Belichaamde Cognitieve Vaardigheid

De centrale innovatie is het formuleren van de trigger als een vaardigheid die tussenliggende cognitieve operaties selecteert in plaats van video direct naar robotacties te mappen. De operatieruimte omvat:

• Het bijwerken van visuele feiten of actor-overtuigingen.
• Het uitvoeren van mentale redenering.
• Het uitvoeren van actiegeneratie.
• Noop: Expliciet kiezen om niets te doen.

De trigger wordt geïmplementeerd als een skill-conditioned policy ($\pi_\theta$) die de beslissing factoriseert in operatie-selectie (wat te doen) en slot grounding (wie/wat/waar).

Skill Collection en Inferentie

Om de trigger te optimaliseren, verzamelen de auteurs "belichaamde cognitieve vaardigheden" uit gepaarde correcte en incorrecte trajecten. Een sterk LLM vat deze samen in herbruikbare beslissingspatronen (regels), gecategoriseerd als:

• Sterk Gevoorkeurd ($S^+$): Deterministische condities (bijv. regex matches) die een specifieke operatie afdwingen.
• Gevoorkeurd ($S^\pm$): Condities die een operatie suggereren maar modeloordeel vereisen.
• Negatief ($S^-$): Condities die een operatie uitsluiten.

Tijdens inferentie past het systeem eerst deterministische matching toe voor sterke regels. Als er geen sterke regel van toepassing is, voorspelt een skill-augmented trigger model de operatie met behulp van de resterende voorkeurs- en negatieve condities.

Belangrijkste Bijdragen

1. Closed-Loop Extensie: Het werk breidt robot-gecentreerde ToM-redenering uit van finale-fase beslissingsgeneratie naar een real-time closed-loop setting waar de agent de staat bijhoudt en terugwerkt in een veranderende omgeving.
2. Precisie-interventie: Het stelt precisie-interventie vast als het centrale objectief: de robot moet behulpzame acties genereren alleen wanneer dat nodig is en anders stil blijven, om ontrichtende of onnodige hulp te vermijden.
3. Cognitieve Trigger Skill: De trigger wordt geformuleerd als een belichaamde cognitieve vaardigheid die tussenliggende operaties selecteert over observatie, belief memory en scène-kandidaten. Dit maakt expliciete controle mogelijk over de timing van geheugenupdates, redenering en actiegeneratie.

Experimentele Resultaten

Het framework werd geëvalueerd op de MindPower Benchmark, die 590 video-tekst voorbeelden bevat met betrekking tot correctie van valse overtuigingen en impliciete doelinferentie.

• Baselines: Directe Video-Language Models (VLMs) hadden aanzienlijke moeite met taakbewustzijn (Task Accuracy, TA) en interventie-kalibratie (Precision Intervention Accuracy, PIA). Veel baselines behaalden een bijna nul TA, wat wijst op een falen om relevante mentale-staat contexten te identificeren.
• MindClaw Prestaties: MindClaw behaalde de beste algehele prestaties, waarbij het de directe baselines aanzienlijk overtrof in zowel TA (14.36% vs. <2% voor de meeste baselines) als PIA (36.63% vs. <20% voor de meeste baselines).
• Closed-Loop Satisfactie: MindClaw behield een 100% Closed-loop / Action Satisfaction (CS) score, wat aantoont dat verbeterde timing en precisie niet ten koste gingen van de geldigheid van de actie.
• Ablatie Studies:
  • Belief Table: Het verwijderen van de expliciete belief table veroorzaakte een drastische daling in prestaties (bijv. Qwen3-4B TA daalde van 9.51% naar 1.64%), wat de noodzaak van actor-specifiek geheugen bevestigt.
  • Skill Guidance: Het verwijderen van de skill-gebaseerde regels verminderde de nauwkeurigheid aanzienlijk. Het combineren van supervised fine-tuning met skill guidance leverde de hoogste non-noop nauwkeurigheid op (64.14%), wat bewijst dat skills essentiële gestructureerde tussenliggende kennis bieden voor besluitvorming.

Betekenis en Claims

Het artikel claimt dat MindClaw de cruciale belangrijkheid van trigger-skill optimalisatie demonstreert voor closed-loop belichaamde ToM-assistentie. Door interne cognitieve controle (de trigger) te ontkoppelen van extern robotgedrag, kan het systeem effectief de afweging tussen behulpzaamheid en intrusiviteit beheren.

De auteurs benadrukken dat echte belichaamde assistentie niet gelijk staat aan altijd een actie produceren. Het vermogen om stil te blijven wanneer een mens in lijn is met de omgeving, en te interveniëren precies wanneer een mismatch bestaat, is een fundamentele capaciteit voor nuttige interactieve helpers. MindClaw biedt een framework waar de agent expliciet redeneert over wanneer te redeneren en wanneer te handelen, waarmee het verder gaat dan eenvoudige mentale-staat herkenning naar gekalibreerde, precisie-interventie.