Active Inference with a Self-Prior in the Mirror-Mark Task

Deze studie presenteert een computationeel model dat aantoont dat gedrag in de spiegel-markeringstest spontaan ontstaat door een 'zelf-prior' die, zonder externe beloning, discrepanties tussen de verwachte multisensorische ervaringen en een nieuwe markering detecteert en corrigeert via actieve inferentie.

De kern

Hoe een robotbaby zichzelf in de spiegel herkent (zonder dat iemand hem iets leert)

Stel je voor dat je een baby bent die net leert om zijn eigen lichaam te begrijpen. Je hebt nog geen woorden, geen instructies en niemand die tegen je zegt: "Kijk eens, daar is een vlek op je neus!" Je leert puur door te kijken en te voelen.

Deze paper vertelt het verhaal van een computersimulatie van zo'n baby. De onderzoekers hebben een slimme manier bedacht om te laten zien hoe een robot (of een baby) spontaan kan ontdekken: "Wacht eens, dat is mijn gezicht, en daar zit iets vreemds op!"

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het "Geheugen van het Normale" (De Zelf-Prior)

Stel je voor dat je hersenen een enorme fotoalbum hebben. Dit album bevat duizenden plaatjes van hoe jij eruitziet als je normaal bent: je gezicht, je armen, hoe je lichaam aanvoelt als je beweegt. Dit noemen de onderzoekers de "Zelf-Prior".

• De analogie: Het is alsof je hersenen een "standaardinstelling" hebben voor hoe jij eruit moet zien. Alles wat in dat album past, voelt vertrouwd en veilig. Alles wat niet in dat album past, voelt als een storing of een vreemde invloeding.

In dit experiment heeft de robotbaby eerst duizenden keren geoefend zonder stickers. Hij heeft geleerd hoe hij eruitziet in de spiegel en hoe zijn gewrichten aanvoelen. Zijn "geheugen" is nu gevuld met beelden van een plakvrije baby.

2. De Verrassing in de Spiegel

Nu komt het moment van de waarheid. De onderzoekers plakken een sticker op het gezicht van de robotbaby. De baby kijkt in de spiegel.

• Wat gebeurt er? De robot ziet zijn eigen gezicht, maar er zit iets vreemds op. Omdat dit niet past in zijn "geheugen van het normale" (het album met alleen maar plakvrije beelden), ontstaat er een storing.
• De reactie: De robot voelt zich ongemakkelijk. In de taal van de onderzoekers is er een grote "verschil" tussen wat hij ziet en wat hij verwacht. Zijn doel is simpel: die ongemakkelijke gevoelens weghalen. Hij wil terug naar de vertrouwde staat.

3. Actie zonder Beloning

Normaal gesproken leren robots dingen door beloningen (zoals een snoepje als ze iets goed doen). Maar deze robot krijgt geen snoepje.

• De motor: Zijn enige drijfveer is het wegnemen van die "storing". Omdat de sticker op zijn eigen gezicht zit (en hij ziet dat in de spiegel), is de enige manier om die storing weg te halen om zijn hand naar die sticker te bewegen en hem eraf te halen.
• Het resultaat: De robot reikt spontaan naar de sticker en plakt hem eraf. Hij doet dit in ongeveer 70% van de gevallen, puur omdat hij zijn "normale zelf" wil herstellen.

4. Waarom is dit zo speciaal?

Vroeger moesten onderzoekers complexe regels programmeren: "Als je een rode vlek ziet in de spiegel, bereken dan de coördinaten en beweeg je hand daarheen."

Deze nieuwe methode is slimmer en natuurlijker:

• Geen instructies: De robot weet niet eens dat er een sticker is. Hij weet alleen dat "dit voelt niet als ik".
• Verbinding van zintuigen: De robot leert dat wat hij ziet (in de spiegel) overeenkomt met wat hij voelt (zijn gewrichten bewegen). Hij bouwt een onzichtbaar "lichaamsplan" op. Als hij zijn arm beweegt en het beeld in de spiegel verandert, weet hij: "Dat is mijn arm."
• Zelfbewustzijn: Het is een eerste stap in het begrijpen van "wie ben ik?". De robot onderscheidt zichzelf (de vertrouwde staat) van "niet-zelf" (de sticker die niet hoort).

Samenvattend

De onderzoekers hebben bewezen dat je niet hoeft te leren wat "ik" is om jezelf te herkennen. Als je een goed geheugen hebt van hoe je normaal bent, en er gebeurt iets vreemds, dan probeer je dat van nature weg te halen.

Het is alsof je in de spiegel kijkt en denkt: "Hé, dat is niet mijn neus, dat is een vlek!" en je hand er automatisch naar uitsteekt. De robot doet precies hetzelfde, maar dan puur op basis van wiskunde en het verlangen om weer "normaal" te voelen.

De boodschap: Zelfbewustzijn hoeft niet ingewikkeld te zijn. Het kan ontstaan uit het simpele verlangen om de wereld weer vertrouwd en voorspelbaar te maken.

Technische samenvatting

Probleemstelling

De spiegel-self-herkennings-test (zoals de "roodtest" of het aanbrengen van een sticker) wordt traditioneel gebruikt als maatstaf voor zelfbewustzijn bij dieren en mensen. Het centrale vraagstuk in de computationele wetenschap is echter hoe een agent spontaan actie onderneemt om een markering op zijn eigen lichaam te verwijderen, uitsluitend gebaseerd op zijn eigen ervaringen, zonder externe beloningen of expliciete instructies.

Bestaande computationele modellen vertrouwen vaak op handmatig ontworpen modules die visuele afwijkingen omzetten in motorische commando's of op specifieke representaties voor het onderscheid tussen "zelf" en "ander". Deze benaderingen missen vaak een interne drijfveer die het gedrag spontaan genereert. De auteurs stellen de vraag of dit gedrag kan ontstaan uit een enkel intern principe dat de agent leert uit zijn eigen multisensorische ervaringen.

Methodologie

De auteurs presenteren een computationeel model dat Actieve Inference (gebaseerd op het vrije-energieprincipe) combineert met een Self-Prior (een zelf-prior) om spiegel-self-herkenning na te bootsen.

1. Simulatieomgeving:

• Een virtuele baby-agent (gebaseerd op het EMFANT-platform en MuJoCo) zit voor een spiegel.
• De agent heeft 12 vrijheidsgraden (nek, schouders, ellebogen) en ontvangt visuele input (RGB-beelden van één oog) en proprioceptieve input (gewelhoeken).
• Cruciaal: Er is geen tactiele feedback. De agent moet de sticker op zijn gezicht uitsluitend via visie en proprioceptie lokaliseren en verwijderen.

2. Modelarchitectuur:
Het model bestaat uit drie kernmodules:

• Wereldmodel: Een variatie op STORM (gebaseerd op DreamerV3) dat een wereldmodel leert door variatiele vrije energie te minimaliseren. Het comprimeert observaties (visie + proprioceptie) naar een discrete latente toestand $s_t$ en voorspelt toekomstige toestanden.
• Self-Prior: Een GPT-achtige Transformer die de dichtheid van de agent's "vertrouwde" multisensorische ervaringen in de latente ruimte leert. Deze prior is getraind op situaties zonder sticker. Hij fungeert als een interne norm voor wat "normaal" (zelf) is.
• Beleid (Policy) en Waarde-netwerken: Deze netwerken selecteren acties om de verwachte vrije energie (Expected Free Energy - EFE) te minimaliseren.

3. Het Actieve Inference Mechanisme:

• De agent leert een distributie van zijn eigen lichaam zonder sticker.
• Wanneer een sticker verschijnt, ontstaat er een discrepantie tussen de huidige observatie en de Self-Prior.
• De agent probeert deze discrepantie (en dus de vrije energie) te minimaliseren door acties te kiezen die de observatie terugbrengen naar een toestand die overeenkomt met de Self-Prior (d.w.z. een lichaam zonder sticker).
• Er is geen externe beloning; de drijfveer is intrinsiek: het verminderen van de onzekerheid/mismatch met het zelf-model.

Kernbijdragen

1. Spontane Zelfherkenning zonder Externe Beloning: Het model demonstreert dat markering-gericht gedrag (sticker verwijderen) kan ontstaan uit een enkel intern principe (de Self-Prior) zonder dat er een expliciet doel of externe beloning is opgelegd.
2. Self-Prior als Interne Criterium: De auteurs introduceren de "Self-Prior" als een computationele implementatie van een lichaamsschema. Deze prior leert de dichtheid van multisensorische patronen en fungeert als een criterium om "zelf" (bekend) te onderscheiden van "niet-zelf" (nieuw/afwijkend).
3. Cross-modale Associatie: Het model leert associaties tussen visie en proprioceptie zonder tactiele input. Het kan een visueel zelfbeeld reconstrueren puur op basis van gewelhoeken, wat aantoont dat het een probabilistisch lichaamsschema heeft opgebouwd.
4. Eind-tot-eind Leren: Het systeem werkt end-to-end op ruwe pixels en gewelhoeken, zonder handmatige feature-extractie of coördinaattransformaties voor het lokaliseren van de sticker.

Resultaten

• Sticker-verwijdering: De gesimuleerde baby verwijderde de sticker in ongeveer 70% van de gevallen.
• Verwachte Vrije Energie (EFE): Er was een significante daling in de verwachte vrije energie na het verwijderen van de sticker (gemiddeld van ~79 naar ~67). Dit bevestigt dat de Self-Prior fungeert als een interne maatstaf: de "sticker-toestand" heeft een hoge energie (ongewenst), terwijl de "zonder-sticker-toestand" een lage energie heeft.
• Leercurve: Zelfs voordat het succespercentage 50% bereikte, nam de afstand tussen hand en sticker gestaag af, wat suggereert dat de agent de sticker al herkende en erop af bewoog voordat de motorische vaardigheid volledig perfect was.
• Kwalitatieve Validatie: Samples uit de Self-Prior tonen een lichaam zonder sticker. Wanneer een latente toestand met een sticker door de prior wordt gereconstrueerd, verdwijnt de sticker, wat aantoont dat de prior de voorkeur geeft aan een sticker-vrije staat.

Betekenis en Discussie

• Theoretische Implicatie: Dit onderzoek biedt een computationeel bewijs dat het vrije-energieprincipe kan dienen als een verenigende hypothese voor de oorsprong van zelfbewustzijn. Het suggereert dat zelfherkenning niet noodzakelijk complexe cognitieve redenering vereist, maar kan ontstaan uit het minimaliseren van sensorische verrassing ten opzichte van een geleerd zelf-model.
• Ontwikkelingspsychologie: Het model komt overeen met Niveau 3 (identificatie) in Rochat's hiërarchie van zelfbewustzijn. Het implementeert de kern van de inductieve theorie van spiegelherkenning (visueel-kinesthetische matching) zonder de deductieve elementen (objectpermanentie) te vereisen.
• Beperkingen:
  • Het model is gesimuleerd; validatie op echte robots ontbreekt nog.
  • Het succespercentage plateauert rond de 70%, deels door fysieke beperkingen van het simulatielichaam en visuele obstructies.
  • Er is geen tactiele input geïntegreerd, terwijl studies suggereren dat dit de leercurve bij zuigelingen kan versnellen.

Conclusie:
Het artikel toont aan dat een agent, geleid door een Self-Prior die de dichtheid van zijn eigen ervaringen modelleert, spontaan gedrag vertoont dat kenmerkend is voor zelfherkenning. Dit biedt een krachtig, minimalistisch computationeel raamwerk om te begrijpen hoe zelfbewustzijn kan ontstaan uit de interactie tussen perceptie, actie en interne modellen, zonder de noodzaak van complexe, handmatig ontworpen cognitieve modules.