A computational model of infant sensorimotor exploration in the mobile paradigm

Technische Samenvatting: Een Computationeel Model van Infantiele Sensorimotorische Exploratie in het Mobile-Paradigma

Probleemstelling
Het artikel behandelt de computationele mechanismen die ten grondslag liggen aan de infantiele sensorimotorische leerprocessen, specifiek binnen het "mobile-paradigma". In dit ontwikkelingspsychologische paradigma is een ledemaat van een baby verbonden met een mobiel dat boven een wieg hangt; baby's leren de contingentie (het verband) te detecteren tussen hun bewegingen van de ledemaat en de resulterende sensorische feedback (de beweging van de mobiel). Hoewel empirische studies hebben vastgesteld dat baby's (met name rond 5–6 maanden) zeer snel het "verbonden" ledemaat kunnen onderscheiden en de activiteit ervan kunnen verhogen, blijft het onderliggende cognitieve en neurale mechanisme onderwerp van debat. Eerdere computationele pogingen vertrouwden ofwel op eenvoudige operante conditionering zonder voorspellende capaciteiten (waardoor fenomenen zoals "extinctie-bursts" niet verklaard konden worden), of maakten gebruik van complexe informatie-theoretische benaderingen die als onpraktisch voor biologische hersenen werden beschouwd. Dit artikel stelt een gedetailleerd computationeel model voor om infanteel gedrag te repliceren, specifieke leermechanismen te testen en controversiële bevindingen te onderzoeken, zoals de extinctie-burst en het verschil tussen binaire en conjunctieve (niet-binaire) stimulatiecondities.

Methodologie
De auteurs ontwikkelden een op neurale netwerken gebaseerd model dat een baby simuleert die interacteert met een mobiel. Het model is gestoeld op twee leidende principes: (1) de baby probeert de sensorische uitkomsten van zijn acties te voorspellen (actie-uitkomst voorspelling), en (2) het motorische systeem is biologisch realistisch, gekenmerkt door redundantie en ruis.

• Architectuur: Het model bestaat uit vier hoofdmodules:

  1. Neuraal Netwerk: Een volledig verbonden netwerk met 5 inputneuronen (4 ledemaatactiviteiten + 1 sensorische feedback), 8 verborgen neuronen en 601 outputneuronen (600 voor spiercommando's + 1 voor sensorische voorspelling).
  2. Motorische Controle & Lichaam: De 600 spiercommando-neuronen worden gemapt naar vier ledematen met behulp van een populatiecode geïnspireerd door de menselijke anatomie. Deze mapping gebruikt een Beta-functie distributie om overlappende controle te creëren, waarbij sommige neuronen een sterke invloed hebben op een specifieke ledemaat, andere een gemiddeld effect hebben, en vele een verwaarloosbaar effect hebben. Motorische ruis (willekeurige waarden tussen -0,3 en 0,3) wordt toegevoegd aan de ledemaatactiviteiten om biologische variabiliteit te simuleren.
  3. Sensorische Feedback: De omgeving simuleert een mobiel die reageert op de "verbonden" ledemaat. Er worden twee condities getest: Binair (de mobiel activeert voor een vaste duur als de ledemaatactiviteit een drempelwaarde overschrijdt) en Conjunctief/Niet-binair (de intensiteit van de mobiel is evenredig aan de ledemaatactiviteit).
  4. Leermechanisme: Het netwerk wordt online getraind via backpropagation om een samengestelde Loss-functie te minimaliseren, bestaande uit drie termen:
     • Sensorische Voorspellingsfout: De Mean Squared Error (MSE) tussen de voorspelde en werkelijke sensorische feedback.
     • Exploratie-fout: Een MSE-term afgeleid van een "Interest Map" voor activiteit. Deze kaart houdt de "interesse" bij in verschillende bereiken van ledemaatactiviteit. Als een actie een sensorische voorspellingsfout oplevert die een "Nieuwigheidsdrempel" (0,1) overschrijdt, wordt de interesse in dat bereik op 1 gezet (hoge interesse). Als de voorspelling correct is, neemt de interesse af. Het netwerk wordt gestraft voor het niet bewegen richting hoge-interesse bereiken.
     • Afwijking van de Baseline: Een MSE-term die ervoor zorgt dat de ledemaatactiviteit nabij een voorkeursbaseline blijft, die geleidelijk toeneemt om groeiende prikkelbaarheid ("fussiness") te simuleren.

• Experimentele Opzet: Het model werd gedraaid voor 20 simulaties per conditie (Binair en Niet-Binair), wat overeenkomt met het aantal participanten in recente empirische studies (Popescu et al., 2022; Jacquey et al., 2021). Elke run omvatte een initialisatiefase van 1000 stappen, een contingente fase van 1200 stappen en een extinctiefase van 240 stappen (ontkoppeling).

Belangrijkste Bijdragen

1. Replicatie van Kernfenomenen: Het model repliceert succesvol de primaire empirische bevinding: de snelle differentiatie en selectieve toename van de activiteit van het "verbonden" ledemaat vergeleken met de onverbonden ledematen.
2. Contingentiegevoeligheid: Het model vertoont een hogere activiteit in de contingente condities vergeleken met de niet-contingente (willekeurige) controlegroepen, wat bevestigt dat het leermechanisme gevoelig is voor de causale link en niet enkel voor de aanwezigheid van stimulatie.
3. Binair vs. Conjunctief Effect: Het model reproduceert de empirische bevinding dat detectie van contingentie robuuster en sneller is in binaire condities dan in conjunctieve condities. De auteurs schrijven dit toe aan de grotere sensorische verandering per eenheid beweging in binaire condities, waardoor het "verbonden" ledemaat gemakkelijker te identificeren is.
4. Simulatie van Extinctie-burst: Het model vertoont incidenteel een "extinctie-burst" (een tijdelijke toename van activiteit bij ontkoppeling), wat de inconsistente observatie van dit fenomeen bij menselijke baby's weerspiegelt. De auteurs suggereren dat dit voortkomt uit de schending van voorspellende verwachtingen.
5. Ablatiestudies: Het artikel levert rigoureus bewijs voor de noodzaak van specifieke componenten:
   • Voorspelling: Het verwijderen van de voorspellingsfout-loss voorkomt dat het model de verbonden ledematen onderscheidt.
   • Exploratie: Het verwijderen van de op niewigheid gebaseerde versterkingscalculator elimineert de drang tot exploratie, waardoor leren wordt voorkomen.
   • Motorische Redundantie: Het verminderen van het aantal spiercommando-neuronen (van 600 naar 50 of 100) belemmert het vermogen om de verbinding te leren, wat suggereert dat hoogdimensionele motorische controle cruciaal is voor ontdekking.
   • Motorische Ruis: Zowel onvoldoende als excessieve motorische ruis remt het leren; een intermediair niveau (0,3) is optimaal om de nodige exploratie mogelijk te maken om de symmetrie tussen de ledematen te doorbreken.

Resultaten
De simulaties toonden aan dat het volledige model leert om de verbonden ledemaat te activeren binnen de eerste paar minuten van de simulatie, wat nauw aansluit bij het tijdsverloop van 6 maanden oude baby's.

• Specificiteit: In de contingente groep steeg de activiteit van de verbonden ledemaat significant boven die van de onverbonden ledematen. In de niet-contingente groep trad er geen dergelijke differentiatie op.
• Extinctie: Hoewel niet systematisch, kwamen extinctie-bursts voor in individuele simulatieruns, met name in de niet-binaire conditie, wat de hypothese ondersteunt dat dit gedrag voortkomt uit voorspellende mechanismen.
• Ablatie-uitkomsten: Modellen zonder voorspellingsfout of exploratiemechanismen slaagden er niet in te leren. Modellen met een gereduceerd aantal spiercommando-neuronen of ongepaste motorische ruisniveaus faalden in het consistent differentiëren van ledematen of vertoonden een hoge variabiliteit in leersucces.

Betekenis en Claims
De auteurs beweren dat hun model een "eerste poging tot een gedetailleerd computationeel model" van het mobile-paradigma is, dat actie-uitkomst voorspelling integreert met biologisch geïnspireerde motorische controle. De betekenis van het werk ligt in de demonstratie dat voorspellende mechanismen (specifiek actie-uitkomst voorspelling en niewigheid-gestuurde exploratie) essentieel zijn voor sensorimotorische contingentie-leren, in plaats van enkel eenvoudige versterking of operante conditionering.

De paper concludeert bescheiden dat hoewel het model de belangrijkste empirische bevindingen repliceert, het niet de volledige variabiliteit van menselijke baby's vangt (zowel tussen als binnen subjecten), waarschijnlijk door de uitsluiting van aandacht, sociale en omgevingsgerelateerde afleidingen. De ablatiestudies suggereren echter sterk dat de componenten die in het model zijn opgenomen — voorspelling, exploratie, motorische ruis en redundante motorische controle — waarschijnlijk essentiële ingrediënten zijn in de werkelijke ontwikkelingsmechanismen van baby's. Het model dient als startpunt voor verder onderzoek naar sensorimotorische leerprocessen en hun toepassing op robotica.