📄 other

Semantic Visual Representations Emerge from Embodied Self-Supervised Learning

Dit artikel introduceert Embodied Self-Supervised Learning (E-SSL), een model dat temporele consistentie en sensorimotorische contingenties uit natuurlijke menselijke interactie benut om hoogwaardige semantische visuele representaties te genereren die bestaande modellen overtreffen, nauwer aansluiten bij de visuele cortex van preverbale kinderen, en nieuwe inzichten bieden in de oorsprong van de menselijke visuele ontwikkeling en stroomspecialisatie.

Oorspronkelijke auteurs: Arthur Aubret

Gepubliceerd 2026-07-27

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arthur Aubret

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De geheime GPS van het brein: Hoe beweging ons hels helpt zien

Stel je voor dat je probeert te leren hoe een "hond" eruitziet door naar één enkele, bevroren foto te staren. Je zou misschien de kleuren en de textuur van de vacht uit je hoofd leren, maar je zou de manier missen waarop zijn oren flapperen als hij rent of hoe zijn vorm verandert als hij zijn kop draait. Stel je nu voor dat je leert door echt om de hond heen te lopen, hem vanuit elke hoek te bekijken, en te voelen hoe je eigen lichaam beweegt om hem in het zicht te houden. Dit is het verschil tussen een statisch computerprogramma en een menselijke baby. Decennialang zijn wetenschappers in verwarring gebracht door een grote vraag: hoe leert het menselijk brein, met bijna geen leraar en geen tekstboeken, de wereld zo snel te begrijpen? We weten dat baby's niet alleen maar stilzitten; ze kruipen, reiken en rollen, en bewegen constant hun ogen en lichamen. Dit artikel onderzoekt het idee dat deze beweging niet slechts een bijproduct is van het leven — het is de eigenlijke sleutel die ons vermogen om te zien en objecten te begrijpen ontgrendelt.

De onderzoekers testen twee belangrijke ideeën die al een tijdje in de wetenschap rondwaren. Het eerste is Temporele Consistentie, wat een chique manier is om te zeggen: "dingen die dicht bij elkaar gebeuren in de tijd, zijn waarschijnlijk aan elkaar gerelateerd." Als je een rode bal ziet, en een seconde later zie je een rode bal op een iets andere plek, dan gaat je brein ervan uit dat het dezelfde bal is. Het tweede idee is Sensorimotorische Contingenties, wat de regel is dat "mijn acties veranderen wat ik zie." Als ik mijn hoofd naar links draai, verschuift de wereld naar rechts. Als ik een kopje oppak, verschijnt het handvat. Het artikel vraagt zich af: als we een computer leren om alleen te leren door video's te kijken van mensen die bewegen en rondkijken, gebruikmakend van slechts deze twee eenvoudige regels, zal hij dan leren zien als een mens? En nog belangrijker, zal hij leren zien als een baby die nog niet eens heeft leren praten?

De robot die leert door te "lopen"

Maak kennis met E-SSL (Embodied Self-Supervised Learning). Denk aan het als een digitale robothersenpan die geen leraar, geen tekstboek en zelfs geen taal heeft. In plaats van gevoed te worden met miljoenen gelabelde plaatjes zoals "dit is een kat" of "dit is een auto", krijgt deze robot 300 uur aan ruwe, eerstepersoons videobeelden die zijn opgenomen met brillen gedragen door echte mensen. Deze video's laten precies zien wat de mensen zagen, waar hun ogen naar keken, en hoe hun hoofd en lichamen bewogen.

De taak van de robot is om op eigen houtje de regels van de wereld te ontdekken. Hij gebruikt twee trucs. Ten eerste kijkt hij naar twee foto's die een fractie van een seconde uit elkaar liggen. Als het beeld niet veel is veranderd, gaat hij ervan uit dat het object hetzelfde is (Temporele Consistentie). Ten tweede kijkt hij naar hoe de mens zijn hoofd of ogen bewoog tussen die twee foto's in. Hij probeert te leren dat "wanneer ik mijn hoofd deze kant op beweeg, de wereld die kant op verschuift" (Sensorimotorische Contingenties). Het is als een kind dat leert dat als het ronddraait, de kamer met hem mee draait, maar als het alleen knippert, de kamer stil blijft staan.

Wat hebben ze gevonden?

De resultaten waren verrassend krachtig. Hoewel de robot nooit een enkel woord taal heeft gehoord en nooit een label heeft gezien dat vertelde wat een object was, begon hij een mentale kaart van de wereld op te bouwen die erg op die van een mens lijkt.

1. Het leerde objecten te herkennen (bijna net zo goed als volwassenen)
Toen de onderzoekers de robot testten met standaard plaatjesquizzen (zoals het identificeren van objecten in de ImageNet-1k dataset), had hij ongeveer 71% van de antwoorden goed. Dat is een enorme sprong vergeleken met andere "bio-geïnspireerde" computermodellen die proberen het brein na te bootsen maar geen beweging gebruiken. Hoewel het nog steeds ongeveer 20% achterloopt op een volledig volgroeide volwassene (die jaren aan taal en ervaring heeft), ligt het ver voor op de rest van de computermodellen. Het bewees dat je geen leraar nodig hebt om te leren wat een "mok" of een "hond" is; je hoeft alleen maar rond te bewegen en te kijken hoe dingen veranderen.

2. Het denkt als een baby
Hier wordt het echt interessant. De onderzoekers vergeleken de "hersenen" van de robot met de hersenen van echte baby's. Ze ontdekten dat de manier waarop de robot dingen ziet, veel beter overeenkomt met de hersenactiviteit van 9 maanden oude zuigelingen dan met die van volwassenen.

De "Vorm versus Textuur" Test: Baby's staan erom bekend dat ze leren objecten te herkennen op basis van hun vorm in plaats van hun kleur of textuur. Een rode bal en een blauwe bal zijn beide "ballen" voor een baby. De robot, nadat hij met beweging had geleerd, begon hetzelfde te doen. Hij leerde zich te concentreren op de vorm van een object, net als een peuter.
De Ontdekking van het "Handvat": De robot leerde dat als hij een handvat ziet, het waarschijnlijk een mok is, zelfs als hij nog niet de hele mok heeft gezien. Dit is een vaardigheid die bij menselijke kinderen rond de 1e levensjaar (18 maanden) naar voren komt, en de robot ontwikkelde dit simpelweg door te kijken naar bewegende mensen.

3. Beweging is het geheime ingrediënt
Het artikel voerde een fascinerend experiment uit om te zien waarom beweging belangrijk is. Ze simuleerden een "pop"-versie van de robot. In deze versie zag de robot dezelfde video's, maar de hoofdbewegingen waren door elkaar gehusseld of nep. De robot leerde niet zo goed.

Het "Laat Loper" Effect: Ze simuleerden ook een robot die pas begon te leren om zijn hoofd te bewegen nadat hij al een tijdje aan het trainen was. Het resultaat? De visie van de robot was slechter dan die van de robot die direct met bewegen begon. Dit suggereert dat het moment dat een menselijke baby begint te kruipen of lopen (locomotie) een kritiek "aha!"-moment is voor hun visie. Het is niet alleen dat ze meer zien; het is dat hun brein eindelijk hun eigen spiercommando's kan verbinden met wat ze zien, wat hun leren een enorme boost geeft.

4. De twee snelwegen van het brein
Ten slotte ontdekte het artikel iets over hoe de "hersenen" van de robot zichzelf organiseerden. Menselijke hersenen hebben twee belangrijke visuele snelwegen:

De Ventrale Stroom (het "Wat"-pad): Helpt ons te herkennen wat een object is (bijv. "Dat is een kat").
De Dorsale Stroom (het "Waar/Hoe"-pad): Helpt ons te begrijpen waar een object is en hoe we ermee kunnen interageren (bijv. "Ik moet die mok pakken").

De onderzoekers ontdekten dat de robot vanzelf zijn leren splitste in deze twee soorten paden, net zoals het menselijk brein dat doet. Het deel van de robot dat over "tijd" leerde (Temporele Consistentie), werd heel goed in het herkennen van objecten (Ventraal). Het deel dat over "beweging" leerde (Sensorimotorische Contingenties), werd heel goed in het begrijpen van ruimtelijke veranderingen en acties (Dorsaal). Dit suggereert dat deze twee verschillende paden in ons brein misschien niet vanaf de geboorte vastliggen, maar dat ze natuurlijk ontstaan uit de simpele handeling van het bewegen en het observeren van de veranderende wereld.

De kern van het verhaal

Dit artikel suggereert dat het geheim van het menselijk zicht niet alleen het hebben van een hoogwaardige camera (onze ogen) of een supercomputer (ons brein) is. Het is het feit dat we belichaamd zijn. We bewegen, we raken dingen aan en we veranderen ons perspectief. Door simpelweg door de wereld te bewegen en te kijken hoe onze acties veranderen wat we zien, leren onze hersenen vanzelf vormen te herkennen, objecten te begrijpen en het zicht te splitsen in "wat" en "waar".

Hoewel de robot nog niet zo slim is als een peuter van 3 jaar (die vormen nog beter kan generaliseren), bewijst het dat je geen taal of enorme datasets nodig hebt om te beginnen met het zien van de wereld. Je hoeft alleen maar in beweging te komen. Het suggereert dat het moment dat een baby begint te kruipen, hun brein een enorme upgrade geeft, waardoor een waas van kleuren verandert in een wereld van herkenbare, grijpbare objecten.

Technische Samenvatting: Semantische Visuele Representaties Ontstaan uit Belichaamde Zelf-Gesuperviseerde Leerprocessen

Probleemstelling

De principes die de ontwikkeling van het menselijke visuele waarnemingsvermogen aansturen, met name de verwerving van semantische objectherkenning met minimale supervisie, blijven slecht begrepen. Hoewel er hoogpresterende kunstmatige visiesystemen bestaan, vertrouwen deze op trainingsdata en mechanismen (bijv. agressieve cropping, masking) die drastisch verschillen van menselijk leren. Daartegenover staan bio-geïnspireerde modellen van het menselijk zicht, die vaak niet in staat zijn om rijke semantische herkenningsvermogens te vatten. Er bestaat een kritieke kloof in het begrijpen van hoe mensen de brug slaan tussen menselijk niveau prestaties en mensachtige leerprincipes. Specifiek is het onduidelijk of de statistische structuur van gelijktijdige visuele en motorische signalen tijdens belichaamde interactie voldoende is om de opkomst van mensachtige visuele representaties te drijven zonder expliciete semantische labels of taalinput.

Methodologie

De auteurs introduceren Embodied Self-Supervised Learning (E-SSL), een computationeel kader ontworpen om menselijk visueel leren te modelleren met behulp van twee kernonafhankelijke principes: Temporele Consistentie (TC) en Sensorimotorische Contingenties (SMC).

Data en Input

Het kader wordt getraind op Nymeria, een grootschalige dataset bestaande uit 300 uur natuurlijke, eerste-persoons (egocentrische) video opgenomen met hoofd-gemonteerde camera's (ARIA brillen). De dataset bevat:

Visuele Input: 224 × 224 crops gecentreerd op de bliklocatie van de deelnemer.
Motorische Signalen: Oogbewegingen (gaze translation) en hoofdbewegingen (rotatie en translatie afgeleid van IMU en eye-tracking).
Preprocessing: Paren van tijdelijk aangrenzende beelden ( $x_t, x_{t+\delta t}$ ) worden gesampled. Om diverse lichtomstandigheden te simuleren die consistent zijn over de tijd, worden identieke kleurtransformaties op beide beelden in een paar toegepast.

Leerdoelen

Het model leert via twee complementaire verliesfuncties, geïmplementeerd met standaard SSL-architecturen (MoCoV3, SimCLR, VICReg):

Temporele Consistentie (TC): Moedigt vergelijkbare embeddings ( $z_t, z_{t+\delta t}$ ) aan voor tijdelijk aangrenzende visuele inputs, uitgaande van het principe dat objecten en scènes stabiel blijven over korte tijdsintervallen.
Sensorimotorische Contingenties (SMC): Stemt een geparametriseerde bewegingsvector ( $m'_{t, t+\delta t}$ ) af met een embedding van de visuele transitie ( $m_{t, t+\delta t}$ ), die wordt afgeleid door de visuele representaties vóór en na de beweging te concateneren. Dit dwingt het model om de relatie te leren tussen motorische acties en hun visuele gevolgen.

Evaluatieprotocol

De geleerde representaties worden geëvalueerd via linear probing op een diverse set downstream taken, zonder aanvullende semantische labels tijdens de pre-training:

Object-/Scèneherkenning: ImageNet-1k, Cifar10, Places365.
Semantische/Instance Segmentatie: PascalVOC, DAVIS.
Dieptechatting (Depth Estimation): NYUv2.
Pose Estimatie: MVImgNet.
Ontwikkelingsbenchmarks: Few-shot herkenning van attributen (kleur, textuur, grootte) en vormkarikaturen om te vergelijken met pre-verbale kinderen.
Neurobiologische Uitlijning: Representational Similarity Analysis (RSA) tegen fMRI-data van de ventrale visuele cortex van zuigelingen (2 maanden, 9 maanden) en volwassenen.

Belangrijkste Bijdragen en Resultaten

1. Opkomst van Semantische Representaties

E-SSL, uitsluitend getraind op menselijke ervaring zonder taal of expliciete supervisie, bereikt een 71,04% Top-5 nauwkeurigheid op ImageNet-1k. Dit presteert aanzienlijk beter dan gevestigde bio-geïnspireerde modellen zoals Prednet (met maximaal 58,73%) en andere state-of-the-art ongesuperviseerde modellen (LPL, SH, SCFF), ondanks het feit dat laatstgenoemde werden geëvalueerd op in-distributie data terwijl E-SSL werd getraind op out-of-distribution egocentrische data. Het model verkleint de prestatiekloof met mensen tot ongeveer 10–20 procentpunten.

2. Uitlijning met Pre-verbale Ontwikkeling

De door E-SSL geleerde representaties vertonen eigenschappen die vergelijkbaar zijn met die van pre-verbale kinderen:

Attribuutprototypes: Het model slaagt erin betrouwbare prototypes te vormen voor kleur, textuur en grootte.
Vormbias (Shape Bias): Terwijl TC alleen een voorkeur voor textuurcodering heeft, versterkt de toevoeging van SMC de vormcodering, wat de ontwikkelingsverschuiving weerspiegelt bij peuters (rond 18 maanden) die beginnen met het prioriteren van vorm boven textuur.
Neurale Uitlijning: E-SSL-representaties vertonen een significant hogere correlatie met fMRI-data van de ventrale visuele cortex van 9-maanden oude zuigelingen ( $\rho = 0,289$ ) vergeleken met willekeurige baselines of Prednet, wat suggereert dat het de visuele geometrie van het zuigelingbrein vastlegt.

3. De Rol van Zelf-geïnduceerde Lokomotie

Experimenten die verschillende belichaamde condities simuleren, onthullen dat visuomotorische uitlijning cruciaal is:

Belichaamd vs. Poppenspel (Embodied vs. Puppet): Agenten met uitgelijnde motorische en visuele signalen ("Embodied") presteren consequent beter dan agenten met ongecorreleerde signalen ("Puppet").
Hoofdbeweging: Het verwijderen van hoofdbewegingssignalen belemmert het leren aanzienlijk, terwijl het verwijderen van oogbewegingssignalen een minder grote impact heeft.
Timing: Vroege toegang tot uitgelijnde visuomotorische signalen (simulatie van vroege lokomotie) levert betere prestaties op dan vertraagde uitlijning, wat voorspelt dat het begin van zelf-lokomotie de visuele waarneming substantieel verbetert.

4. Functionele Specialisatie (Ventraal vs. Dorsaal)

De studie toont aan dat TC en SMC van nature een functionele organisatie induceren die lijkt op de dual-stream architectuur van de menselijke visuele cortex:

Ventraal Pad (Semantisch): Taken zoals object- en scèneherkenning presteren het best met een intermediaire SMC-weging en intermediaire temporele schalen ( $\Delta T \approx 2s$ ).
Dorsaal Pad (Actie/Geometrie): Taken die ruimtelijk redeneren en pose-estimatie vereisen, profiteren van een sterkere SMC-weging en kortere temporele schalen ( $\Delta T \approx 0,2s$ ).
Gradiëntdivergentie: Gradiëntanalyse laat zien dat neuronen en gewichten betrokken bij het optimaliseren van TC en SMC in diepere netwerklagen progressief divergeren, wat de anatomische scheiding van de ventrale en dorsale paden weerspiegelt.

Betekenis en Claims

Het artikel stelt dat Temporele Consistentie en Sensorimotorische Contingenties fundamentele principes vormen die ten grondslag liggen aan de menselijke visuele ontwikkeling. De primaire betekenis van dit werk ligt in:

Het overbruggen van de kloof: Het aantonen dat bio-geïnspireerde leerprincipes, wanneer toegepast op grootschalige menselijke ervaring, semantische visuele representaties kunnen produceren die wedijveren met huidige bio-geïnspireerde modellen en de menselijke prestaties benaderen.
Ontwikkelingsinzichten: Het bieden van een computationeel kader om hypothesen over hoe specifieke ervaringen (bijv. het begin van lokomotie) de visuele ontwikkeling vormgeven, rigoureus te testen, waarbij wordt voorspeld dat zelf-geïnduceerde beweging zowel ruimtelijke als semantische leerprocessen faciliteert.
Neuroanatomische Oorsprong: Suggereren dat de functionele specialisatie van de ventrale en dorsale stromen kan voortkomen uit algemene ongesuperviseerde leerdynamieken (TC en SMC) in plaats van strikt gespecificeerd te zijn door aangeboren architecturale beperkingen.
Bio-geïnspireerde AI: Het aanbieden van een alternatief voor standaard machine learning-benaderingen die vertrouwen op kunstmatige transformaties, door voor te stellen dat de statistische structuur van belichaamde interactie een levensvatbare weg is naar robuust leren van visuele representaties.

De auteurs erkennen dat hoewel E-SSL de kloof verkleint, er een prestatieverschil blijft ten opzichte van menselijke peuters (met name in vormbias en abstracte vormherkenning), wat waarschijnlijk te wijten is aan de afwezigheid van taal, sociale interactie en het gebruik van volwassen in plaats van zuigelingdata voor de training.