📊 statistics

Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration

Dit artikel toont aan dat robotagenten die gebruikmaken van nieuwsgierigheidgestuurde actieve inferentie efficiënt taal-actie-associaties kunnen verwerven door middel van zelfexploratie, waarbij zij belangrijke ontwikkelingspatronen die bij mensen worden waargenomen, zoals compositionele generalisatie, versneld leren en U-vormige prestatiecurven, repliceren.

Oorspronkelijke auteurs: Theodore Jerome Tinker, Kenji Doya, Jun Tani

Gepubliceerd 2026-06-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Theodore Jerome Tinker, Kenji Doya, Jun Tani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een robot voor die niet leert door een handleiding te volgen, maar door te handelen als een nieuwsgierig peuter: het probeert dingen uit, maakt fouten en raakt enthousiast wanneer het iets nieuws ontdekt. Dit is de kern van het onderzoekspapier "Curiosity-Driven Development of Action and Language in Robots Through Self-Exploration."

Hier is een eenvoudige uiteenzetting van wat de onderzoekers hebben gedaan en gevonden, gebruikmakend van alledaagse analogieën.

De Grote Vraag

Menselijke baby's zijn verbazingwekkende leerlingen. Ze kunnen leren hoe ze taal gebruiken en hun lichaam bewegen met heel weinig oefening. In contrast hiermee hebben moderne AI (zoals de chatbots die je misschien kent) miljarden boeken nodig om vergelijkbare dingen te leren. De onderzoekers wilden weten: Hoe leren mensen zo efficiënt met zo weinig data?

Ze bouwden een robot om te testen of "nieuwsgierigheid" het geheime ingrediënt is.

De Robot en Zijn Speeltuin

De onderzoekers creëerden een gesimuleerde robot die een beetje lijkt op een kleine vrachtwagen met een arm. Hij leeft in een digitale wereld vol kleurrijke objecten (zoals rode pilaren, blauwe dumbbells en groene palen).

Het doel van de robot is om naar een "commando-stem" te luisteren (zoals "Duw de rode pilaar") en dit ook daadwerkelijk te doen. Maar hier komt de twist: de robot krijgt niet precies verteld hoe hij dat moet doen. Hij moet zelf uitzoeken welke wielen hij moet draaien en hoe hij zijn arm moet bewegen om het doel te bereiken.

Het Geheime Recept: Nieusgierigheid als Beloning

Meestal worden robots alleen beloond wanneer ze slagen (bijv. "Goed gedaan, je hebt het blokje geduwd!"). Maar deze robot heeft een speciale interne drang genaamd nieuwsgierigheid.

Denk aan een kind dat een nieuwe kamer verkent:

Saai: Als de robot iets doet wat hij al weet, krijgt hij een klein "vervelingssignaal".
Opwindend: Als de robot iets nieuws probeert en een resultaat ziet dat hij niet verwachtte (zoals een nieuwe hoek of een ander geluid), krijgt hij een enorme "nieuwsgierigheidsbeloning".

De robot zegt in feite: "Ik wil meer leren over hoe de wereld werkt!" Dit drijft hem ertoe om op eigen initiatief de omgeving te verkennen, zelfs wanneer hij nog niet probeert een specifieke puzzel op te lossen.

Wat Zij Ontdekten

De onderzoekers draalden duizenden simulaties en vonden vijf belangrijke zaken die spiegelen aan hoe menselijke kinderen leren:

1. Meer Woorden = Beter Leren (Het "Woordenschat"-effect)

De Bevinding: Wanneer de robot een grotere set woorden werd aangeleerd (meer werkwoorden, kleuren en objecten), werd hij veel beter in het begrijpen van nieuwe zinnen die hij nog nooit eerder had gehoord.
De Analogie: Stel je voor dat je een kind leert bouwen met blokken. Als je ze alleen rode blokken geeft, kunnen ze alleen rode torens maken. Maar als je ze rode, blauwe en groene blokken geeft, beseffen ze snel: "Oh, ik kan elke kleur stapelen!" De robot leerde dat taal bestaat uit onderdelen (zoals Lego-steentjes) die gemengd en gecombineerd kunnen worden.

2. Nieusgierigheid Versnelt het Leren

De Bevinding: Robots met de "nieuwsgierigheid"-instelling leerden veel sneller dan robots zonder deze instelling. Zonder nieuwsgierigheid leerde de robot de taken uiteindelijk wel, maar duurde het twee keer zo lang.
De Analogie: Een student die zich verveelt in de klas, wacht misschien gewoon tot de leraar het antwoord geeft. Een nieuwsgierige student stelt vragen, probeert verschillende methoden uit en begrijpt het veel sneller. De nieuwsgierigheid van de robot fungeerde als die enthousiaste student.

3. Rote Leren Komt Eerst

De Bevinding: In het begin kon de robot alleen precies doen wat hem eerder was verteld. Hij kon niet generaliseren. Pas na veel oefening begon hij de regels te begrijpen en toe te passen op nieuwe situaties.
De Analogie: Dit is als een baby die leert "Mama" te zeggen voor zijn moeder. In het begin zeggen ze het misschien alleen voor hun moeder. Later realiseren ze zich dat het woord "Mama" ook op andere mensen van toepassing is. De robot volgde hetzelfde pad: eerst specifieke commando's onthouden, en daarna de algemene regels begrijpen.

4. Simpele Bewegingen Voor Complexe Bewegingen

De Bevinding: De robot leerde eenvoudige acties (zoals "kijken" of "vooruit duwen") voordat hij complexe acties leerde (zoals "naar links duwen" of "naar rechts duwen").
De Analogie: Net zoals een kind eerst leert lopen voordat het leert dansen, beheerste de robot de makkelijke bewegingen voordat hij de lastige, gecoördineerde bewegingen aanpakte.

5. De "U-vormige" Leerkromme (De Foutenfase)

De Bevinding: Wanneer de onderzoekers een "truc" introduceerden (het wisselen van de betekenis van twee commando's), verslechterde de prestatie van de robot voordat deze verbeterde. De robot begon eerst het juiste te doen, begon toen fouten te maken door een regel te overmatig toe te passen, en begreep uiteindelijk de uitzondering.
De Analogie: Dit is precies wat er gebeurt bij kinderen die Engelse grammatica leren. Ze leren "I walked" (correct). Daarna leren ze de regel "voeg -ed toe voor de verleden tijd" en zeggen ze "I goed" (een fout). Uiteindelijk leren ze de uitzondering en zeggen ze weer "I walked". De robot ging door deze zelfde "U-vormige" curve, wat bewees dat hij zijn interne begrip aan het reorganiseren was, en niet alleen aan het memoriseren was.

De Conclusie

Het paper suggereert dat nieuwsgierigheid een krachtige motor voor leren is. Door een robot zijn wereld te laten verkennen en hem te belonen voor het ontdekken van nieuwe dingen, ontwikkelt de robot van nature het vermogen om complexe taal te begrijpen en met uitzonderingen om te gaan, net zoals een menselijk kind dat doet.

De onderzoekers benadrukken dat dit een vereenvoudigd model is. Echte menselijke baby's hebben jarenlange sociale interactie en fysieke ontwikkeling nodig voordat ze beginnen te praten. Deze studie laat echter zien dat zelfs zonder die sociale factoren, een machine die gedreven wordt door nieuwsgierigheid, kan leren om woorden en acties op een slimme, flexibele manier te combineren.

Technische Samenvatting: Nieuwsgierigheid-gestuurde Ontwikkeling van Actie en Taal in Robots door Zelfexploratie

Probleemstelling
Het artikel behandelt een fundamenteel verschil tussen kunstmatige intelligentie en cognitieve wetenschap: menselijke zuigelingen verwerven taal- en actiecompetenties met een opmerkelijke generalisatie vanuit schaarse, beperkte ervaringen, terwijl grootschalige kunstmatige modellen (zoals LLM's) miljarden trainings-tokens nodig hebben om vergelijkbare capaciteiten te bereiken. Het centrale probleem is het identificeren van de mechanismen die dergelijke efficiënte ontwikkelingslering mogelijk maken, met een specifieke focus op compositionaliteit (het vermogen om bekende elementen systematisch te combineren tot nieuwe structuren), generalisatie vanuit minimale data, en uitzonderingsafhandeling (het beheren van onregelmatigheden zonder catastrofale vergetelheid). De auteurs onderzoeken of nieuwsgierigheid-gestuurde zelfexploratie in belichaamde agenten de ontwikkelingspaden kan repliceren die worden waargenomen bij menselijke zuigelingen, zoals de overgang van het uit het hoofd leren naar systematische generalisatie en de opkomst van U-vormige leercurves tijdens het afhandelen van uitzonderingen.

Methodologie
De studie maakt gebruik van een gesimuleerde mobiele robot uitgerust met een manipulatorarm, visuele sensoren en gedistribueerde tactiele sensoren. De robot leert motorische commando's uit te voeren als reactie op imperatieve zinnen (bijv. "duw rode kubus") via een nieuwe integratie van Active Inference en Reinforcement Learning (RL).

Modelarchitectuur: Het systeem maakt gebruik van een Variational Recurrent Neural Network (VRNN) bestaande uit drie hoofdcomponenten:
1. Forward Model: Voorspelt toekomstige sensorische observaties ( $o_{t+1}$ ) op basis van huidige sensaties ( $o_t$ ), commando-stemmen ( $o_{cw}$ ) en motorische commando's ( $a_t$ ). Het leert door het minimaliseren van Evidence Free Energy ( $F$ ), wat een balans vindt tussen nauwkeurigheid (reconstructiefout) en complexiteit (Kullback-Leibler divergentie tussen posterior en prior).
2. Actor: Genereert motorische commando's om de voorspelde waarde van toekomstige uitkomsten te maximaliseren.
3. Critic: Schat de waardefunctie ( $Q$ ) in met behulp van het Soft Actor-Critic (SAC) algoritme.
Intrinsieke Motivatie (Nieusgierigheid): In tegenstelling tot standaard RL dat uitsluitend vertrouwt op extrinsieke beloningen (taaksucces), bevat dit framework intrinsieke beloningen afgeleid van Expected Free Energy ( $G$ ). De agent wordt gemotiveerd om $G$ $G$ te minimaliseren, wat het volgende bevat:
- Nieuwsgierigheid (Epistemische Waarde): Het maximaliseren van informatiewinst door te zoeken naar onvoorspelbare sensorische consequenties (gemodelleerd als het maximaliseren van de KL-divergentie tussen prior en posterior).
- Motorische Entropie: Het aanmoedigen van willekeurige, exploratieve bewegingen om voortijdige convergentie te voorkomen.
- Extrinsieke Beloning: Het bereiken van doelen gespecificeerd in imperatieve zinnen.
Experimentele Opzet: De robot opereert in een fysica-simulator (PyBullet) met een set objecten die variëren in vorm en kleur. Imperatieve zinnen zijn samengesteld uit werkwoorden, adjectieven en zelfstandige naamwoorden.
- Experiment 1: Onderzoekt het effect van nieuwsgierigheidsniveaus (geen, sensorimotor, en alle) op leersnelheid en generalisatie.
- Experiment 2: Test de impact van compositionele schaal (variërende vocabulairegroottes) op generalisatieprestaties.
- Experiment 3: Onderzoekt uitzonderingsafhandeling door specifieke commando-actie koppelingen te wisselen om niet-monotone leerpaden te induceren.

Belangrijkste Bijdragen

Geamortiseerde Active Inference voor Ontwikkelingslering: Het artikel stelt een methode voor om inferentie te "amortiseren" door Q-learning te gebruiken om de minimalisering van expected free energy te benaderen. Dit stelt agenten in staat om te leren nieuwsgierig te zijn, waardoor ze effectief worden beloond voor de verwerving van informatiewinst naast taaksucces.
Operationalisering van Compositionaliteit: De studie definieert compositionaliteit niet als een formele semantische structuur, maar als het vermogen tot systematische generalisatie over nieuwe combinaties van bekende elementen (werkwoorden, adjectieven, zelfstandige naamwoorden) in een belichaamde setting.
Mechanistisch Verantwoording van U-vormig Leren: Het model laat zien hoe U-vormige ontwikkelingsprestaties (correct $\to$ fout $\to$ correct) natuurlijk ontstaan uit de spanning tussen het uit het hoofd leren, overgeneralisatie en de daaropvolgende reorganisatie van interne representaties om uitzonderingen te verwerken.

Resultaten

Nieuwsgierigheid Versnelt het Leren: Agents met "alle nieuwsgierigheid" (inclusief feedbackstem) bereikten een generalisatie-succespercentage van 85,1% op niet-geleerde zinnen na 60.000 epochs, terwijl agents zonder nieuwsgierigheid op hetzelfde stadium slechts 41% bereikten. Het verlengen van de training zonder nieuwsgierigheid naar 120.000 epochs leverde een vergelijkbare prestatie op (80,8%), wat aangeeft dat nieuwsgierigheid primair de steekproefefficiëntie en leersnelheid bevordert in plaats van strikt noodzakelijk te zijn voor de uiteindelijke capaciteit.
Schaalafhankelijkheid: Generalisatieprestaties zijn sterk afhankelijk van de schaal van de compositionele elementen. Naarmate de vocabulairegrootte toenam (van klein naar groot), verbeterde het succespercentage op ongeleerde doelen drastisch (van ~29% naar 85%), wat de hypothese ondersteunt dat grotere compositionele repertoires betere generalisatie vanuit schaarse data faciliteren.
Progressie van Rote-naar-Generalisatie: Analyse van interne representaties (via PCA) onthulde dat de robot in het begin van de training alleen slaagde op exact geleerde zin-actie paren. Generalisatie naar nieuwe combinaties ontstond pas nadat de interne representaties van werkwoorden en adjectieven gefactoriseerd en uitgelijnd waren.
U-vormig Leren en Uitzonderingsafhandeling: In Experiment 3 vertoonden 9 van de 10 robots kenmerkende U-vormige leercurves wanneer ze getraind werden met gewisselde commando-actie koppelingen. Interne analyse toonde aan dat de robot aanvankelijk overgeneraliseerde (de algemene regel toepaste op uitzonderingen), wat fouten veroorzaakte, voordat de robot uiteindelijk zijn interne representaties herbeschreef om de uitzonderingen correct te coderen.
Mentale Planning: Volledig getrainde robots konden accurate "mentale plannen" genereren (het simuleren van toekomstige sensorische staten zonder werkelijke sensorische input) om doelen te bereiken, terwijl gedeeltelijk getrainde robots onnauwkeurige voorspellingen produceerden, wat de rol van een robuust forward model bij conceptualisatie benadrukt.

Betekenis en Claims
Het artikel claimt dat de resultaten een mechanistische verklaring bieden voor hoe intrinsieke motivatie (nieuwsgierigheid) en active inference kunnen bijdragen aan schaalbare compositionele generalisatie en uitzonderingsafhandeling in kunstmatige agenten. De bevindingen suggereren dat:

Nieuwsgierigheid-gestuurde exploratie een cruciale mechanisme is voor het versnellen van ontwikkelingslering en het bereiken van een efficiënte steekproefcomplexiteit, waarmee het "poverty of the stimulus"-probleem wordt aangepakt door agenten in staat te stellen gestructureerde generalisatie te leren van beperkte data.
U-vormig leren niet louter een foutmodus is, maar een signatuur van representatieve herbeschrijving, waarbij de agent zijn interne kennis reorganiseert om uitzonderingen te accommoderen, wat patronen weerspiegelt die worden waargenomen bij de taalverwerving van kinderen.
Schaal doet ertoe: Het vermogen om systematisch te generaliseren is niet alleen een functie van het leeralgoritme, maar wordt ook sterk beïnvloed door de rijkdom van de compositionele omgeving (vocabulairegrootte).

De auteurs uiten zich expliciet bescheiden over hun claims: het model is een vereenvoudigd testbed en geen volledig model van de menselijke taalontwikkeling. Het mist de sociale ondersteuning, gezamenlijke aandacht en progressieve ontwikkelingsstadia die aanwezig zijn bij menselijke zuigelingen. De studie beoogt aan te tonen hoe gestructureerde generalisatie kan ontstaan uit nieuwsgierigheid-gestuurd sensorimotorisch leren onder minimale aannames, in plaats van de volledige complexiteit van de menselijke cognitieve ontwikkeling te repliceren.