Bidirectional Tutoring for Developmental Motor Learning in Robots: Co-Developed Interaction Dynamics Support Stable Learning

Technische Samenvatting: Bidirectionele Begeleiding voor Ontwikkelingsgericht Motorisch Leren in Robots

Probleemstelling
Huidige benaderingen van motorisch leren bij robots, met name Learning from Demonstration (LfD) en kinesthetische instructie, behandelen het begeleidingsproces vaak als eenrichtingsverkeer. In deze omgevingen biedt een tutor (mens of AI) demonstraties die de robot passief ontvangt, waarbij de voortdurende gedragingen en interne dynamiek van de robot worden genegeerd. Dit negeert een fundamentele eigenschap van het menselijk ontwikkelingsleren: sociale interactie is inherent bidirectioneel, waarbij tutors en leerlingen zich dynamisch op elkaar aanpassen. De auteurs hypothetiseren dat eenrichtingsinteractie faalt in het behouden van "gedragscoherentie" over verschillende ontwikkelingsfasen, wat leidt tot inconsistente sensorimotorische representaties en slechte generalisatie. Daartegenover stellen zij voor dat bidirectionele begeleiding, waarbij interventies van de tutor gekoppeld zijn aan het actieve gedrag van de robot, co-ontwikkelde trajecten kan vormen die consistentie handhaven en stabiel, fasegewijs leren ondersteunen.

Methodologie
De studie onderzoekt deze hypothese via experimenten met ontwikkelingsgericht motorisch leren met behulp van een fysieke humanoïde robot (Torobo) die een objectmanipulatietaak uitvoert (reiken, grijpen, tillen en terugbrengen van een rode cilinder). Het onderzoek vergelijkt twee begeleidingsmodi:

1. Unidirectionele Begeleiding: De robot wordt geplaatst in een modus van zwaartekrachtcompensatie, en de tutor begeleidt de robot fysiek door de taaksequentie zonder dat de robot eigen acties genereert.
2. Bidirectionele Begeleiding: De robot genereert acties op basis van zijn eigen voorspellingen onder compliant controle. De tutor grijpt alleen in wanneer dat nodig is om afwijkingen te corrigeren, wat een real-time, gekoppelde interactie creëert.

Er werden twee verschillende experimentele opstellingen gebruikt om de bevindingen te valideren:

• Experiment met Menselijke Tutor: Een menselijke experimentator interageerde fysiek met de robot om te dienen als een proof-of-concept voor belichaamde bidirectionele interactie.
• Experiment met AI-Tutor: Om variabiliteit in menselijk gedrag te controleren, werd een AI-tutor geïmplementeerd met gebruik van hetzelfde onderliggende neurale framework. De AI-tutor maakte gebruik van een online inferentiemechanisme om de eigen verwachte bewegingsvariabiliteit te schatten en de interventiekracht aan te passen op basis van de afwijking tussen de voorspelling en de beoogde actie van de robot.

Computationeel Framework
Het leersysteem is gebouwd op het Free Energy Principle (FEP) met behulp van een Predictive coding-geïnspireerde Variational Recurrent Neural Network (PV-RNN).

• Modelarchitectuur: De PV-RNN minimaliseert de variationele vrije energie om latente variabelen te infereren, waarbij een balans wordt gezocht tussen "nauwkeurigheid" (overeenstemming met sensorische observaties) en "complexiteit" (naleving van priors).
• Online Inferentie: Tijdens de interactie voert het netwerk foutregressie uit binnen een verschuende window om de posterior schattingen in real-time bij te werken, waardoor de robot zijn gedrag dynamisch kan aanpassen.
• Generatieve Replay: Om stabiel leren over opeenvolgende fasen mogelijk te maken zonder ruwe historische data op te slaan, hebben de auteurs de PV-RNN uitgebreid met een generatief replay-mechanisme. Dit stelt het model in staat om te samplen uit de prior distributie om eerder geleerde sensorimotorische patronen te reconstrueren, wat catastrofaal vergeten mitigeert terwijl nieuwe getutoreerde sequenties worden geïntegreerd.

Belangrijkste Resultaten
Experimenten werden uitgevoerd over tien ontwikkelingsfasen met variërende objectlocaties. De resultaten gaven consequent de voorkeur aan bidirectionele begeleiding:

• Taakprestaties: In zowel menselijke als AI-experimenten bereikte de bidirectionele conditie significant hogere succespercentages in autonome tests, met name in de latere fasen. De unidirectionele conditie vertoonde aanvankelijke verbetering gevolgd door een daling of plateau, waarbij het er niet in slaagde effectief te generaliseren naar nieuwe objectposities.
• Trajectcoherentie: Analyse van de begeleide trajecten onthulde dat bidirectionele interacties meer spatiotemporeel consistente en georganiseerde paden produceerden. Unidirectionele trajecten vertoonden een hoge variabiliteit en een slechte uitlijning over de fasen heen.
• Leerdynamiek: De bidirectionele conditie resulteerde in een lagere trainingsverlies (variationele vrije energie), wat aangeeft dat de co-ontwikkelde trajecten compatibeler waren met de bestaande sensorimotorische dynamiek van de robot.
• Tutor Interventie: In bidirectionele settings nam de totale hoeveelheid tutorinterventie (fysiek koppelmoment van mensen of interventiegewicht van AI) progressief af over de fasen, wat suggereert dat de robot onafhankelijke motorische vaardigheden verwierf en minder begeleiding vereiste naarmate de tijd verstreek.

Belangrijkste Bijdragen

1. Framework Voorstel: Het artikel stelt bidirectionele begeleiding voor als een framework voor ontwikkelingsgericht motorisch leren waarbij de interventie van de tutor gekoppeld is aan het voortdurende gedrag van de leerling, waardoor trajecten kunnen worden co-ontwikkeld in plaats van opgelegd.
2. Empirische Validatie: Door middel van experimenten met zowel menselijke als AI-tutors op een echte robot, toont de studie aan dat bidirectionele begeleiding meer coherente trajecten oplevert en stabieler fasegewijs leren ondersteunt vergeleken met unidirectionele methoden.
3. Algoritmische Uitbreiding: De auteurs breiden het PV-RNN framework uit met een generatief replay-mechanisme, wat stabiel sequentie-per-sequentie leren uit enkelvoudige getutoreerde episodes mogelijk maakt en catastrofaal vergeten voorkomt.

Betekenis en Claims
De auteurs beweren dat bidirectionele begeleiding fungeert als een effectief steunpunt (scaffold) voor ontwikkelingsgericht motorisch leren in robots door de gedragscoherentie te bewaren. Zij stellen dat leerervaringen niet louter vaste inputs zijn, maar gevormd worden door de interne dynamica van de leerling tijdens de interactie. Door de eerdere ervaringen van de robot toe te staan de vorming van nieuwe trajecten te beperken, ondersteunt bidirectionele begeleiding de opkomst van consistente gedragspatronen die beter generaliseren dan patronen die via passieve demonstratie zijn geleerd. De studie suggereert dat deze belichaamde, sociaal gegrondeerde aanpak cruciaal is voor het repliceren van de stabiliteit van het menselijk ontwikkelingsleren in kunstmatige systemen. De auteurs blijven bescheiden over de reikwijdte en merken beperkingen op, zoals de vereenvoudigde aard van de AI-tutor vergeleken met menselijke aanpassingsvermogen en het gebruik van een enkele menselijke tutor in de proof-of-concept fase, waarbij zij erkennen dat toekomstig werk nodig is om deze principes naar complexere taken en diverse menselijke interacties te schalen.