Ergodic Imitation for Adaptive Exploration around Demonstrations

Technische Samenvatting: Ergodische Imitatie voor Adaptieve Exploratie rond Demonstraties

Probleemstelling
In de robotica staat imitatielearning (IL) voor een kritieke uitdaging: het verschil tussen trainingsomstandigheden en inzetomgevingen, veroorzaakt door omgevingsveranderingen, imperfecte waarnemingen of besturingsfouten. Wanneer een robot probeert een nominale traject te volgen onder dergelijke discrepanties, blijft het vaak vastzitten en faalt het de taak te voltooien. Hoewel diepe generatieve modellen zijn gebruikt voor IL, overfitten ze vaak op demonstratiegegevens, waarbij ze specifieke actiesequenties memoriseren in plaats van generaliseerbare beleidsregels te leren. Bijgevolg blijven huidige benaderingen breekbaar bij minimale verdelingsverschuivingen. Bovendien zijn bestaande methoden voor adaptieve exploratie grotendeels beperkt tot discrete overgangen, en missen ze de continue exploratiecapaciteiten die nodig zijn voor subtiele aanpassingen in de toestandsruimte bij taken zoals robotische assemblage. Het kernprobleem is de behoefte aan een online strategie die geworteld blijft in demonstraties, maar adaptief kan overgaan van rigide volgen naar exploratie wanneer de omgeving afwijkt van de trainingsverdeling.

Methodologie
De auteurs stellen een Adaptieve Ergodische Imitatie-benadering voor die volgen en exploratie verenigt binnen één controller. De methode werkt op een dataset van expert-toestands-trajecten, waarbij expliciete actielabels worden weggelaten om de focus te leggen op de dekking van de toestandsruimte.

1. Faseherwinning en Vooruitgangsschatting:
   Bij elk herplanningsinterval vraagt het systeem de expertdataset op om de meest relevante context te vinden op basis van de huidige robottoestand. Het definieert een "fasefout" $e(t)$ door de huidige toestand te vergelijken met het dichtstbijzijnde punt in het experttraject. Een virtuele referentieklok $\tau(t)$ wordt gebruikt om de vooruitgang bij te houden:

   • Volgmodus: Als de fasefout binnen een drempelwaarde ($\epsilon$) ligt, schrijdt de klok voort en volgt het systeem de demonstratie.
   • Exploratiemodus: Als de fout de drempel overschrijdt (wat stagnatie aangeeft), bevriest de klok en telt een stagnatieteller op. Dit signaal triggert een verschuiving naar exploratie.

2. Geometriegestuurde Verdelingsgeneratie:
   De methode genereert een doelpartikelverdeling $\{q_j\}$ met behulp van een stochastische differentiaalvergelijking (SDE) die drie componenten combineert op basis van een temperatuur-achtige vooruitgangsvariabele $\theta$:

   • Nominale Aantrekking: Een driftterm die deeltjes trekt naar het dichtstbijzijnde punt op het referentietraject.
   • Heat-Kernel Score: Een op scores gebaseerde term die deeltjes bevoordeelt naar gebieden met hoge referentiedichtheid.
   • Anisotrope Diffusie: Een diffusieterm die is ontworpen om groter te zijn in richtingen loodrecht op het traject dan langs de raaklijn. Dit moedigt exploratie loodrecht op het pad aan, terwijl coherentie langs het traject behouden blijft.

   Naarmate de fasefout en de stagnatieteller toenemen, wordt het diffusieomhulsel breder, waardoor de robot een grotere omgeving van het referentietraject kan verkennen.

3. Dekking-bewuste Ergodische Besturing met MMD:
   Het systeem maakt gebruik van een controller met een voortschrijdend horizon, die de Maximum Mean Discrepancy (MMD)-metrie toepast om het verschil te minimaliseren tussen de tijd-gemiddelde toestandsbezoek van de robot en de gegenereerde doelpartikelverdeling. Door de laatste tien trajecten op te nemen in de MMD-doelfunctie, zorgt de controller ervoor dat nieuwe plannen eerder afgedekte gebieden aanvullen in plaats van ze opnieuw te doorlopen. Dit kader breidt zich op natuurlijke wijze uit naar $SE(3)$ en andere gekromde ruimten door het gebruik van geometrie-bewuste kernen.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

• Een geünificeerde methode die een continu spectrum van gedragingen mogelijk maakt, variërend van rigide imitatie tot adaptieve exploratie, beheerst door adaptieve ergodische imitatie.
• Een mechanisme voor schatting van taakvoortgang via demonstratie om doelpartikels adaptief te wijzigen.
• Het gebruik van geometriegestuurde anisotrope diffusie om doelpartikels te synthetiseren die zowel volgen als exploratie induceert.
• De integratie van de MMD-ergodische metrie binnen een op retrieval gebaseerd imitatielearning-kader.

Resultaten
De methode werd geëvalueerd in een 2D-navigatieomgeving met smalle verticale openingen en een rommelige doelregio.

• Experimentele Opstelling: Succesvolle demonstraties werden verzameld in een nominale lay-out. Tijdens het testen werden de locaties van de openingen verschoven om een inzetdiscrepantie te induceren.
• Prestaties: Wanneer de agent werd geblokkeerd door een muur (een discrepantiescenario), detecteerde het de discrepantie in taakvoortgang via de geaccumuleerde fasefout. Dit triggert de verbreding van de doelpartikelverdeling via anisotrope diffusie, waardoor de ergodische controller kan exploreren en het obstakel kan omzeilen.
• Kwantitatieve Analyse: Bij tests met 50 verschuivingen van de poortlocaties, gesampled uit een Gaussische verdeling rond de nominale lay-out, vond de voorgestelde methode consequent oplossingen. Daarentegen merken de auteurs op dat op retrieval- of generatie-gebaseerde methoden waarschijnlijk een 0% slagingspercentage zouden bereiken in deze out-of-distribution-scenario's, vanwege hun onvermogen om met de verschoven openingen om te gaan.

Betekenis en Aanspraken
Het artikel positioneert ergodische besturing niet louter als een hulpmiddel voor gebiedsdekking of zoektocht, maar als een principieel mechanisme voor adaptieve uitvoering in imitatielearning. De betekenis ligt in de verschuiving van het paradigma van pure trajectherhaling naar situationele aanpassing. Door volgen te behandelen als een speciaal geval van exploratie, stelt de methode robots in staat om de temporale kenmerken van een demonstratie te reproduceren wanneer de omgeving dit toelaat, terwijl ze autonoom overgaan naar ergodische exploratie wanneer de robot "vastzit". Deze aanpak adresseert de breekbaarheid van huidige IL-methoden door een continu gedragspectrum te bieden dat geworteld blijft in demonstraties, maar wel in staat is om omgevingsdivergentie te hanteren.