Technische Samenvatting: Offline Ontdekking van Interpreteerbare Vaardigheden uit Multi-Taak Trajecten (LOKI)

Probleemstelling

Hiërarchisch Imitatie Leren (HIL) biedt een veelbelovend paradigma voor het verwerven van complexe robotgedragingen door langdurige taken te ontleden in beheersbare subtaken. Echter, een kritieke flessenhals blijft het ontdekken van herbruikbare, semantisch betekenisvolle vaardigheden uit offline, multi-taak trajectdata die geen expliciete beloningen of subtaak-annotaties bevatten. Bestaande methoden worden geconfronteerd met drie primaire uitdagingen:

1. Ambiguïteit in Vaardigheidsgrenzen: Het accuraat segmenteren van continue trajecten in discrete vaardigheden zonder expliciete supervisie is moeilijk.
2. Gebrek aan Herbruikbaarheid en Interpreteerbaarheid: Geleerde vaardigheden sluiten vaak niet aan bij menselijke concepties of zijn niet overdraagbaar naar andere taken.
3. Schaalbaarheid: Veel benaderingen zijn afgestemd op single-task settings of vereisen uitgebreide taakspecifieke engineering, wat hun nut in diverse, multi-taak omgevingen beperkt.

Het artikel stelt LOKI (Learning Offline Key-skills via Imitation) voor, een framework dat is ontworpen om deze hiaten te dichten door robuuste, interpreteerbare vaardigheden direct te ontdekken uit ruwe, ongeannoteerde offline demonstraties.

Methodologie: Het LOKI Framework

LOKI is een driestaps, end-to-end leersysteem dat ruwe multi-taak trajecten transformeert naar een uitvoerbaar hiërarchisch beleid.

Fase 1: Macro-Segmentatie via Enforced VQ-VAE (EVQ-VAE)

De eerste fase voert een grove, taakbewuste segmentatie uit om onderscheid te maken tussen Algemene Vaardigheden (GS).

• Architectuur: De auteurs introduceren een Enforced Vector Quantized Variational Autoencoder (EVQ-VAE). In tegenstelling tot standaard VQ-VAE's, maakt deze architectuur gebruik van zwakke taallabel ($c$) om taakgeconditioneerde kwantisatie af te dwingen.
• Verliesfuncties: Het model minimaliseert een samengestelde loss inclusief taakgeconditioneerde reconstructie-, codeboek- en commitment-loss. Cruciaal is de introductie van een divergentie-loss ($L_{divergence}$) om de Euclidische afstand tussen codeboekvectoren te maximaliseren, wat instorting voorkomt en onderscheidende representaties stimuleert.
• Grensbepaling: Vaardigheidsgrenzen worden geïdentificeerd met behulp van latent space entropie.
  • Extrinsieke vaardigheden (taakspecifiek) resulteren in lage entropie omdat embeddings nauw aansluiten bij een enkele taakspecifieke codeboekvector.
  • Intrinsieke vaardigheden (taakagnostisch) resulteren in hoge entropie omdat embeddings equidistant zijn aan meerdere vectoren.
  • Veranderpunten worden gedetecteerd met behulp van het Pelt-algoritme op het entropie-signaal, waardoor intrinsieke en extrinsieke gedragingen worden gescheiden.

Fase 2: Zwak Gesuperviseerde Micro-Segmentatie

Deze fase verfijnt de macro-segmenten tot fijnmazige, context-onafhankelijke Onafhankelijke Vaardigheden (IS).

• Sequentiële Modellering: Een sequentiële VAE verwerkt vaste sliding windows van de macro-segmenten. Het model is getraind om acties en staten te reconstrueren, terwijl de latent space wordt geregulariseerd tegen een prior die alleen geconditioneerd is op de initiële staat en de taaklabel (om te voorkomen dat de vaardigheidscode "cheat" door toekomstige staten te observeren).
• Grenverfijning:
  1. Error Spike Detectie: Potentiële grenzen worden geïdentificeerd door plotselinge pieken in de reconstructiefout te detecteren (wat wijst op een afwijking van de huidige vaardigheidsdynamiek).
  2. Iteratieve Clustering: Een K-Means clustering algoritme wordt toegepast om embeddings te segmenteren. Consecutieve segmenten die aan dezelfde cluster zijn toegewezen, worden samengevoegd, waardoor redundante grenzen worden verwijderd.
• Taak-Vaardigheid Uitlijning: Het framework maakt onderscheid tussen herbruikbare (intrinsieke) en unieke (extrinsieke) vaardigheden. Intrinsieke segmenten worden geclusterd in een gedeelde set primitieven, terwijl extrinsieke vaardigheden unieke ID's ontvangen. Ten slotte worden alle trajecten voor een specifieke taak geforceerd uitgelijnd naar een canonieke vaardigheidssequentie op basis van frequentie en gelijkenis, wat structurele consistentie waarborgt.

Fase 3: Hiërarchische Beleidsconstructie

Met behulp van de verfijnde vaardigheidsgrenzen construeert het framework een uitvoerbaar beleid:

1. Terminatie Functie ($\beta$): Een Multi-Layer Perceptron wordt getraind als een binaire classifier om de terminatie van een vaardigheid te voorspellen op basis van de huidige staat, waardoor vaste tijdshorizons worden vervangen door state-based switching.
2. Low-Level Beleid: Een vaardigheid-geconditioneerde controller ($\pi(a_t|s_t, k)$) wordt getraind via conditional behavior cloning om specifieke atomaire vaardigheden uit te voeren.
3. High-Level Beleid: In plaats van een dynamische meta-controller te leren, gebruikt het systeem de canonieke vaardigheidssequenties afgeleid in Fase 2 als deterministische taakprogramma's.

Belangrijkste Bijdragen

1. LOKI Framework: Een nieuw driestaps, zwak gesuperviseerd framework voor offline vaardigheidsontdekking en hiërarchische imitatie van langdurige, multi-taak data.
2. EVQ-VAE: Een nieuwe architectuur die gebruikmaakt van zwakke taallabels om taakgeconditioneerde kwantisatie af te dwingen, wat de scheiding tussen intrinsieke en extrinsieke vaardigheden mogelijk maakt.
3. Micro-Segmentatie Methode: Een zwak gesuperviseerde benadering die reconstructiefoutanalyse combineert met iteratieve clustering om conservatieve, granulaire vaardigheden te onderscheiden.
4. Empirische Validatie: Demonstratie dat ontdekte vaardigheden semantisch betekenisvol, consistent en composabel zijn, wat het oplossen van nieuwe taken mogelijk maakt.

Experimentele Resultaten

Experimenten werden uitgevoerd op de D4RL Kitchen benchmark, waarbij gebruik werd gemaakt van de kitchen-mixed-v0 dataset die trajecten bevat voor zeven subtaken (bijv. magnetron, waterkoker, lichtschakelaar) gecombineerd in complexe multi-stage taken.

• Macro-Segmentatie: De EVQ-VAE identificeerde succesvol de grenzen tussen intrinsieke en extrinsieke vaardigheden, bewezen door de onderscheidende lage-entropie (extrinsieke) en hoge-entropie (intrinsieke) staten in de latent space.
• Micro-Segmentatie: Het iteratieve verfijningsproces verwijderde effectief ruisende grenzen en dwong een consistente segmentatiestructuur af over trajecten van dezelfde taak.
• Interpreteerbaarheid: PCA-visualisatie van de latent space toonde aan dat vaardigheden met vergelijkbare robotbewegingen (bijv. "Microwave" en "Hinge Cabinet") naast elkaar clusterden, wat de semantische uitlijning met menselijke intuïtie bevestigt.
• Terminatie Nauwkeurigheid: De geleerde terminatie functie bereikte een nauwkeurigheid van 93,7% binnen een venster van $\pm4$ timesteps van de grondwaarheid-grenzen.
• Prestatievergelijking:
  • LOKI-varianten (LOKI-O met one-hot ID's en LOKI-E met continue embeddings) presteerden significant beter dan de hiërarchische baselines DADS en OPAL in termen van low-level policy Mean Squared Error (MSE).
  • LOKI-E behaalde de beste prestatie onder de voorgestelde methoden (Gemiddelde MSE: 7,76), toe te schrijven aan de rijkere informatie in continue embeddings vergeleken met discrete ID's.
  • Hoewel de "Expert" (flat BC) baseline een lagere MSE behaalde, demonstreerde LOKI superieure modulariteit en interpreteerbaarheid, wat cruciaal is voor hiërarchische controle.

Betekenis en Claims

Het artikel claimt dat LOKI een praktische en robuuste methode biedt voor het extraheren van gestructureerde, interpreteerbare vaardigheden uit ruwe offline data zonder dat daarvoor dichte beloningen of handmatige subtaak-annotaties nodig zijn. Door ontdekte vaardigheden af te stemmen op menselijke intuïtie en het mogelijk maken van hun compositie om nieuwe taken op te lossen, adresseert dit werk een fundamentele hindernis bij het opschalen van imitatie-leren naar complexe, multi-taak robotomgevingen. De auteurs positioneren dit als een belangrijke stap richting meer schaalbare en generaliseerbare robotlering uit demonstraties, en bieden een levensvatbaar alternatief voor methoden die vertrouwen op uitgebreide online interactie of massale, geannoteerde datasets.