Technische Samenvatting: Skill-Compositional Experts voor Embodied Continual Learning

Probleemdefinitie

Het artikel behandelt Embodied Continual Learning (ECL), een setting waarin robots sequentieel nieuwe manipulatietaken moeten aanleren terwijl ze eerder geleerde gedragingen behouden onder closed-loop controle. In tegenstelling tot conventioneel continual learning (CL), waarbij data statisch is, betreft ECL dynamische omgevingen waarin observaties evolueren op basis van de acties van de robot.

De kernuitdaging die wordt geïdentificeerd is catastrofale vergetelheid (catastrophic forgetting), wat in ECL wordt verergerd door feature drift. Terwijl Vision-Language-Action (VLA) modellen nieuwe taken leren, driften hun feature-representaties weg van de representaties die geassocieerd worden met oude taken. Onder closed-loop controle is deze drift niet louter een statische prestatiedaling; het propageert door sequentiële besluitvorming, waardoor fouten zich stapelen en dit leidt tot de degradatie van eerder geleerde gedragingen. Bestaande methoden behandelen taken vaak als geïsoleerde eenheden of richten zich op skill discovery zonder vaardigheden expliciet te organiseren voor coherente compositie, wat leidt tot inconsistente hergebruik en versterkte drift.

Methodologie: Het SCE-framework

De auteurs stellen SCE (Skill-Compositional Experts) voor, een framework ontworpen om continual task learning mogelijk te maken door middel van de compositie van herbruikbare skills. De architectuur bestaat uit twee primaire componenten die geïntegreerd zijn in een pretrained VLA-model:

1. Compositional Skill Grounding (CSG)

CSG is verantwoordelijk voor het deconstrueren van taakdemonstraties in herbruikbare skills en het organiseren van deze in een Skill Base. Het werkt in twee fasen:

• State-Aware Task Decomposition: Door gebruik te maken van robot-state dynamiek (specifiek veranderingen in de gripper-status en trends in de beweging van de end-effector), deelt CSG ruwe taakdemonstraties op in temporeel coherente segmenten.
• VLM-Grounded Skill Induction: Een Vision-Language Model (VLM) koppelt deze segmenten aan de huidige skill base. Als een segment overeenkomt met een bestaande skill, wordt het aan die skill toegewezen; anders wordt er een nieuwe herbruikbare skill geïnduceerd en toegevoegd aan de base. Dit proces genereert skill-annotaties ($s$) voor de trainingsdata, waardoor het model een gestructureerde skill-ruimte kan leren.

2. Dual Execution-and-Transition Experts (DETE)

DETE breidt de VLA-actiedecoder uit met twee complementaire expert-branches om skill-compositie te ondersteunen:

• Execution Expert Branch: Richt zich op het modelleren van skill-specifieke actiepatronen. Het gebruikt een router om de meest relevante expert uit een pool te selecteren op basis van de huidige skill-distributie, wat zorgt voor een stabiele executie van individuele skills. Deze beperking van updates tot specifieke experts vermindert interferentie met ongerelateerde skills.
• Transition Expert Branch: Richt zich op het modelleren van cross-skill transitiepatronen. Omdat skill-veranderingen vaak over temporele intervallen plaatsvinden in plaats van instantane overgangen, vangt deze branch de afhankelijkheden tussen de voorafgaande en daaropvolgende skills op. Het gebruikt een transitie-bewuste router die de skill-distributie incorporeert om de ambiguïteit tijdens het wisselen van skills te modelleren.
• Adaptive Fusion: Een Adaptive Fusion Module combineert dynamisch de outputs van de Execution en Transition branches. Het berekent een balanscoëfficiënt ($\alpha$) op basis van de transitie-bewuste routing-feature. Wanneer de skill-distributie geconcentreerd is op één enkele skill, legt het model de nadruk op executie; nabij de grenzen van skills verschuift het gewicht naar de transition branch om coherent gedrag te waarborgen.

Het model wordt geoptimaliseerd met behulp van een gecombineerde loss-functie: de originele flow-matching loss voor actiegeneratie en een extra cross-entropy loss om de skill-distributie te superviseren.

Belangrijkste Bijdragen

1. SCE Framework: De voorstel van een Skill-Compositional Experts framework dat continual learning mogelijk maakt door herbruikbare skills te componeren, waarmee de specifieke uitdagingen van feature drift in closed-loop ECL worden aangepakt.
2. CSG en DETE Modules:
   • CSG: Een mechanisme om demonstraties te deconstrueren in herbruikbare skills en een gestructureerde skill base te onderhouden.
   • DETE: Een dual-expert architectuur die skill-specifieke executie scheidt van cross-skill transities, wat zorgt voor stabiele executie en coherente wisselingen.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat SCE effectief feature drift mitigeert en de retentie verbetert vergeleken met state-of-the-art baselines.

Experimentele Resultaten

De auteurs hebben SCE geëvalueerd op zowel gesimuleerde als real-world benchmarks:

• Simulatie (LIBERO Benchmarks):

  • Op LIBERO-Goal behaalde SCE een Final Success Rate (SR) van 83,4% en een New Task Forgetting (NBT) van 4,3%, waarmee het significant beter presteert dan baselines zoals Task-MoE (64,8% SR, 15,8% NBT).
  • Op LIBERO-Long behaalde SCE een Final SR van 73,4% met een NBT van 0,5%, wat een superieure stabiliteit over lange horizonten demonstreert.
  • Gebruikte metrieken waren onder meer Forward Transfer (FWT), NBT, Area Under Curve (AUC) en Final SR.

• Real-World Manipulatie:

  • Experimenten op een 7-DoF Mercury B1 robot met drie sequentiële taken (Box-to-Board, Board-to-Bowl, Box-to-Bowl) toonden aan dat SCE een Final SR van 83,3% en een NBT van 0,0% bereikte, waarmee het de Task-MoE baseline (56,7% SR, 10,0% NBT) overtrof.

• Feature Drift Analyse:

  • Analyse toonde aan dat hoewel standaard sequentiële training zorgde voor significante drift in actie-features (tot 6,9× groter dan VLM-features), SCE deze drift substantieel heeft verminderd.
  • Shared-anchor rollouts toonden aan dat SCE onder closed-loop controle een veel kleinere simulator-state gap behield ten opzichte van referentiegedragingen vergeleken met baselines.

• Ablatie-studies:

  • Het verwijderen van CSG resulteerde in een daling van de Final SR van 83,4% naar 70,0%, wat het belang van expliciete skill-organisatie benadrukt.
  • Het verwijderen van ofwel de Execution of de Transition expert branch verslechterde de prestaties, wat bevestigt dat zowel skill-specifieke executie als cross-skill transitie-modellering complementair en noodzakelijk zijn.

Betekenis en Claims

Het artikel claimt dat SCE een robuuste oplossing biedt voor de stability-plasticity trade-off in embodied continual learning. Door kennis te structureren als herbruikbare skills en expliciet de transities tussen deze skills te modelleren, voorkomt de methode de accumulatie van feature drift die doorgaans de closed-loop prestaties degradeert. De auteurs stellen dat hun aanpak robots in staat stelt om eerder geleerde gedragingen effectiever te behouden dan task-level of ongestructureerde skill-level methoden, wat een haalbare stap vormt richting langdurige adaptiviteit in real-world robotische implementaties. Het werk suggereert dat toekomstige richtingen kunnen bestaan uit het uitbreiden van deze compositionele aanpak naar grotere schaal en meer open-ended skill repertoires.