Riepilogo Tecnico: Skill-Compositional Experts per l'Embodied Continual Learning

Definizione del Problema

Il documento affronta l'Embodied Continual Learning (ECL), un contesto in cui i robot devono acquisire sequenzialmente nuovi compiti di manipolazione mantenendo al contempo i comportamenti precedentemente appresi sotto controllo a loop chiuso (closed-loop control). A differenza del continual learning (CL) convenzionale, dove i dati sono statici, l'ECL coinvolge ambienti dinamici in cui le osservazioni evolvono in base alle azioni del robot.

La sfida principale identificata è il catastrophic forgetting (oblio catastrofico), che è esacerbato nell'ECL dal feature drift (deriva delle caratteristiche). Mentre i modelli Vision-Language-Action (VLA) apprendono nuovi compiti, le loro rappresentazioni di caratteristiche si allontanano da quelle associate ai compiti precedenti. Sotto controllo a loop chiuso, questa deriva non è una semplice perdita di prestazioni statica; essa si propaga attraverso il processo decisionale sequenziale, causando l'accumulo di errori e portando alla degradazione dei comportamenti precedentemente appresi. I metodi esistenti spesso trattano i compiti come unità isolate o si concentrano sulla scoperta di skill senza organizzarle esplicitamente per una composizione coerente, portando a un riutilizzo incoerente e a una deriva amplificata.

Metodologia: Il Framework SCE

Gli autori propongono SCE (Skill-Compositional Experts), un framework progettato per abilitare l'apprendimento continuo di compiti attraverso la composizione di skill riutilizzabili. L'architettura consiste in due componenti primarie integrate in un modello VLA pre-addestrato:

1. Compositional Skill Grounding (CSG)

Il CSG è responsabile della decomposizione delle dimostrazioni di task in skill riutilizzabili e dell'organizzazione delle stesse in una Skill Base. Opera in due fasi:

• Decomposizione del Task Sensibile allo Stato (State-Aware Task Decomposition): Utilizzando la dinamica dello stato del robot (specificamente i cambiamenti di stato della pinza e i cambiamenti di tendenza del movimento dell'end-effector), il CSG partiziona le dimostrazioni grezze dei task in segmenti temporalmente coerenti.
• Induzione di Skill con Grounding VLM (VLM-Grounded Skill Induction): Un modello Vision-Language (VLM) ancora questi segmenti rispetto alla skill base corrente. Se un segmento corrisponde a una skill esistente, viene assegnato a quella skill; altrimenti, viene indotta una nuova skill riutilizzabile e aggiunta alla base. Questo processo genera annotazioni di skill ($s$) per i dati di addestramento, permettendo al modello di apprendere uno spazio di skill strutturato.

2. Dual Execution-and-Transition Experts (DETE)

Il DETE aumenta il decoder di azione del VLA con due rami esperti complementari per supportare la composizione delle skill:

• Ramo Esperto di Esecuzione (Execution Expert Branch): Si concentra sulla modellazione dei pattern di azione specifici per la skill. Utilizza un router per selezionare l'esperto più rilevante da un pool basandosi sulla distribuzione attuale della skill, garantendo un'esecuzione stabile delle singole skill. Questo confinamento degli aggiornamenti a esperti specifici riduce l'interferenza con skill non correlate.
• Ramo Esperto di Transizione (Transition Expert Branch): Si concentra sulla modellazione dei pattern di transizione tra le skill. Poiché i cambiamenti di skill spesso avvengono su intervalli temporali piuttosto che istantaneamente, questo ramo cattura le dipendenze tra la skill precedente e quella successiva. Utilizza un router consapevole della transizione che incorpora la distribuzione delle skill per modellare l'ambiguità durante il cambio di skill.
• Fusione Adattiva (Adaptive Fusion): Un modulo di fusione adattiva combina dinamicamente gli output dei rami di Esecuzione e di Transizione. Calcola un coefficiente di bilanciamento ($\alpha$) basato sulla caratteristica di routing consapevole della transizione. Quando la distribuzione delle skill è concentrata su una singola skill, il modello enfatizza l'esecuzione; vicino ai confini delle skill, sposta il peso verso il ramo di transizione per garantire un comportamento coerente.

Il modello è ottimizzato utilizzando una funzione di perdita combinata: la perdita originale di flow-matching per la generazione dell'azione e una perdita di cross-entropy ausiliaria per supervisionare la distribuzione delle skill.

Contributi Chiave

1. Framework SCE: La proposta di un framework Skill-Compositional Experts che abilita l'apprendimento continuo componendo skill riutilizzabili, affrontando le sfide specifiche del feature drift nell'ECL a loop chiuso.
2. Moduli CSG e DETE:
   • CSG: Un meccanismo per scomporre le dimostrazioni in skill riutilizzabili e mantenere una skill base strutturata.
   • DETE: Un'architettura a doppio esperto che separa l'esecuzione specifica della skill dalle transizioni tra le skill, permettendo un'esecuzione stabile e un passaggio coerente.
3. Validazione Empirica: Esperimenti estesi che dimostrano come SCE mitighi efficacementamente il feature drift e migliori la ritenzione rispetto ai baseline allo stato dell'arte.

Risultati Sperimentali

Gli autori hanno valutato SCE sia su benchmark simulati che nel mondo reale:

• Simulazione (Benchmark LIBERO):

  • Su LIBERO-Goal, SCE ha raggiunto un Success Rate (SR) finale dell'83.4% e un New Task Forgetting (NBT) del 4.3%, superando significativamente i baseline come Task-MoE (64.8% SR, 15.8% NBT).
  • Su LIBERO-Long, SCE ha raggiunto un SR finale del 73.4% con un NBT dello 0.5%, dimostrando una stabilità superiore su orizzonti temporali lunghi.
  • Le metriche utilizzate includevano Forward Transfer (FWT), NBT, Area Under Curve (AUC) e SR finale.

• Manipolazione nel Mondo Reale:

  • Esperimenti su un robot Mercury B1 a 7 DoF con tre task sequenziali (Box-to-Board, Board-to-Bowl, Box-to-Bowl) hanno mostrato che SCE raggiunge un SR finale dell'83.3% e un NBT dello 0.0%, superando il baseline Task-MoE (56.7% SR, 10.0% NBT).

• Analisi del Feature Drift:

  • L'analisi ha rivelato che, mentre l'addestramento sequenziale standard causava un significativo drift nelle caratteristiche d'azione (fino a 6.9 volte maggiore delle feature del VLM), SCE riduce sostanzialmente questa deriva.
  • I rollout con anchor condivisi hanno dimostrato che SCE mantiene un gap tra stato del simulatore e comportamenti di riferimento molto più piccolo rispetto ai baseline sotto controllo a loop chiuso.

• Studi di Ablazione:

  • La rimozione di CSG ha causato un calo del SR finale dall'83.4% al 70.0%, evidenziando la necessità di un'esplicita organizzazione delle skill.
  • La rimozione di uno dei due rami (Esecuzione o Transizione) ha degradato le prestazioni, confermando che l'esecuzione specifica della skill e la modellazione della transizione tra le skill sono complementari e necessarie.

Significato e Rivendicazioni

Il documento afferma che SCE fornisce una soluzione robusta al trade-off tra stabilità e plasticità nell'embodied continual learning. Strutturando la conoscenza come skill riutilizzabili e modellando esplicitamente le transizioni tra di esse, il metodo previene l'accumulo di feature drift che tipicamente degrada le prestazioni a loop chiuso. Gli autori asseriscono che il loro approccio consente ai robot di mantenere i comportamenti precedentemente appresi in modo più efficace rispetto ai metodi a livello di task o a livello di skill non strutturata, rendendolo un passo concreto verso l'adattabilità a lungo termine nella distribuzione robotica nel mondo reale. Il lavoro suggerisce che le direzioni future potrebbero prevedere l'estensione di questo approccio compositivo a repertori di skill su scala più ampia e più aperti.