Riassunto Tecnico: Hierarchical Post-Training per Agenti Embodied (HiRoC)

Definizione del Problema

I modelli Vision-Language-Action (VLA) hanno mostrato grande potenziale nella manipolazione robotica, unificando la percezione visiva, la comprensione del linguaggio e la generazione di azioni. Tuttavia, gli attuali metodi di post-training trattano prevalentemente i modelli VLA come policy piatte (flat policies), mappando istruzioni globali direttamente verso azioni di basso livello. Questo approccio affronta limitazioni significative in scenari reali:

1. Mancanza di Progressione Esplicita del Task: Le policy piatte mantengono la stessa istruzione globale durante l'esecuzione, fallendo nel modellare esplicitamente la struttura a stadi di compiti complessi a lungo orizzonte.
2. Accumulo di Errori: Senza ancoraggi semantici intermedi (subgoal), le piccole deviazioni nell'esecuzione si accumulano nel tempo, portando a un degrado del processo decisionale o al fallimento del compito.
3. Apprendimento Gerarchico Inefficace: Sebbene esistano approcci gerarchici, essi spesso si affidano all'apprendimento supervisionato da dimostrazioni offline e faticano a migliorare l'esecuzione attraverso l'interazione online. Inoltre, i metodi di Reinforcement Learning (RL) online esistenti ottimizzano ancora policy piatte piuttosto che strutture planner-executor gerarchiche.

La sfida centrale risiede nella creazione di un framework di post-training che sappia decomporre efficacemente la pianificazione di alto livello dall'esecuzione di basso livello, garantendo al contempo che i due moduli collaborino efficientemente senza soffrire di un disallineamento della distribuzione.

Metodologia: Framework HiRoC

Gli autori propongono Hierarchical Robotic Control (HiRoC), un framework di post-training gerarchico che integra la decomposizione dei task, l'allineamento planner-executor e il reinforcement learning online. Il framework è composto da due moduli primari: un Planner di alto livello e un Executor di basso livello.

1. Addestramento del Planner tramite Supervised Fine-Tuning (SFT)

Il planner è responsabile della decomposizione delle istruzioni globali del task in subgoal intermedi eseguibili basandosi sulle osservazioni correnti.

• Preparazione dei Dati: Gli autori riorganizzano i dataset multimodali esistenti (es. da VLA-OS) per creare un dataset pulito e coerente ($D_{plan}$) dove le traiettorie sono annotate con i successivi subgoal immediati.
• Ottimizzazione: Il planner (basato su un backbone VLM come Qwen2.5-VL) viene addestrato tramite SFT per predire la sequenza di token del prossimo subgoal condizionata dallo stato multimodale corrente ($s_t$) e dai precedenti token del subgoal.
• Freezing: Una volta addestrato, il planner viene congelato durante il successivo tuning RL per preservare le sue capacità di decomposizione dei task e prevenire shift nella distribuzione.

2. Addestramento dell'Executor tramite SFT e RL Tuning

L'executor genera azioni di basso livello condizionate dal subgoal corrente fornito dal planner.

• Affrontare il Disallineamento della Distribuzione (DM): Una sfida critica è che i VLA pre-addestrati sono ottimizzati per goal globali, non per subgoal intermedi. Accoppiare direttamente un planner con un executor pre-addestrato porta a un "cold start" dovuto al disallineamento della distribuzione.
  • Soluzione: Gli autori riorganizzano i dati delle traiettorie in campioni condizionati dal subgoal ($s_i, l_i, a_i$) e eseguono un Subgoal-Conditioned SFT sull'executor. Ciò allinea la policy dell'executor con l'output del planner prima dell'inizio del RL.
• Reinforcement Learning Online (RL): L'executor viene ulteriormente ottimizzato tramite interazione online con l'ambiente, guidato dal planner congelato.
  • Hierarchical GRPO: Gli autori introducono un obiettivo di Group Relative Policy Optimization (GRPO) che incorpora segnali di apprendimento sia globali che locali.
    • Global Advantage ($A_{task}$): Derivato dalla ricompensa cumulativa dell'intera traiettoria.
    • Local Advantage ($A_{sub}$): Derivato dal progresso compiuto sui subgoal intermedi registrati durante il rollout.
  • Integrazione Pesata: Il segnale di advantage finale ($\hat{A}_i$) è una somma pesata di advantage globali e locali. I pesi ($w_t, w_s$) sono bilanciati adattivamente in base al numero medio di subgoal per traiettoria e alla lunghezza della traiettoria, garantendo che i compiti con diversa complessità ricevano una supervisione appropriata.
  • Aggiornamento della Policy: L'executor viene aggiornato utilizzando un obiettivo di attore troncato (clipped actor objective) in stile PPO, ottimizzando il rapporto di probabilità dei token di azione pur limitando la deviazione della policy.

Contributi Chiave

1. Framework HiRoC: La proposta di un framework di post-training gerarchico che separa esplicitamente la pianificazione del task di alto livello dall'esecuzione dell'azione di basso livello, consentendo un ragionamento strutturato e una manipolazione robusta a lungo orizzonte.
2. Strategia di Addestramento Collaborativo:
   • Allineamento della Distribuzione: Una fase di SFT condizionata al subgoal che colma il divario tra i subgoal generati dal planner e l'esecuzione dell'executor, mitigando il problema del cold-start.
   • Obiettivo di RL Gerarchico: Una nuova formulazione GRPO che sfrutta congiuntamente i segnali di apprendimento a livello di task (globali) e di subgoal (locali), fornendo una guida più strutturata per l'ottimizzazione della policy.
3. Validazione Empirica: Esperimenti estesi che dimostrano miglioramenti costanti delle prestazioni attraverso diversi benchmark di manipolazione robotica.

Risultati Sperimentali

Gli autori hanno valutato HiRoC sul benchmark LIBERO (suite Goal, Spatial, Object e Long) e sulla suite di generalizzazione LIBERO-Plus.

• Prestazioni Complessive: HiRoC ha raggiunto prestazioni State-of-the-Art (SOTA), superando solidi baseline inclusi le policy VLA piatte (OpenVLA), altri metodi basati su RL (VLA-RL, TGRPO) e approcci basati su world-model.
  • Sulla suite LIBERO-Long, HiRoC ha raggiunto un tasso di successo del 98%, superando significativamente i baseline e dimostrando l'efficacia del controllo gerarchico per compiti complessi.
  • Il metodo ha mostrato un miglioramento medio del 10,06% rispetto ai baseline attraverso i benchmark.
• Generalizzazione (Zero-Shot): Su LIBERO-Plus, che introduce sette tipi di perturbazioni, HiRoC ha dimostrato una generalizzazione superiore rispetto ai modelli basati su SFT e agli approcci world-model, grazie alla sua capacità di scomporre i goal in subgoal gestibili.
• Studi di Ablazione:
  • Rimuovere il planner (w/o Plan) ha degradato significativamente le prestazioni, confermando la necessità della decomposizione esplicita del task.
  • Rimuovere il pre-addestramento per il disallineamento della distribuzione (DM) ha causato un severo cold start e una performance finale inferiore.
  • Rimuovere il GRPO locale (w/o L) ha mostrato che, sebbene il GRPO globale sia primario, il segnale del subgoal locale fornisce miglioramenti complementari.
• Trasferimento Real-World: Un esperimento sim-to-real su una piattaforma robotica fisica ha implementato con successo la policy addestrata senza ulteriore fine-tuning, validando l'applicabilità pratica del framework.

Significato e Rivendicazioni

Il paper sostiene che HiRoC affronti il limite fondamentale delle policy VLA piatte nel gestire compiti di manipolazione a lungo orizzonte e multi-stadio. Esplicitando la progressione del task attraverso una gerarchia planner-executor e risolvendo il problema del disallineamento della distribuzione tramite SFT mirato e RL gerarchico, HiRoC consente agli agenti di eseguire una manipolazione robusta e capace di autocorrezione.

Gli autori sottolineano che, mentre il loro lavoro attuale si concentra sul post-training gerarchico, le direzioni future includono l'esplorazione dell'addestramento end-to-end e di meccanismi di decomposizione più robusti per gestire l'incertezza nei sistemi fisici. Il lavoro evidenzia l'importanza di combinare la decomposizione gerarchica dei task con l'ottimizzazione della policy basata sul reinforcement learning per far avanzare la manipolazione robotica general-purpose.