Sintesi Tecnica: RMTL – Apprendimento di Micro-task Rinforzato per la Manipolazione a Lungo Orizzonte con Ricompense VLM

Definizione del Problema

L'apprendimento per rinforzo (RL) per la manipolazione robotica a lungo orizzonte affronta un collo di bottiglia fondamentale nella progettazione delle ricompense. Le ricompense dense progettate manualmente sono fragili e spesso richiedono stati privilegiati del simulatore, mentre l'apprendimento delle ricompense da dimostrazioni umane è costoso e difficile da scalare. Approcci recenti utilizzano modelli Vision-Language (VLM) congelati come modelli di ricompensa zero-shot, sostituendo la progettazione manuale con un singolo prompt testuale che descrive l'obiettivo finale.

Tuttavia, gli autori identificano un modo critico di fallimento in questo regime a "singolo prompt": per compiti a lungo orizzonte con condizioni iniziali randomizzate, un singolo prompt globale produce una ricompensa quasi piatta per la maggior parte della traiettoria. Poiché il robot deve attraversare fasi qualitativamente diverse (ad esempio, avvicinamento, allineamento, presa) prima di raggiungere lo stato finale, gli stati intermedi iniziali spesso presentano una scarsa somiglianza semantica con il prompt dell'obiettivo finale. Di conseguenza, l'agente riceve poco o nessun segnale di gradiente per guidare l'esplorazione iniziale. Inoltre, la valutazione VLM a vista singola è suscettibile al rumore da occlusione (ad esempio, la pinza che blocca l'oggetto), degradando ulteriormente il segnale.

Metodologia: RMTL

Gli autori propongono l'Apprendimento di Micro-task Rinforzato (RMTL), una pipeline progettata per scomporre il compito di manipolazione in una sequenza di micro-task descritti tramite linguaggio, creando così un panorama di ricompensa più informativo. Il metodo opera sull'ambiente di manipolazione Fetch utilizzando un VLM congelato (PE-Core-bigG-14-448) e consiste nei seguenti componenti principali:

1. Scomposizione in Micro-task e Ricompensa a Fasi

Invece di un singolo prompt globale, RMTL scompone il compito in $K$ prompt brevi e specifici per fase (ad esempio, "avvicinamento", "allineamento", "presa").

• Selezione Attiva del Prompt: In ogni dato istante temporale, l'agente viene valutato solo rispetto al prompt corrispondente al micro-task attualmente attivo.
• Calcolo della Ricompensa: La ricompensa è calcolata come la similarità del coseno tra l'embedding dell'immagine e l'embedding testuale del micro-task attivo, proiettata lungo l'asse semantico definito dalla differenza tra il prompt target e un prompt di base "senza progresso".
• Trasformazione del Segnale: Questa scomposizione trasforma il segnale a singolo prompt quasi piatto in un segnale a tratti monotono, permettendo all'agente di ricevere gradienti positivi mentre progredisce attraverso ogni specifica fase.

2. Aggregazione Multi-Vista

Per mitigare l'occlusione e l'ambiguità specifica della vista, il sistema renderizza $V=6$ punti di vista fissi della telecamera. Il VLM valuta ogni vista indipendentemente rispetto al prompt del micro-task attivo, e questi punteggi vengono aggregati tramite media aritmetica per produrre la ricompensa scalare. Questo approccio smussa le fluttuazioni per singola vista e il rumore di occlusione senza fondere i dati dei pixel in precedenza.

3. Apprendimento a Curriculum Inverso

L'addestramento diretto su condizioni iniziali completamente randomizzate è fragile perché la ricompensa VLM è poco informativa quando l'agente parte lontano dall'oggetto. RMTL impiega un curriculum inverso che allarga gradualmente la distribuzione delle pose iniziali della pinza da una regione "facile" (vicino all'oggetto) a tutto lo spazio di lavoro randomizzato. La progressione verso condizioni iniziali più difficili è regolata da statistiche di successo online, garantendo che l'agente affronti sfide più dure solo una volta risolto in modo affidabile il livello corrente.

4. Apprendimento di Policy Gerarchica (Due Fasi)

Il sistema addestra in due fasi distinte per passare dalla selezione basata su regole alla selezione di fase completamente appresa:

• Fase 1 (Basata su Regole): Un worker PPO viene addestrato utilizzando una regola deterministica basata sulla distanza per selezionare il micro-task attivo. Ciò fornisce una base stabile e genera dati per la fase successiva.
• Fase 2 (Manager Appreso): Un piccolo manager a azione discreta gerarchica (un piccolo MLP) viene introdotto per sostituire il selettore basato su regole.
  • Warmstart: Il manager viene inizializzato tramite Behavior Cloning (BC) utilizzando le etichette della regola della Fase 1.
  • Raffinamento: Il manager viene ulteriormente raffinato tramite REINFORCE sui ritorni di segmento, mentre l'attore del worker PPO è inizialmente congelato per stabilizzare l'obiettivo di apprendimento.
  • Risultato: Questo trasforma la selezione della fase euristica in una policy gerarchica completamente appresa.

Contributi Chiave

Il paper rivendica quattro contributi primari:

1. Scomposizione in Micro-task: Dimostrare che la suddivisione della ricompensa VLM in tre prompt specifici per fase converte un segnale quasi piatto in un segnale a tratti monotono e scalabile, permettendo a PPO di convergere dove i baseline a singolo prompt falliscono.
2. Manager Gerarchico Appreso: Mostrare che un piccolo manager appreso, avviato con un warmstart da un selettore basato su regole, può eguagliare o superare le prestazioni della regola pur rimanendo stabile, automatizzando efficacemente la selezione della fase.
3. Aggregazione Multi-Vista: Provare che la media dei punteggi VLM su più viste riduce il rumore di occlusione e produce un segnale di addestramento più fluido rispetto a una singola vista, senza penalizzare la forma del gradiente.
4. Curriculum Inverso: Stabilire che un curriculum inverso è necessario per colmare il divario tra le condizioni iniziali facili e il regime di inizializzazione casuale, poiché le ricompense linguistiche da sole sono insufficienti per avviare l'esplorazione negli scenari più difficili.

Risultati Sperimentali

Gli esperimenti sono stati condotti sull'ambiente FetchPickAndPlace-v4 con condizioni iniziali randomizzate.

• Performance: L'intero stack RMTL con il manager appreso ha raggiunto un tasso di successo di circa il 98% sulle inizializzazioni casuali.
• Confronti:
  • Baseline a Singolo Prompt: Le varianti che utilizzano un singolo prompt globale (con singola vista o multi-vista) non sono riuscite a convergere (0% di successo).
  • Regola vs. Manager Appreso: Il manager appreso ha superato la regola basata sulla distanza (98% contro 94%), nonostante concordi con la regola solo il 73% delle volte. Ciò suggerisce che la regola è un buon bias induttivo ma subottimale.
  • PPO Non Gerarchico: Un normale worker PPO senza scomposizione gerarchica ha ottenuto l'89% di successo.
• Qualità della Ricompensa: L'analisi ha mostrato che l'aggregazione multi-vista ha prodotto traiettorie di ricompensa più fluide rispetto alle singole viste, e che la scomposizione in micro-task ha fornito gradienti significativamente più informativi rispetto all'approccio a singolo prompt.

Significato e Rivendicazioni

Il paper sostiene che la scomposizione delle ricompense VLM in prompt linguistici specifici per micro-task migliori sostanzialmente la scalabilità dell'RL guidato dal linguaggio per la manipolazione robotica. Affrontando il modo di fallimento del "segnale di ricompensa quasi piatto" tipico degli approcci a singolo prompt, RMTL consente agli agenti di apprendere compiti complessi a lungo orizzonte utilizzando solo osservazioni visive e linguaggio naturale, senza richiedere stati privilegiati del simulatore o costose dimostrazioni umane.

Gli autori osservano che, sebbene l'approccio sia efficace, eredita i limiti percettivi del VLM sottostante (ad esempio, sensibilità a luce e texture) e attualmente si affida a prompt scritti a mano. Il lavoro futuro mira ad automatizzare il processo di generazione dei prompt utilizzando Large Language Models (LLM) per scomporre compiti di alto livello in micro-task, rimuovendo l'ultimo elemento manuale della pipeline.