Riepilogo Tecnico: CRAFT – Coaching Reinforcement Learning Autonomamente utilizzando Modelli di Fondazione per Compiti di Coordinamento Multi-Robot

1. Formulazione del Problema

Il documento affronta la sfida di applicare il Multi-Agent Reinforcement Learning (MARL) a compiti di coordinamento multi-robot nel mondo reale. Sebbene il MARL offra un framework per il processo decisionale decentralizzato, la sua applicazione nella robotica è ostacolata da:

• Spazi di azione congiunta continui ad alta dimensionalità.
• Reward (ricompense) sparse e complesse: Definire ricompense che catturino sia i comportamenti individuali che il necessario coordinamento di squadra è difficile.
• Non-stazionarietà: Gli agenti che apprendono concorrentemente creano un ambiente variabile l'uno per l'altro.
• Compiti a lungo orizzonte (long-horizon): Compiti che richiedono comportamenti ricchi di contatto su più fasi spesso falliscono perché piccoli errori nelle prime interazioni impediscono il successo successivo.

Gli autori sostengono che gli esseri umani apprendano la coordinazione complessa attraverso il "coaching" (l'addestramento): un processo che prevede la progettazione del curriculum (suddivisione del compito in sottotasti), la fornitura di segnali di apprendimento (ricompense) e la valutazione dei progressi. Essi argomentano che i Modelli di Fondazione (Large Language Models - LLM e Vision-Language Models - VLM) possono automatizzare questo ruolo di coach, scomponendo i compiti, generando ricompense e perfezionandole sulla base di feedback visivi e quantitativi.

2. Metodologia: Il Framework CRAFT

CRAFT (Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks) opera attraverso un ciclo di coaching automatizzato composto da quattro moduli chiave:

2.1 Modulo di Generazione del Curriculum

Un Curriculum LLM scompone un compito target a lungo orizzonte ($M_{target}$) in una sequenza di $K$ sottotasti ($M_1, \dots, M_K$).

• Processo: L'LLM riceve una descrizione in linguaggio naturale del compito e dell'ambiente. Per mitigare la stocasticità degli output dell'LLM, il sistema genera molteplici curriculum candidati e sollecita l'LLM a perfezionarli in un singolo curriculum coerente.
• Grounding: I sottotasti sono descritti utilizzando variabili di stato specifiche dell'ambiente (ad es. "minimizzare la distanza euclidea dalla maniglia") piuttosto che un vago linguaggio naturale, per garantire una progettazione precisa della ricompensa.

2.2 Modulo di Generazione della Funzione di Ricompensa

Per ogni sottotesto $M_k$, un Reward Generation LLM traduce la descrizione in linguaggio naturale in una funzione di ricompensa Python eseguibile ($R_k$).

• Contesto: All'LLM vengono forniti descrizioni dell'ambiente, funzioni helper (per elaborare stati ad alta dimensionalità) e funzioni di ricompensa dai sottotesti precedenti per prevenire l'oblio catastrofico.
• Struttura: La ricompensa è scomposta in componenti interpretabili (ad es. lift_reward, balance_reward) per facilitare l'analisi successiva.
• Training: Una policy decentralizzata $\pi_k$ viene addestrata utilizzando un algoritmo di Centralized Training and Decentralized Execution (CTDE) (specificamente MAPPO).

2.3 Modulo di Valutazione della Policy

Prima di avanzare al sottotesto successivo, un Evaluation VLM valuta la policy addestrata $\pi_k$.

• Input: Il VLM analizza immagini di rollout (istantanee visive) e traiettorie delle variabili di stato.
• Decisione: Determina se la policy ha completato con successo il sottotesto.
  • Successo: Il curriculum procede verso $M_{k+1}$.
  • Fallimento: Il VLM fornisce una ragione del fallimento, innescando il ciclo di raffinamento.

2.4 Modulo di Raffinamento della Ricompensa

Se una policy fallisce, il sistema entra in un ciclo di raffinamento (fino a $J$ iterazioni, tipicamente $J=3$):

1. Generazione del Consiglio: Un Advice VLM analizza la ragione del fallimento, il codice della ricompensa corrente e le curve di apprendimento delle componenti della ricompensa (grafici che mostrano come termini specifici della ricompensa siano evoluti durante l'addestramento). Genera un consiglio in linguaggio libero su come modificare la ricompensa (ad es. "aumentare il peso del termine di sollevamento", "rimuovere il quadrato dall'elevazione").
2. Raffinamento della Ricompensa: Un Refine LLM prende il codice della ricompensa fallita e il consiglio del VLM per generare una nuova funzione di ricompensa raffinata ($R^{j+1}_k$).
3. Retraining: La policy viene riaddestrata con la nuova ricompensa. Se tutti i tentativi falliscono, viene selezionata la migliore policy tra le iterazioni e il curriculum passa al sottotesto successivo.

Warm-Starting: Quando si passa a un nuovo sottotesto, i pesi della policy vengono inizializzati dalla policy di successo del sottotesto precedente. Per prevenire la "perdita di plasticità" (convergenza verso ottimi locali), il sistema resetta i parametri di esplorazione (deviazione standard della policy) e i pesi della rete di valore, preservando invece i pesi dell'attore.

3. Contributi Chiave

1. Framework CRAFT: Un nuovo framework che sfrutta le capacità di ragionamento dei modelli di fondazione per addestrare autonomamente team multi-robot attraverso compiti di coordinamento a lungo orizzonte.
2. Automazione del Curriculum e della Progettazione delle Ricompense: L'integrazione di LLM per la decomposizione dei compiti e la generazione di ricompense, unita a VLM per la valutazione visiva e il raffinamento delle ricompense, riducendo la necessità di progettare manualmente curricula e funzioni di ricompensa.
3. Validazione Empirica: Dimostrazione dell'efficacia di CRAFT su compiti multi-robot complessi (navigazione di quadrupedi attraverso un cancello e manipolazione bimanuale) dove il MARL standard e i baseline LLM falliscono.
4. Trasferimento nel Mondo Reale: Trasferimento zero-shot riuscito delle policy apprese dalla simulazione all'hardware fisico (quadrupedi Unitree Go1 e Go2) senza fine-tuning.

4. Risultati Sperimentali

Gli autori hanno valutato CRAFT su tre ambienti: Quadruped Gate (passaggio attraverso un cancello stretto), Quadruped Seesaw (bilanciamento e salita) e Two-Arm Lift (sollevamento cooperativo di un vaso).

• Performance rispetto ai Baseline:
  • CRAFT ha ottenuto i tassi di successo più elevati in Seesaw (59,33%) e Lift (94,67%), e rimane competitivo in Gate (78,33%).
  • Baseline: "Env Reward" (progettata da umani) e "Example Reward" hanno ottenuto tassi di successo vicini allo zero o molto bassi. "From Scratch" (ricompense CRAFT senza curriculum) è stato significativamente peggiore di CRAFT, evidenziando la necessità del curriculum.
  • Baseline LLM: Rispetto a Eureka (ricerca della ricompensa tramite LLM senza curriculum) e CurricuLLM (curriculum tramite LLM senza raffinamento VLM), CRAF ha superato entrambi. Eureka ha spesso appreso policy con configurazioni articolari innaturali che erano fisicamente implausibili, mentre CurricuLLM ha sofferto di una minore affidabilità a causa della mancanza di raffinamento della ricompensa.
• Efficacia del Raffinamento della Ricompensa: Il ciclo di raffinamento guidato dal VLM ha migliorato significativamente il "Curriculum Success Ratio" (la frazione di tentativi che portano a una policy di successo) e il "Maximum Success Rate" rispetto a CurricuLLM.
• Affidabilità del VLM: Il modulo di valutazione della policy del VLM ha raggiunto un'accuratezza dell'85,71% rispetto alla verità di base (ground truth), con errori che consistevano in falsi negativi conservativi (rigetto di policy di successo), il che è tollerabile poiché innesca semplicemente un ulteriore raffinamento.
• Trasferimento Hardware: Nel compito Quadruped Gate, la policy addestrata in simulazione ha raggiunto un tasso di successo del 65% su robot reali in 20 tentativi senza alcun fine-tuning, dimostrando un robusto trasferimento sim-to-real.

5. Significato e Rivendicazioni

Il documento afferma che CRAFT dimostra la validità dell'uso dei modelli di fondazione come coach autonomi per sistemi multi-robot. La sua importanza risiede nel:

• Riduzione dell'Intervento Umano: Automatizzare il processo laborioso di progettazione di curriculum e funzioni di ricompensa per compiti di coordinamento complessi.
• Abilitazione di Coordinamento Complesso: Apprendere con successo comportamenti difficili da acquisire tramite addestramento diretto o progettazione di ricompense statiche, specialmente in scenari a lungo orizzonte e ricchi di contatto.
• Plausibilità Fisica: L'approccio a curriculum a stadi guida gli agenti verso comportamenti fisicamente fattibili (ad es. prese stabili prima del sollevamento) piuttosto che ottimizzare esclusivamente per il successo finale, il che spesso porta a movimenti innaturali nei metodi di ottimizzazione diretta come Eureka.

Limitazioni Riconosciute:

• Stocasticità: La dipendenza dai modelli di fondazione introduce variabilità; alcuni tentativi possono fallire a causa di un cattivo curriculum o di una cattiva generazione della ricompensa, sebbene ciò sia gestibile in simulazione eseguendo più tentativi.
• Dipendenza dal VLM: Il modulo di valutazione si affida pesantemente alle traiettorie numeriche dello stato piuttosto che esclusivamente alle informazioni visive, il che potrebbe limitare la rilevazione di fallimenti basati sulla visione (ad es. scarsa coordinazione spaziale).
• Scalabilità: L'approccio attuale richiede molteplici query LLM/VLM per ogni sottotesto, il che potrebbe essere computazionalmente costoso, sebbene gli autori notino che è sufficiente per i compiti testati.

Gli autori concludono che, sebbene i modelli di fondazione introducano stocasticità, la loro capacità di scomporre i compiti e raffinare le ricompense autonomamente offre una strada promettente verso un coordinamento multi-robot scalabile e affidabile in ambienti del mondo reale.