Navigating the Clutter: Waypoint-Based Bi-Level Planning for Multi-Robot Systems

1. Il Problema

Il controllo di sistemi multi-robot in ambienti affollati (cluttered) rappresenta una sfida significativa a causa delle complesse vincoli fisici, tra cui collisioni robot-robot, robot-ostacolo e movimenti irraggiungibili.
Il successo in tali scenari richiede un'ottimizzazione congiunta di due livelli di pianificazione:

1. Pianificazione di alto livello (Task): Determina la coordinazione a lungo termine e l'assegnazione delle azioni (es. quale robot muove quale oggetto e in quale ordine).
2. Pianificazione di basso livello (Motion): Realizza le assegnazioni di compito generando traiettorie continue di configurazione congiunta che evitano collisioni e rispettano i vincoli cinematici.

Le sfide principali identificate sono:

• Disallineamento Task-Motion: I piani di alto livello possono essere internamente fattibili ma portare a movimenti impossibili da eseguire (es. assegnare robot a regioni sovrapposte). Viceversa, un piano di alto livello valido può fallire se il pianificatore di movimento non riesce a trovare traiettorie libere da collisioni in ambienti densi.
• Difficoltà di Parametrizzazione: Le traiettorie di movimento robotico sono ad alta dimensionalità e continue. I modelli Vision-Language-Action (VLA) che predicono direttamente configurazioni congiunte soffrono di instabilità durante l'addestramento per rinforzo (RL) a causa dell'alta dimensionalità degli output.
• Assegnazione del Credito Ambigua: Quando task e motion sono ottimizzati congiuntamente, è difficile attribuire un fallimento: è dovuto a un errore nella pianificazione del compito o a un errore locale nel movimento? Questa ambiguità rende l'addestramento RL congiunto estremamente difficile.

2. Metodologia: WAYPLAN

Gli autori propongono WAYPLAN, un framework ibrido di controllo multi-robot che ottimizza congiuntamente la pianificazione del compito e la fattibilità del movimento.

A. Rappresentazione tramite Waypoint (Punti di Riferimento)

Per risolvere il problema della parametrizzazione del movimento, invece di predire direttamente segnali di controllo a basso livello o configurazioni congiunte dense (come fanno i VLA), il pianificatore di movimento genera traiettorie basate su waypoint.

• I waypoint sono coordinate 3D intermedie che guidano i robot attorno agli ostacoli e ad altri robot.
• Questi waypoint vengono poi convertiti in traiettorie eseguibili di pose robotiche utilizzando un algoritmo classico di pianificazione del movimento (es. RRT - Rapidly-exploring Random Trees).
• Vantaggio: Questo approccio delega la fattibilità cinematica e la verifica delle collisioni a un pianificatore affidabile, riducendo drasticamente la dimensionalità e i requisiti di dati per l'apprendimento del movimento.

B. Strategia di Addestramento a Curriculum

Per affrontare l'ambiguità nell'assegnazione del credito e stabilizzare l'ottimizzazione congiunta, viene adottata una strategia di addestramento in tre fasi:

1. Fase 1 (SFT Warm-up): Addestramento supervisionato (SFT) separato per il pianificatore di task e quello di movimento. Per il task planner, viene utilizzata una strategia di "prompting consapevole del fallimento" (failure-aware prompting) che include nel dataset di addestramento tracce di ragionamento che spiegano perché certe azioni falliscono (es. collisioni, irraggiungibilità) e come correggerle.
2. Fase 2 (RLVR Separato): Ottimizzazione separata di ciascun pianificatore utilizzando Reinforcement Learning con Reward Verificabili (RLVR). Il task planner riceve ricompense basate sul completamento del compito, mentre il motion planner viene addestrato su query di movimento isolate.
3. Fase 3 (RLVR Congiunto): Ottimizzazione congiunta dei due pianificatori.
   • Il Task Planner riceve una ricompensa che include una penalità per i piani che portano a movimenti non fattibili (motion infeasibility).
   • Il Motion Planner viene addestrato su query di movimento generate dai piani del task planner corrente.
   • Questo meccanismo permette al feedback di fallimento del movimento di propagarsi al pianificatore di task, riducendo l'ambiguità nell'assegnazione del credito.

3. Contributi Chiave

1. BoxNet3D-OBS: Introduzione di un nuovo benchmark multi-robot che estende gli ambienti precedenti con ostacoli densi e vincoli di movimento complessi, supportando fino a 9 robot.
2. Framework WAYPLAN: Un sistema ibrido basato su LLM che accoppia esplicitamente le decisioni di alto livello con la fattibilità di basso livello.
3. Strategia di Addestramento Ibrida: Sviluppo di una strategia a curriculum e di un algoritmo RLVR modificato che risolve il problema dell'ambiguità nell'assegnazione del credito tra task e motion.
4. Superiorità dei Waypoint: Dimostrazione che la pianificazione basata su waypoint supera i pianificatori di tipo VLA (Vision-Language-Action) a parità di budget di dati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su BoxNet3D-OBS confrontando WAYPLAN con baselines motion-agnostic e modelli VLA.

• Performance Superiore: WAYPLAN supera costantemente i pianificatori di task che non hanno consapevolezza del movimento. In particolare, un modello LLM di soli 4 miliardi di parametri (Qwen3-4B) addestrato con WAYPLAN raggiunge un tasso di successo del 0.62, superando modelli molto più grandi (come GPT-5) che mancano di consapevolezza del movimento.
• Impatto del Motion Planner: L'uso del pianificatore basato su waypoint porta a risultati significativamente migliori rispetto ai pianificatori VLA o agli algoritmi RRT fissi. Ad esempio, con il pianificatore waypoint, il successo sale a 0.62, mentre con il VLA scende a 0.33.
• Analisi degli Errori: I pianificatori VLA falliscono prevalentemente per traiettorie non fattibili (Invalid) o collisioni durante l'esecuzione. Al contrario, i pianificatori basati su waypoint riducono drasticamente questi errori, spostando il collo di bottiglia principale sulla fattibilità del movimento a lungo termine (task-level unreachable steps), che è un problema più gestibile.
• Efficienza: WAYPLAN riduce il tempo di inferenza totale rispetto ai metodi basati su ricerca (A*), passando da ~580 secondi a meno di 60 secondi, grazie alla riduzione delle chiamate al modello e all'uso efficiente dei waypoint.

5. Significato e Implicazioni

Questo lavoro dimostra che l'integrazione esplicita della fattibilità del movimento nella pianificazione di alto livello è cruciale per il controllo affidabile di sistemi multi-robot in ambienti complessi.

• Scalabilità: L'approccio basato su waypoint permette di scalare l'apprendimento per rinforzo a sistemi multi-robot, aggirando le difficoltà di ottimizzazione dei modelli VLA ad alta dimensionalità.
• Efficienza dei Modelli: Dimostra che modelli LLM di dimensioni moderate (4B), se addestrati correttamente con una rappresentazione appropriata (waypoint) e una strategia di curriculum, possono superare modelli generici molto più grandi in compiti di robotica complessa.
• Applicabilità Pratica: Il framework offre una via percorribile per il dispiegamento di sistemi multi-robot in magazzini automatizzati e altri ambienti reali affollati, riducendo la necessità di simulazioni costose e migliorando la sicurezza attraverso una pianificazione congiunta robusta.

In sintesi, il paper propone una soluzione elegante al problema del "gap" tra pianificazione astratta ed esecuzione fisica, utilizzando una rappresentazione intermedia (waypoint) e un addestramento curriculare per allineare efficacemente la logica di alto livello con i vincoli fisici di basso livello.