InteLiPlan: An Interactive Lightweight LLM-Based Planner for Domestic Robot Autonomy

Sintesi Tecnica di "InteLiPlan: Un Pianificatore Interattivo Leggero Basato su LLM per l'Autonomia di Robot Domestici"

Problematica
L'integrazione di Large Language Models (LLM) e Vision-Language Models (VLM) nella robotica ha fatto avanzare l'IA incarnata (embodied AI), ma rimangono sfide significative nel dispiegamento di questi modelli per l'autonomia domestica. Gli approcci attuali spesso si affidano a dataset massicci, risorse computazionali offboard o specifiche di dominio predefinite (es. PDDL), il che limita la scalabilità e il dispiegamento in tempo reale. Inoltre, i pianificatori esistenti spesso non tengono conto della cinematica del robot e dei vincoli geometrici, portando a piani che sono semanticamente corretti ma fisicamente impraticabili. Inoltre, i sistemi puramente autonomi faticano con l'osservabilità parziale, le istruzioni ambigue dell'utente e i fallimenti nell'esecuzione, mancando di meccanismi robusti per il recupero senza un esteso riaddestramento o la supervisione umana.

Metodologia
Gli autori propongono InteLiPlan, un framework leggero e robot-agnostico progettato per essere eseguito interamente onboard utilizzando risorse computazionali in tempo reale. Il sistema funziona come un pianificatore multimodale centralizzato che colma il divario tra comandi in linguaggio naturale, percezione visiva e fattibilità del movimento.

• Formulazione dell'Input Multimodale: Il pianificatore accetta tre input primari:

  1. Comando Utente ($T_{user}$): Richieste in linguaggio naturale o guida per il recupero.
  2. Osservazione Visiva ($f_{seen}$): Feedback testuale derivato da una telecamera RGB-D onboard (utilizzando YOLO per il rilevamento degli oggetti) che indica la presenza e la posizione degli oggetti target.
  3. Punteggio di Fattibilità ($f_{score}$): Un segnale binario generato da un modulo di verifica del movimento (che utilizza un grafo di raggiungibilità da R-LGP) che determina se esiste una traiettoria collision-free a corpo intero verso il target.
  4. Cronologia ($T_{hist}$): Un registro della conversazione e dei precedenti stati di fallimento per mantenere il contesto.

• Architettura e Fine-Tuning: Il nucleo è un LLM leggero sottoposto a fine-tuning (specificamente Mistral 7B e Deepseek 8B). Invece di fare affidamento sul prompting zero-shot o su un massiccio addestramento end-to-end, gli autori impiegano il Low-Rank Adaptation (LoRA) per un fine-tuning efficiente dei parametri. Il dataset di addestramento consiste in esempi di puro testo formattati come conversazioni multimodali (es. <history>, <user>, <vision>, <feasibility> $\rightarrow$ <robot>), dove l'output è una sequenza diretta di primitive di azione (es. go, pick, place). Questo approccio consente al modello di apprendere la mappatura dai vincoli multimodali alle chiamate API eseguibili senza richiedere dati specifici del robot.

• Meccanismo Human-in-the-Loop (HITL): Un componente critico del framework è la capacità di gestire i fallimenti attraverso l'intervento umano. Il sistema categorizza i fallimenti in: pianificazione (visione/fattibilità), confusione del compito (ambiguità) e fallimenti di esecuzione. Al rilevamento di un fallimento, il robot riporta il contesto del problema all'utente. L'umano può quindi fornire una guida correttiva, che l'LLM utilizza per ripianificare. Questo meccanismo garantisce sicurezza e robustezza in ambienti domestici complessi e parzialmente osservabili.

Contributi Chiave

1. Pianificazione Onboard Leggera: Dimostra che un LLM con 7 miliardi di parametri, quando sottoposto a fine-tuning con una specifica struttura multimodale, può raggiungere prestazioni di pianificazione allo stato dell'arte pur eseguendosi interamente su hardware onboard (NVIDIA RTX 2070), eliminando la necessità di dipendenza dal cloud.
2. Pipeline Robot-Agnostica: Il framework non richiede il riaddestramento per diverse incarnazioni robotiche. Astraendo le capacità del robot in un set di abilità condivise e utilizzando grafi di raggiungibilità per i controlli di fattibilità, lo stesso modello è stato implementato con successo su due piattaforme distinte: il Toyota Human Support Robot (HSR) e l'ANYmal D con un braccio Unitree Z1.
3. Recupero del Fallimento Interattivo: A differenza di lavori precedenti che si concentrano esclusivamente sul recupero autonomo o sulla pianificazione di alto livello, InteLiPlan integra esplicitamente la guida umana per i casi limite (es. riferimenti ambigui, fallimenti della visione indotti dalla luce), migliorando significativamente i tassi di completamento dei compiti in scenari di fallimento.
4. Dati Multimodali Testualizzati: Gli autori introducono un metodo per convertire i vincoli visivi e geometrici in segnali testuali per l'LLM, consentendo al modello di ragionare sulla fattibilità fisica senza elaborare direttamente i dati grezzi dei sensori.

Risultati Sperimentali
Il framework è stato valutato in simulazione e su robot reali attraverso tre metriche: successo della pianificazione del compito, spiegazione del fallimento e recupero del fallimento.

• Robustezza al Fallimento: Nel compito "fetch me" (portami...), InteLiPlan ha raggiunto un tasso di successo del 95% in scenari che richiedevano il recupero dal fallimento. Al contrario, i baseline basati su prompt (Mistral-Prompt, Deepseek-Prompt) hanno visto i tassi di successo diminuire significativamente (ad esempio, dal 100% a circa il 50% o meno) di fronte a oggetti o comandi imprevisti che richiedevano il recupero.
• Generalizzazione: Il metodo ha ottenuto un successo del 100% negli scenari "senza fallimento" sia per comandi/oggetti visti che non visti. Negli scenari "con fallimento", i modelli fine-tuned (Mistral-Ours) hanno costantemente superato i loro controparti basati su prompt, in particolare nella gestione della confusione del compito e dei fallimenti di esecuzione.
• Scalabilità (SayCan Benchmark): Valutato su 101 compiti del dataset SayCan, InteLiPlan (Mistral-7B) ha raggiunto un tasso di successo della pianificazione dell'83% e un tasso di successo dell'esecuzione dell'82%. Questa prestazione è paragonabile al sistema PaLM-SayCan con 504B di parametri (84% pianificazione, 74% esecuzione), nonostante l'utilizzo di un modello con significativamente meno parametri e senza dati specifici del robot.
• Cross-Embodiment: Il sistema si è generalizzato con successo tra le piattaforme HSR (11-DoF) e Anytree (12-DoF) senza ulteriore fine-tuning, validando la sua natura robot-agnostica.
• Latenza: Il sistema genera sequenze di azioni eseguibili in meno di 7 secondi su risorse onboard, con il controllo di fattibilità che rappresenta la componente più dispendiosa in termini di tempo (~5s).

Significatività e Rivendicazioni
L'articolo sostiene che InteLiPlan affronti il divario critico tra le capacità di ragionamento degli LLM e i vincoli fisici dei sistemi robotici. Combinando un LLM leggero e sottoposto a fine-tuning con una pipeline di input multimodale strutturata e un meccanismo di recupero human-in-the-loop, gli autori dimostrano una via verso l'autonomia robotica domestica robusta, interpretabile e implementabile. Il lavoro evidenzia che la pianificazione di alto livello non richiede necessariamente modelli massicci o dataset estesi; piuttosto, l'integrazione efficace di percezione, controlli di fattibilità e guida umana permette a modelli leggeri di raggiungere l'affidabilità comparabile a sistemi molto più grandi e all'avanguardia. Gli autori concludono che il loro approccio riduce lo sforzo di definizione dei domini di compito tradizionali e offre una soluzione pratica per applicazioni robotiche nel mondo reale con risorse limitate.