A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

Sintesi Tecnica: Un Framework Conversazionale per la Manipolazione Collaborativa Uomo-Robot con Modelli di IA Generativa Distribuiti

Problematica
Sebbene la manipolazione robotica abbia fatto progressi significativi nella pianificazione e nel controllo, l'interazione tramite linguaggio naturale in contesti collaborativi reali rimane problematica. I comandi dell'utente sono spesso incompleti, le descrizioni della scena ambigue e gli oggetti visivamente simili dal punto di vista del robot. Inoltre, i recenti Large Language Models (LLM) e i Vision-Language Models (VLM) introducono rischi di affidabilità; nello specifico, la tendenza degli LLM a "allucinare" (generare contenuti plausibili ma errati) pone una diretta minaccia alla sicurezza nella robotica, dove un'interpretazione errata può innescare azioni fisiche indesiderate. Gli approcci esistenti spesso si affidano a policy end-to-end monolithiche o mancano di barriere di sicurezza esplicite, rendendo difficile il debugging dei fallimenti o la garanzia della supervisione dell'operatore prima dell'esecuzione del movimento.

Metodologia
Gli autori propongono un framework conversazionale distribuito implementato come una pipeline multi-agente ROS 2. Il sistema disaccoppia la comprensione del linguaggio, il grounding visivo, l'orchestrazione e l'esecuzione del movimento in nodi separati, consentendo una distribuzione flessibile su hardware eterogenei (ad esempio, dispositivi edge e workstation con GPU).

• Architettura: La pipeline consiste in:
  • Web Dashboard: Accetta comandi in linguaggio naturale libero e visualizza l'intento intermedio e i overlay di grounding (coordinate di pixel, profondità e frame del robot).
  • Nodo Coordinatore: Instrada le richieste, combina i dati visivi con profondità/calibrazione e gestisce un ciclo di conferma orientato alla sicurezza.
  • Nodo LLM (Comprensione del Linguaggio): Analizza i comandi dell'utente in richieste di azione strutturate (ad esempio, prendi, posiziona, consegna) ed estrae i parametri. Nella configurazione predefinita, questo gira su un NVIDIA Jetson AGX Orin con il modello ministral-3:8b.
  • Nodo VLM (Grounding Visivo): Elabora immagini RGB-D per localizzare oggetti basandosi su descrizioni in linguaggio naturale. Nella configurazione predefinita, questo gira su una workstation RTX 6000 con Qwen2.5-VL 32B.
  • Esecutore di Movimento: Genera ed esegue le traiettorie del robot tramite MoveIt2.
• Meccanismo di Sicurezza: Il sistema impone una rigorosa barriera di sicurezza "human-in-the-loop". Gli output linguistici e visivi vengono tradotti in richieste di azione strutturate, ma nessun movimento viene eseguito senza la conferma esplicita dell'operatore tramite la dashboard. La dashboard visualizza l'intento interpretato e la specifica posizione target (pixel, profondità e frame del robot) prima che l'utente approvi l'azione.
• Pipeline di Grounding: Il VLM restituisce target nello spazio dell'immagine (coordinate di pixel). Questi vengono fusi con i dati di profondità utilizzando un stimatore locale robusto (mediana di un vicinato 5×5) per recuperare i punti 3D nel frame della telecamera. Questi vengono poi trasformati nel frame di base del robot tramite calibrazione con marker ArUco offline e offset fissi.
• Deployment: Entrambi i modelli IA girano localmente tramite Ollama per garantire la privacy e una latenza prevedibile, evitando dipendenze dal cloud. Il sistema supporta l'operatività zero-shot senza fine-tuning su categorie di oggetti specifiche, facendo affidamento sulla conoscenza generale pre-addestrata dei modelli.

Contributi Chiave

1. Pipeline Multi-Agente Distribuita in ROS 2: Un'architettura modulare che separa linguaggio, visione, orchestrazione ed esecuzione del movimento, consentendo deployment flessibili su singola macchina o su più dispositivi e una facile adattabilità all'hardware disponibile.
2. Web Dashboard con Conferma Esplicita: Un'interfaccia utente che espone l'intento intermedio e gli overlay di grounding, imponendo un gate di conferma esplicito dell'operatore prima che venga innescato qualsiasi movimento robotico.
3. Pipeline di Grounding Open-Vocabulary da Immagine a Frame del Robot: Un metodo per generare target metrici nel frame del robot per primitive di presa, posizionamento e consegna partendo da dati pixel/profondità senza richiedere il fine-tuning di modelli specifici per il task.
4. Valutazione sotto Ambiguità: Un benchmark sperimentale che valuta l'affidabilità end-to-end del task e la latenza attraverso livelli crescenti di ambiguità della scena (oggetti singoli, multipli o sovrapposti), confrontando anche diverse configurazioni di LLM/VLM all'interno della stessa architettura modulare.

Risultati
Il framework è stato valutato su un robot Franka Emika FR3 con una telecamera Realsense D435i. Il benchmark ha previsto 180 esecuzioni di task di presa, posizionamento e consegna in scenari con oggetti singoli, multipli e sovrapposti.

• Migliore Configurazione: Il deployment distribuito predefinito (ministral-3:8b su Jetson + Qwen2.5-VL 32B su RTX 6000) ha raggiunto il 100% di successo (5/5) in tutti i task e livelli di ambiguità. Ha inoltre dimostrato le latenze più basse (5.47s per l'LLM, 9.57s per il VLM).
• Impatto dell'Hardware: Eseguire il VLM su una workstation condivisa con l'LLM (ad esempio, usando LLaMA 3.1 8B sullo stesso RTX 6000) ha aumentato significativamente la latenza del VLM (fino a 42.83s) e ha ridotto i tassi di successo in scenari complessi (ad esempio, la consegna è scesa a 4/5).
• Sensibilità del Modello: Configurazioni che utilizzavano modelli più piccoli o meno capaci (ad esempio, DeepSeek-R1 7B + LLaVA 7B) hanno prodotto lo 0% di successo, fallendo nel completare le prove. Modelli VLM più grandi (ad esempio, Llama 3.2-Vision 90B) non hanno necessariamente migliorato i tassi di successo e hanno introdotto costi maggiori in termini di memoria e latenza.
• Vincoli di Memoria: La RAM durante l'esecuzione era dominata dal VLM (ad esempio, ~127 GB per il modello 32B), giustificando l'approccio distribuito in cui il modello di visione gira su una workstation ad alta memoria mentre il pianificatore linguistico gira su un dispositivo edge (43 GB osservati su Jetson).
• Modalità di Fallimento: L'analisi qualitativa ha mostrato che, anche con output VLM ad alta confidenza, possono verificarsi errori di grounding (ad esempio, la selezione dell'oggetto sbagliato in una scena con oggetti sovrapposti), validando la necessità del passaggio di conferma esplicita.

Significatività e Claim
Il paper sostiene che il suo contributo primario non sia una nuova policy end-to-end, ma piuttosto un framework di integrazione di sistema che privilegia la sicurezza, l'interpretabilità e la flessibilità. Separando il "cosa" (linguaggio), il "dove" (visione) e il "come" (controllo) in rappresentazioni intermedie ispezionabili e tipizzate, il sistema permette:

• Sicurezza Proattiva: Prevenire azioni fisiche indesiderate attraverso la conferma esplicita dell'operatore sui target localizzati.
• Debuggabilità: La capacità di isolare i fallimenti a specifici moduli (linguaggio vs visione) e di sostituire i modelli senza riprogettare lo stack di controllo.
• Deployment Pratico: Una via percorribile per il deployment di IA generativa in contesti di HRI reali, bilanciando i requisiti computazionali (edge vs workstation) e mantenendo la privacy attraverso l'inferenza locale.

Gli autori riconoscono i limiti, notando che il sistema fatica con il ragionamento compositivo altamente complesso (ad esempio, logica condizionale basata sul valore degli oggetti) e manca di memoria conversazionale per comandi di follow-up dipendenti dal contesto. Tuttavia, posizionano il framework come un passo pratico verso una manipolazione basata sul linguaggio più sicura e interpretabile nella collaborazione uomo-robot.