ALRM: Agentic LLM for Robotic Manipulation

Sintesi Tecnica: ALRM (Agentic LLM per la Manipolazione Robotica)

Problematica
Sebbene i Large Language Models (LLM) abbiano dimostrato capacità avanzate di ragionamento e pianificazione, la loro integrazione nelle pipeline di controllo robotico rimane limitata da due ostacoli primari. In primo luogo, gli approcci basati su LLM precedenti spesso mancano di meccanismi di esecuzione agentici e modulari, impedendo ai sistemi di pianificare, riflettere sugli esiti e rivedere le azioni in modo a ciclo chiuso (closed-loop). In secondo luogo, i benchmark esistenti per i compiti di manipolazione robotica si concentrano prevalentemente sul controllo di basso livello, fallendo nel valutare sistematicamente il ragionamento multistep o la robustezza degli agenti rispetto alle variazioni linguistiche nelle istruzioni dei compiti.

Metodologia: Il Framework ALRM
Gli autori propongono ALRM (Agentic LLM for Robot Manipulation), un framework progettato per colmare il divario tra il ragionamento in linguaggio naturale e l'esecuzione robotica affidabile. L'architettura si basa su un ciclo di ragionamento in stile ReAct e comprende tre moduli principali:

1. Agente di Pianificazione del Compito (Task Planner Agent): Genera cicli iterativi di pensiero e azione per scomporre le richieste di alto livello dell'utente in sottotitoli (subtasks). Crea dinamicamente sottotitoli basandosi sulle osservazioni ambientali e sul feedback dall'esecutore.
2. Agente di Esecuzione del Compito (Task Executor Agent): Converte i sottotitoli in linguaggio naturale in azioni eseguibili. Questo agente opera in due modalità complementari:
   • Code-as-Policy (CaP): L'LLM genera codice Python che chiama direttamente le funzioni di controllo disponibili (ad es., pick, place, move) in un'unica esecuzione. Questa modalità è più veloce e supporta modelli privi di capacità di tool-calling, ma è fragile rispetto agli errori di generazione del codice.
   • Tool-as-Policy (TaP): L'LLM esegue le azioni tramite chiamate a strumenti nidificate in passaggi interattivi. Questa modalità consente il ragionamento intermedio e la correzione degli errori (ad es., riferendosi a un oggetto errato), ma comporta una latenza maggiore e dipende dall'affidabilità del modello nel tool-calling.
3. Server API: Un server RESTful che interfaccia con il backend robotico (braccio Interbotix wx250s in simulazione Gazebo tramite ROS e MoveIt), gestendo le query di percezione e i comandi di movimento.

Contributi Chiave

• Framework ALRM: Un nuovo framework agentico modulare che supporta le modalità di esecuzione sia CaP che TaP, consentendo la pianificazione iterativa e la riflessione.
• Nuovo Benchmark: Un benchmark di simulazione composto da 56 compiti in tre ambienti (Utensili da cucina, Scatole, Frutta). Il benchmark presenta tre compiti canonici per ambiente, ciascuno parafrasato in cinque variazioni che coprono quattro categorie linguistiche: Lessicale, Sintattica, Semantica e Ragionamento di Alto Livello (HLR). Questo design testa specificamente la capacità dell'agente di gestire istruzioni diverse e ragionamenti complessi (ad es., selezionare oggetti in base a proprietà come "il più basso contenuto calorico" piuttosto che nomi espliciti).
• Valutazione Sistematica: Una valutazione completa di dieci LLM (sia open-source che closed-source) attraverso entrambe le modalità di esecuzione, misurando i tassi di successo e la latenza.
• Ambiente di Simulazione: Un ambiente di simulazione riutilizzabile basato su Gazebo integrato con ROS e MoveIt per supportare il dispiegamento e il test della manipolazione guidata da LLM.

Risultati Sperimentali
Gli autori hanno valutato dieci LLM, inclusi GPT-5, Claude-4.1-Opus, DeepSeek-V3.1 e modelli open-source come Falcon-H1-7B e Llama-3.1-8B.

• Performance dei Modelli:
  • Closed-Source: Claude-4.1-Opus è emerso come il miglior performer, raggiungendo tassi di successo medi del 93,5% in modalità TaP e del 92,6% in modalità CaP.
  • Open-Source: Falcon-H1-7B è stato il miglior modello open-source sotto la modalità CaP, raggiungendo un tasso di successo dell'84,3% con una latenza significativamente inferiore (24,89s) rispetto ai modelli più grandi.
• Confronto tra Modalità: Gli LLM di grandi dimensioni hanno generalmente raggiunto tassi di successo più elevati con TaP (sfruttando il ragionamento nidificato), ma al costo di una maggiore latenza. Al contrario, i modelli di piccola scala (fino a 8 miliardi di parametri) hanno faticato con TaP a causa delle difficoltà nel gestire chiamate nidificate, ma si sono dimostrati competitivi con CaP.
• Categorie di Compiti: I modelli di grandi dimensioni si sono comportati costantemente bene in tutte le categorie linguistiche, incluso il ragionamento di alto livello. I modelli di piccola scala hanno eccelso nelle variazioni sintattiche, ma hanno mostrato cali di performance significativi nei compiti di ragionamento di alto livello, specialmente quando richiesti di generare codice (CaP) o gestire catene di strumenti complesse (TaP).

Significatività e Rivendicazioni
Il documento sostiene che ALRM fornisce un approccio scalabile, interpretabile e modulare alla manipolazione robotica. I risultati dimostrano che gli LLM possono risolvere efficacemente compiti robotici astratti e di alto livello quando dotati di framework agentici che supportano la riflessione e la revisione a ciclo chiuso. Gli autori sottolineano che, sebbene i modelli closed-source guidino attualmente nelle prestazioni, specifici modelli open-source (come Falcon-H1-7B) offrono un'alternativa valida a bassa latenza per l'esecuzione basata su codice. Il lavoro evidenzia l'importanza di valutare gli agenti non solo sulla completamento del compito, ma anche sulla loro robustezza alla diversità linguistica e sulla loro capacità di ragionare sulle proprietà degli oggetti.

Limitazioni e Direzioni Future
Gli autori riconoscono che le prestazioni del framework dipendono dal prompt engineering e che l'attuale benchmark è limitato a tre ambienti e compiti di pick-and-place. Si suggerisce come lavoro futuro l'espansione del benchmark per includere la navigazione e tipi di compiti più diversificati, nonché l'integrazione di componenti di percezione del mondo reale per validare le prestazioni al di fuori della simulazione.