CaP-X: A Framework for Benchmarking and Improving Coding Agents for Robot Manipulation

1. Il Problema

Il controllo robotico tradizionale si basa su programmi espliciti scritti da umani, che decompongono gli obiettivi in sottocompiti e gestiscono casi limite, offrendo robustezza ma scarsa scalabilità. D'altro canto, i recenti modelli Vision-Language-Action (VLA) apprendono direttamente dai dati, ma spesso mancano di interpretabilità e faticano a generalizzare a nuovi corpi robotici o compiti a lungo orizzonte senza riaddestramento.

Esiste un approccio intermedio, il "Code-as-Policy" (CaP), in cui gli agenti linguistici generano codice eseguibile per controllare i robot. Tuttavia, la ricerca precedente ha spesso valutato questi agenti utilizzando primitive di alto livello (macro predefinite dall'uomo), nascondendo le vere capacità di ragionamento dell'agente. Non è chiaro quanto le prestazioni derivino dall'agente stesso o dalla struttura imposta dalle primitive, né quanto la computazione al momento dell'inferenza (test-time computation) possa compensare l'uso di primitive a basso livello.

2. Metodologia: Il Framework CaP-X

Gli autori introducono CaP-X, un framework unificato e open-source composto da quattro pilastri principali:

A. CaP-Gym (Ambiente Interattivo)

È un ambiente di simulazione basato sull'interfaccia Gymnasium che integra simulatori robotici esistenti (RoboSuite, LIBERO-PRO, BEHAVIOR).

• Funzionamento: Collega un ciclo di esecuzione del codice (REPL) con un ciclo di ambiente a basso livello (fisica/robot reale).
• Primitives: Espone un set completo di primitive di percezione e controllo, dai livelli alti (macro) a quelli bassi (API atomiche come risoluzione cinematica inversa, segmentazione, pianificazione della presa).
• Obiettivo: Permettere agli agenti di controllare i robot generando ed eseguendo programmi Python che compongono queste primitive.

B. CaP-Bench (Benchmark Sistematico)

Un benchmark progettato per valutare le capacità degli agenti lungo tre assi:

1. Livello di Astrazione: Confronta l'uso di macro umane (Alto livello) contro primitive atomiche (Basso livello).
2. Interazione Temporale: Confronta la generazione di codice in un singolo turno (Zero-shot) contro interazioni multi-turno (recupero dagli errori, debug iterativo).
3. Grounding Percettivo: Valuta come diversi feedback visivi influenzano la generazione di codice (input grezzo RGB vs. descrizioni testuali strutturate).

Il benchmark include 12 modelli SOTA (LLM e VLM, sia open-source che closed-source) su 7 compiti principali di manipolazione.

C. CaP-Agent0 (Framework Agente Senza Addestramento)

Sfruttando le intuizioni di CaP-Bench, gli autori sviluppano un framework "training-free" che combina:

• Visual Differencing Module (VDM): Converte le osservazioni visive (RGB) in descrizioni testuali strutturate, colmando il divario di allineamento cross-modale che affligge l'input diretto di immagini.
• Libreria di Skill Auto-Sintetizzata: Un meccanismo in cui l'agente analizza le esecuzioni di successo per estrarre e salvare funzioni ausiliarie riutilizzabili (es. trasformazioni coordinate, filtri di presa), creando un "cassetto degli attrezzi" persistente.
• Ragionamento Parallelo (Ensemble): Utilizza più modelli (es. Gemini-3-Pro, GPT-5.2, Claude Opus) in parallelo per generare candidati di codice, che vengono poi sintetizzati in una soluzione finale robusta.

D. CaP-RL (Apprendimento per Rinforzo)

Dimostra che è possibile applicare l'Apprendimento per Rinforzo con Ricompense Verificabili (RLVR) direttamente sull'agente di codifica. Utilizzando l'algoritmo GRPO su un modello di base (Qwen2.5-Coder), l'agente viene addestrato su compiti di manipolazione in simulazione per migliorare la sua capacità di ragionamento causale e sequenziale, trasferendo poi le strategie apprese al mondo reale senza adattamento specifico.

3. Risultati Chiave

• Divario con gli Umani: In una valutazione a turno singolo e zero-shot con primitive a basso livello, nessun modello attuale raggiunge le prestazioni degli esperti umani. Le prestazioni migliorano significativamente con le astrazioni umane, ma questo maschera la reale capacità di ragionamento dell'agente.
• L'Importanza del Feedback Multi-Turno: L'interazione multi-turno migliora costantemente le prestazioni. Tuttavia, l'input visivo diretto (immagini RGB) peggiora le prestazioni rispetto al testo. La soluzione è il Visual Differencing Module (VDM), che traduce le immagini in testo strutturato, permettendo agli agenti di superare le prestazioni dei modelli a singolo turno e raggiungere livelli paragonabili agli umani su compiti specifici.
• CaP-Agent0: Questo framework training-free riesce a recuperare prestazioni vicine a quelle umane su 4 dei 7 compiti del benchmark, operando esclusivamente su primitive a basso livello. Supera spesso le prestazioni dei VLA post-addestrati su compiti a lungo orizzonte e con perturbazioni (es. LIBERO-PRO, BEHAVIOR).
• Trasferimento Sim-to-Real:
  • CaP-Agent0: Funziona in zero-shot su robot reali (Franka Panda, AgiBot G1) senza modifiche specifiche al corpo robotico, dimostrando capacità di ragionamento fisico (es. impilare oggetti instabili, cercare oggetti nascosti).
  • CaP-RL: L'addestramento RL in simulazione (con API a stato privilegiato) trasferisce efficacemente al mondo reale, migliorando i tassi di successo del 30-50% rispetto al modello base, grazie alla capacità di imparare strategie robuste di recupero dagli errori.

4. Contributi Principali

1. CaP-Gym: Una suite unificata di ambienti interattivi per robotica che supporta la generazione di codice su diversi livelli di astrazione.
2. CaP-Bench: Il primo benchmark sistematico che valuta gli agenti di codifica robotica variando astrazione, interazione e grounding percettivo.
3. Metodologie di Miglioramento:
   • CaP-Agent0: Un approccio agenziale senza addestramento che combina differenziazione visiva, sintesi di skill e ragionamento ensemble.
   • CaP-RL: Una dimostrazione che l'RL con ricompense verificabili può migliorare direttamente i modelli linguistici per il controllo robotico, con un trasferimento Sim-to-Real quasi privo di gap.

5. Significato e Impatto

Questo lavoro sposta il paradigma di valutazione degli agenti robotici basati su LLM. Invece di affidarsi a API di alto livello predefinite, CaP-X dimostra che gli agenti possono essere robusti anche su primitive a basso livello se dotati di:

• Meccanismi di grounding percettivo strutturato (testo invece di immagini grezze).
• Capacità di auto-correzione e recupero tramite interazione multi-turno.
• Sintesi dinamica di strumenti (skill library) durante l'esecuzione.

Il framework fornisce una piattaforma fondamentale per avanzare verso un'intelligenza incarnata (embodied intelligence) generale, dove la programmazione robotica non è più un compito statico per ingegneri umani, ma un processo dinamico guidato da agenti AI capaci di ragionamento, pianificazione e adattamento in tempo reale.