💻 computer science

RHO: Your Coding Agent is Secretly a Roboticist

Il documento introduce la Robotics Harness Optimization (RHO), un nuovo paradigma di addestramento in cui agenti di codifica dotati di strumenti ricercano repository di policy neurosimboliche multi-file e interpretabili attraverso il feedback ambientale, raggiungendo prestazioni allo stato dell'arte ed un'efficienza superiore rispetto ai sistemi agentici multi-turno esistenti in compiti di robotica in tempo reale.

Autori originali: Karim Elmaaroufi, Justin Svegliato, Sarunas Kalade, Graham Schelle, Sanjit A. Seshia, Matei Zaharia

Pubblicato 2026-06-16

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Karim Elmaaroufi, Justin Svegliato, Sarunas Kalade, Graham Schelle, Sanjit A. Seshia, Matei Zaharia

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover insegnare a un robot come prendere una tazza e metterla su un tavolo.

Il Vecchio Modo: Il Programmatore "On-the-Fly"
In precedenza, il modo migliore per farlo prevedeva un'IA super intelligente (un Large Language Model) che agiva come un programmatore frenetico. Ogni volta che il robot faceva cadere la tazza o mancava il tavolo, l'IA si fermava, rifletteva, scriveva nuovo codice per correggere l'errore e riprovava. È come avere uno chef che assaggia una zuppa, si rende conto che manca di sale, interrompe la cottura, scrive una nuova ricetta e poi ricomincia da capo. Funziona, ma è lento, disordinato e il robot non può muoversi abbastanza velocemente da essere utile nel mondo reale perché deve continuamente fermarsi per riscrivere le proprie istruzioni.

Il Nuovo Modo: RHO (L'Allenatore "Pre-Partita")
Questo articolo introduce RHO (Robotics Harness Optimization). Invece di lasciare che l'IA scriva codice mentre il robot si muove, RHO agisce come un allenatore severo e riflessivo durante l'addestramento.

Ecco come funziona Rो, usando una semplice analogia:

1. Il "Repository" (L'intera cassetta degli attrezzi, non solo un appunto)

La maggior parte dei sistemi di IA cerca di correggere un robot modificando una singola frase o una piccola funzione (come cambiare un singolo ingrediente in una ricetta). RHO è diverso. Tratta il cervello del robot come un intero archivio di file (un "Repository").

Analogia: Immagina che il cervello del robot non sia solo un post-it con delle istruzioni; è un'officina completa con un manuale, un set di attrezzi, una lista di controllo per la sicurezza e una mappa di navigazione. RHO non si limita a modificare il post-it; riorganizza l'intera officina, sostituisce gli attrezzi e riscrive i manuali tutti in una volta.

2. Il "Tool-Enabled Agent" (L'apprendista che sa davvero costruire)

RHO utilizza un agente IA speciale che non è un semplice generatore di testo. È un agente di programmazione con le mani.

Analogia: Invece di limitarsi a parlare di come riparare il robot, questo agente può aprire i file del codice del robot, eseguire test, guardare il "feed video" del robot per vedere cosa è andato storto, controllare i log degli errori e poi riscrivere effettivamente il codice. È come un apprendista che può leggere il manuale, prendere una chiave inglese, riparare il motore e poi fare un test drive dell'auto, tutto in un colpo solo.

3. La "Ricerca Evolutiva" (La sopravvivenza del più forte)

RHO non prova solo una soluzione. Esegue un processo evolutivo.

Analogia: Immagina un torneo. L'IA crea 100 versioni diverse del "cervello" del robot (diversi repository di codice). Le invia tutte in una simulazione per provare il compito.
- Alcune falliscono miseramente.
- Alcune vanno abbastanza bene.
- Qualche una eccelle.
  L'IA prende i "vincitori", mescola le loro migliori caratteristiche e crea una nuova generazione di 100 robot. Ripete questo processo centinaia di volte.
  Fondamentalmente, mantiene una "Frontiera di Pareto". Ciò significa che non conserva solo il robot che è il migliore in tutto. Conserva il robot che è il migliore per questo compito specifico, anche se è scarso in un altro. Questo assicura che il robot finale sia uno specialista, non un generalista che fallisce in compiti specifici.

4. Il Risultato: Un Robot "Pronto per l'Impiego"

Alla fine dell'addestramento, RHO produce un singolo "Repository" perfetto (un insieme completo di file di codice).

La Magia: Quando questo robot viene impiegato nel mondo reale, non ha più bisogno che l'IA pensi. Non si ferma per scrivere codice. Esegue semplicemente il codice pre-scritto e altamente ottimizzato.
L'Analogia: È come la differenza tra uno studente che deve cercare ogni formula matematica durante un esame e uno studente che ha memorizzato le formule e ha risolto migliaia di problemi. Il robot RHO è lo studente che ha già fatto tutto il lavoro duro durante i "compiti a casa" (addestramento) ed è pronto per superare l'esame (impiego) istantaneamente.

Cosa hanno ottenuto realmente?

L'articolo afferma che questo metodo è significativamente migliore rispetto allo stato dell'arte attuale:

Velocità e Affidabilità: Nei benchmark standard del robot (come impilare blocchi o spostare oggetti), RHO ha raggiunto un tasso di successo del 70% con un'unica esecuzione veloce. Il precedente miglior metodo (che richiedeva che l'IA si fermasse e riscrivesse continuamente il codice) otteneva solo il 68% ed era molto più lento.
Gestione del Caos: Quando i ricercatori hanno cambiato le regole (come spostare gli oggetti in posizioni diverse o cambiare la descrizione del compito), altri modelli di IA (come OpenVLA) sono falliti completamente (0% di successo). RHO, invece, è riuscito a completare il compito il 45% delle volte.
Efficienza: In una simulazione del mondo reale più complessa, RHO ha ridotto del 20% il tempo che il robot passava a "pensare" e ha ridotto del 27% il numero di strumenti che doveva chiamare, raddoppando al contempo il suo tasso di successo.

Il Punto Fondamentale

RHO cambia le regole del gioco spostando il lavoro pesante dall'impiego (quando il robot sta lavorando) all'addestramento (quando il robot sta imparando). Utilizza un'IA intelligente e dotata di strumenti per far evolvere una libreria di codice completa, multi-file, che è robusta, interpretabile (gli esseri umani possono leggerne il codice) e pronta a funzionare istantaneamente senza bisogno di un supercomputer per riscrivere le istruzioni al volo.

Sintesi Tecnica: Ottimizzazione dell'Imbracatura Robotica (RHO)

Definizione del Problema

Il paradigma Code-as-Policies (CaP) ha dimostrato che i Large Language Models (LLM) possono scrivere codice eseguibile per comporre primitive di percezione, pianificazione e controllo per la robotica. Tuttavia, gli attuali sistemi CaP si affidano pesantemente a cicli di generazione di codice multi-turno durante il test-time per gestire il feedback di esecuzione, le differenze visive e la correzione degli errori. Questo approccio è spesso impraticabile per il controllo robotico in tempo reale a causa della latenza e del costo computazionale derivante dalla scalabilità delle chiamate di inferenza.

Al contrario, i modelli Vision-Language-Action (VLA), che mappano pixel e linguaggio direttamente in azioni, faticano con la generalizzazione. Quando affrontano ambienti perturbati (ad esempio, cambiamenti nelle posizioni degli oggetti o nelle descrizioni dei compiti), i VLA come OpenVLA e $\pi_0.5$ soffrono di crolli prestazionali catastrofici (ad esempio, 0,0% e 12,83% di successo su perturbazioni LIBERO-PRO, rispettivamente).

La sfida centrale è sviluppare un paradigma di controllo robotico che:

Eviti l'inferenza iterativa dell'LLM al momento del deployment (abilitando il controllo in tempo reale).
Generalizzi in modo robusto a spostamenti di distribuzione e perturbazioni dove i VLA falliscono.
Produca politiche interpretabili e debuggabili piuttosto che reti neurali "black-box".

Metodologia: Robotics Harness Optimization (RHO)

Gli autori introducono la Robotics Harness Optimization (RHO), un paradigma che sposta il carico computazionale dalla generazione al test-time alla ricerca evolutiva durante il training-time. Invece di ottimizzare un singolo prompt o funzione, RHO evolve repository di policy neurosimboliche multi-file (Repositories-as-Policies).

Componenti Core

HELIX (Hierarchical Evolution via LLM-Informed eXploration):
- Un ottimizzatore evolutivo riflessivo che eleva lo spazio di ricerca da singoli artefatti a interi repository multi-file.
- Mutatore: Un agente di codifica abilitato all'uso di strumenti (ad esempio, Codex, Claude Code) che funge da operatore di mutazione. All'interno di un singolo step di generazione, l'agente può:
  - Modificare più file nel repository.
  - Scrivere ed eseguire test effimeri.
  - Eseguire le policy candidate nell'ambiente robotico tramite un'interfaccia in whitelist.
  - Leggere traceback ed errori standard (stderr).
  - Interrogare un modulo di differenza visiva (VDM) per confrontare gli stati della scena.
- Riflessione: L'agente riceve un prompt di riflessione che riassume fallimenti e successi della generazione precedente per guidare la mutazione successiva.
Repositories-as-Policies:
- L'artefatto candidato è un sistema software distribuibile contenente un router di task, routine di controllo, wrapper di percezione, helper per la presa (grasp) e, se applicabile, l'harness dell'LLM.
- Questi sono neurosimbolici: il codice simbolico compone servizi di percezione/presa neurali appresi con primitive di movimento.
Robot-Environments-as-a-Service (REaaS) & Isolamento:
- REaaS: Fornisce accesso isolato e in whitelist agli ambienti robotici (simulatori) affinché l'agente di codifica possa eseguire i candidati e raccogliere feedback.
- Meccanismi di Isolamento: Per prevenire il reward hacking (ad esempio, agenti che hardcodano soluzioni o leggono l'interno dell'evaluator), RHO impone confini stretti. Lo workspace del mutatore è un proxy sidecar che esclude il codice sorgente dell'evaluator, le divisioni dei benchmark e i prompt del giudice.
Ciclo di Ottimizzazione:
- Selezione: I candidati vengono valutati su un minibatch di training. Un figlio viene accettato se migliora rigorosamente la reward totale modellata rispetto al genitore (o soddisfa una soglia rilassata $\ge$ ).
- Frontiera di Pareto: Invece di una singola catena di miglioramenti, RHO mantiene una frontiera di Pareto di candidati basata sulla dominanza di copertura. Un repository viene mantenuto se è il miglior performer su almeno un'istanza di validazione e non è dominato da un altro repository sopravvissuto. Ciò garantisce diversità e previene la convergenza prematura.
- Deployment: La policy finale distribuita è il repository con la media più alta di reward di validazione dalla frontiera terminale. Fondamentalmente, nessuna generazione di codice tramite LLM avviene al momento del deployment; il repository viene eseguito come un controller Python statico (o un harness fisso per sistemi con LLM-in-the-loop).

Contributi Chiave

Robotics Harness Optimization (RHO): Un nuovo paradigma che evolve repository multi-file interpretabili e neurosimbolici invece di singoli prompt o funzioni, spostando l'ottimizzazione al tempo di training per eliminare i cicli di inferenza LLM al tempo di esecuzione.
Mutazione Riflessiva Abilitata agli Strumenti: Il primo ottimizzatore evolutivo in cui il mutatore è un agente di codifica abilitato all'uso di strumenti, capace di interagire con l'ambiente, leggere traceback ed editare più file all'interno di un singolo step di mutazione.
Policy Robuste e Generalizzabili: Dimostrare che RHO produce policy che superano sia i sistemi agentici multi-turno che i baseline VLA in valutazioni single-turn, in particolare sotto spostamenti di distribuzione.

Risultati Sperimentali

Gli autori hanno valutato RHO su tre benchmark: CaP-Bench Robosuite, LIBERO-PRO e Robotec's RAI O3DE.

1. CaP-Bench Robosuite (Manipolazione)

Setting: Esecuzione single-turn (S4) senza chiamate di generazione di codice LLM al deployment.
Performance: RHO ha raggiunto un tasso di successo del 70,0% (490/700 trial).
Confronto: Questo supera il record pubblicato più forte per il multi-turno (68,29% da parte di CaP-Agent0, che richiedeva fino a 66 chiamate LLM per trial). Quando CaP-Agent0 è stato limitato all'esecuzione single-turn, le sue prestazioni sono crollate al 24,0%.
Efficienza: RHO ha raggiunto questo risultato con zero chiamate LLM durante il loop di controllo al deployment.

2. LIBERO-PRO (Generalizzazione sotto Perturbazione)

Setting: Task di pick-and-place perturbati (scambi di oggetti/obiettivi/spazi e cambiamenti nella descrizione del task) dove i VLA tipicamente falliscono.
Performance: RHO ha raggiunto il 45,0% di successo (1351/3000 trial) dopo 63 generazioni di training su dati non perturbati.
Confronto:
- 2,5$\times superiore rispetto al precedente SOTA multi-turno CaP (CaP-Agent0 al 18,17%).
- **3,5 $\times** superiore rispetto a$ \pi_0.5$ (12,83%).
- Ha superato significativamente OpenVLA (0,0%).
Significato: RHO generalizza a setting perturbati dove i VLA crollano, senza richiedere dimostrazioni per i task perturbati.

3. RAI O3DE (Deployment LLM-in-the-Loop)

Setting: Un benchmark di manipolazione ROS 2 in cui il loop di controllo include un LLM.
Performance: RHO ha evoluto un repository multi-file di prompt, strumenti e codice di controllo, migliorando il successo su dati non visti dal 23,5% al 44,3%.
Efficienza: Ha ottenuto questo risultato con il 20% in meno di tempo wall-clock e il 27% in meno di tool call rispetto al baseline.
Ablazione: Un'ablazione single-file (stile GEPA) ha aumentato le tool call del 16% e il tempo wall-clock del 34%, dimostrando la superiorità della struttura del repository multi-file.

Analisi Prioritaria della Struttura

Esperimenti che confrontano i repository multi-file con stub single-file o priori strutturali rigidi (Behavior Trees, Finite State Machines) hanno mostrato che:

I repository multi-file (70,0%) hanno superato significativamente gli stub single-file (63,86%).
I priori rigidi (Behavior Trees: 33,86%, FSM: 18,14%) sono crollati, suggerendo che la struttura del repository fornisce il giusto equilibrio di scaffolding per guidare l'agente verso la modularità senza vincolare lo spazio delle soluzioni.

Significato e Rivendicazioni

Il paper sostiene che RHO rappresenti un cambiamento fondamentale nel modo in cui le policy robotiche vengono scoperte:

Dal Test-Time al Training-Time: Anticipando la ricerca e il raffinamento durante il training, RHO elimina la latenza e l'instabilità dell'inferenza iterativa dell'LLM durante il controllo in tempo reale.
Interpretabilità e Debuggabilità: A differenza dei VLA end-to-end, RHO produce codice neurosimbolico dove euristiche avanzate (ad esempio, geometria quantile-robust, pre-gating di fattibilità IK, cross-validazione della doppia percezione) sono esplicitamente scoperte e codificate. Questi meccanismi sono leggibili dagli umani e verificabili.
Generalizzazione: RHO dimostra che la ricerca evolutiva su repository multi-file può scoprire strategie robuste che generalizzano a nuovi arrangiamenti di oggetti e descrizioni di task, superando sia gli attuali stack agentici che i modelli VLA.
Scalabilità: Il framework scala l'"esperienza" raccolta da un agente. Mentre CaP-Agent0 raccoglie il feedback turno per turno al deployment, RHO raccoglie questa esperienza una volta durante la ricerca evolutiva e la compila in un repository statico ed efficiente.

Gli autori concludono che, sebbene RHO erediti i limiti di ragionamento spaziale dell'LLM sottostante, riesce a recuperare la struttura modulare necessaria per la pianificazione task-and-motion, offrendo una via verso un controllo robotico robusto, interpretabile e deployable.