💻 computer science

RHO: Your Coding Agent is Secretly a Roboticist

Het artikel introduceert Robotics Harness Optimization (RHO), een nieuw trainingsparadigma waarbij door gereedschap ondersteunde coderende agenten zoeken naar interpreteerbare, multi-file neurosymbolische beleidsrepositories met behulp van omgevingsfeedback, waarmee zij state-of-the-art prestaties en superieure efficiëntie bereiken ten opzichte van bestaande multi-turn agentische systemen in realtime robotica-taken.

Oorspronkelijke auteurs: Karim Elmaaroufi, Justin Svegliato, Sarunas Kalade, Graham Schelle, Sanjit A. Seshia, Matei Zaharia

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Karim Elmaaroufi, Justin Svegliato, Sarunas Kalade, Graham Schelle, Sanjit A. Seshia, Matei Zaharia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij een kopje moet oppakken en op een tafel moet zetten.

De Oude Manier: De "On-the-Fly" Programmeur
Voorheen was de beste manier om dit te doen een superintelligente AI (een Large Language Model) die fungeerde als een gehaaste programmeur. Elke keer dat de robot het kopje liet vallen of de tafel miste, stopte de AI, dacht na, schreef nieuwe code om de fout te herstellen, en probeerde het opnieuw. Dit is alsof een chef een soep proeft, beseft dat er zout bij moet, stopt met koken, een nieuw recept schrijft en dan weer opnieuw begint. Het werkt, maar het is traag, rommelig, en de robot kan niet snel genoeg bewegen om nuttig te zijn in de echte wereld omdat hij constant pauzeert om zijn eigen instructies te herschrijven.

De Nieuwe Manier: RHO (De "Pre-Game" Coach)
RHO (Robotics Harness Optimization) introduceert een andere aanpak. In plaats van de AI code te laten schrijven terwijl de robot beweegt, fungeert RHO als een strende, reflectieve coach tijdens de training.

Zo werkt RHO, met behulp van een eenvoudige analogie:

1. De "Repository" (De hele gereedschapskist, niet slechts een briefje)

De meeste AI-systemen proberen een robot te repareren door een enkele zin of een kleine functie aan te passen (zoals het veranderen van één ingrediënt in een recept). RHO is anders. Het behandelt de hersenen van de robot als een volledige bibliotheek met bestanden (een "Repository").

Analogie: Stel je voor dat de hersenen van de robot niet alleen een briefje met instructies zijn; het is een volledige werkplaats met een handleiding, een set gereedschappen, een veiligheidschecklist en een navigatiekaart. RHO bewerkt niet alleen het briefje; het organiseert de hele werkplaats opnieuw, vervangt de gereedschappen en herschrijft alle handleidingen tegelijkertijd.

2. De "Tool-Enabled Agent" (De leerling die daadwerkelijk kan bouwen)

RHO gebruikt een speciale AI-agent die niet alleen een tekstgenerator is. Het is een coderingsagent met handen.

Analogie: In plaats van alleen over het repareren van de robot te praten, krijgt deze agent de toestemming om de codebestanden van de robot te openen, tests uit te voeren, naar de "videofeed" van de robot te kijken om te zien wat er misging, de foutlogs te controleren en vervolgens de code daadwerkelijk te herschrijven. Het is als een leerling die de handleiding kan lezen, een moersleutel kan pakken, de motor kan repareren en vervolgens de auto kan testen, allemaal in één keer.

3. De "Evolutionary Search" (Survival of the Fittest)

RHO probeert niet slechts één oplossing. Het voert een evolutionair proces uit.

Analogie: Stel je een toernooi voor. De AI creëert 100 verschillende versies van de "hersenen" van de robot (verschillende code-repositories). Het stuurt ze allemaal naar een simulatie om de taak te proberen te voltooien.
- Sommigen falen jammerlijk.
- Sommigen doen het oké.
- Een paar doen het geweldig.
- De AI neemt de "winnaars", mengt hun beste kenmerken samen en creëert een nieuwe generatie van 100 robots. Dit proces herhaalt zich honderden keren.
- Cruciaal is dat het een "Pareto Frontier" behoudt. Dit betekent dat het niet alleen de robot houdt die het beste is in alles. Het houdt de robot die het beste is in deze specifieke taak, zelfs als hij in een andere taak slecht is. Dit zorgt ervoor dat de uiteindelijke robot een specialist is, en geen generalist die bij specifieke taken faalt.

4. Het Resultaat: Een "Ready-to-Deploy" Robot

Aan het einde van de training produceert RHO een enkele, perfecte "Repository" (een complete set codebestanden).

De Magie: Wanneer deze robot in de echte wereld wordt ingezet, heeft hij de AI niet meer nodig om na te denken. Hij stopt niet om code te schrijven. Hij voert simpelweg de vooraf geschreven, hoogst geoptimaliseerde code uit.
De Analogie: Het is het verschil tussen een student die tijdens een toets bij elke wiskundige formule moet kijken, versus een student die de formules heeft uit het hoofd geleerd en duizenden problemen heeft geoefend. De RHO-robot is de student die het harde werk al heeft gedaan tijdens het "huiswerk" (training) en er klaar voor is om de test (deployment) direct te halen.

Wat hebben ze daadwerkelijk bereikt?

Het paper beweert dat deze methode aanzienlijk beter is dan de huidige state-of-the-art:

Snelheid & Betrouwbaarheid: Op standaard robotica-benchmarks (zoals het stapelen van blokken of het verplaatsen van objecten) behaalde RHO een succespercentage van 70% met een enkele, snelle uitvoering. De vorige beste methode (die vereiste dat de AI constant pauzeerde en code herschreef) behaalde slechts 68% en was veel langzamer.
Omgaan met Chaos: Wanneer de onderzoekers de regels veranderden (zoals het verplaatsen van objecten naar andere plekken of het veranderen van de taakbeschrijving), faalden andere AI-modellen (zoals OpenVLA) volledig (0% succes). RHO slaagde er nog steeds in om 45% van de tijd te slagen.
Efficiëntie: In een complexere real-world simulatie verminderde RHO de tijd die de robot doorbracht met "denken" met 20% en verminderde het het aantal tools dat het moest aanroepen met 27%, terwijl het het succespercentage verdubbelde.

De Kernboodschap

RHO verandert het spel door het zware werk te verplaatsen van de deployment (wanneer de robot werkt) naar de training (wanneer de robot leert). Het gebruikt een slimme, gereedschap-gebruikende AI om een complete, multi-file codebibliotheek te evolueren die robuust is, interpreteerbaar (mensen kunnen de code lezen) en klaar is om direct te draaien zonder dat er een supercomputer nodig is om de instructies onderweg te herschrijven.

Technische Samenvatting: Robotics Harness Optimization (RHO)

Probleemstelling

Code-as-Policies (CaP) heeft aangetoond dat Large Language Models (LLMs) uitvoerbare code kunnen schrijven om perceptie-, planning- en controleprimitieven voor robotica samen te stellen. De huidige CaP-systemen leunen echter zwaar op multi-turn code-generatie-loops tijdens de testtijd om uitvoering-feedback, visuele verschillen en foutcorrectie af te handelen. Deze aanpak is vaak onhaalbaar voor real-time robotbesturing vanwege de latentie en de computationele kosten van het opschalen van inferentie-oproepen.

Daartegenover staan Vision-Language-Action (VLA) modellen, die pixels en taal direct naar acties mappen, die worstelen met generalisatie. Wanneer ze worden geconfronteerd met verstoorde omgevingen (bijv. veranderde objectposities of taakbeschrijvingen), lijden VLAs zoals OpenVLA en $\pi_0.5$ onder catastrofale prestatiedalingen (bijv. respectievelijk 0,0% en 12,83% succes op LIBERO-PRO perturbaties).

De kernuitdaging is het ontwikkelen van een robotbesturingsparadigma dat:

Iteratieve LLM-inferentie tijdens de implementatie vermijdt (real-time besturing mogelijk maakt).
Robuust generaliseert naar distributieverschuivingen en perturbaties waar VLAs falen.
Interpreteerbare, debugbare policies produceert in plaats van black-box neurale netwerken.

Methodologie: Robotics Harness Optimization (RHO)

De auteurs introduceren Robotics Harness Optimization (RHO), een paradigma dat de computationele last verschuift van generatie tijdens de testtijd naar evolutionaire zoektocht tijdens de trainingstijd. In plaats van een enkele prompt of functie te optimaliseren, evolueert RHO multi-file neurosymbolische policy-repositories (Repositories-as-Policies).

Kerncomponenten

HELIX (Hierarchical Evolution via LLM-Informed eXploration):
- Een reflectieve evolutionaire optimizer die de zoekruimte verhoogt van enkelvoudige artefacten naar volledige multi-file repositories.
- Mutator: Een tool-ondersteunde coding agent (bijv. Codex, Claude Code) die fungeert als de mutatie-operator. Binnen een enkele generatiestap kan de agent:
  - Meerdere bestanden in de repository bewerken.
  - Ephemere tests schrijven en uitvoeren.
  - Kandidaat-policies draaien in de robotomgeving via een whitelisted interface.
  - Tracebacks en stderr lezen.
  - Een visual-difference module (VDM) raadplegen om scènestaten te vergelijken.
- Reflectie: De agent ontvangt een reflectie-prompt die fouten en successen uit de vorige generatie samenvat om de volgende mutatie te sturen.
Repositories-as-Policies:
- Het kandidaat-artefact is een inzetbaar softwaresysteem bestaande uit een taakrouter, controle-routines, perceptie-wrappers, grasp-helpers en, indien van toepassing, de LLM-harness.
- Deze zijn neurosymbolisch: symbolische code combineert geleerde neurale perceptie/grasping-services met bewegingsprimitieven.
Robot-Environments-as-a-Service (REaaS) & Isolatie:
- REaaS: Biedt geïsoleerde, whitelisted toegang tot robotomgevingen (simulatoren) zodat de coding agent kandidaat-policies kan uitvoeren en feedback kan verzamelen.
- Isatiemechanismen: Om reward hacking te voorkomen (bijv. agenten die oplossingen hardcoden of de interne werking van de evaluator uitlezen), handhaaft RHO strikte grenzen. De mutator-workspace is een sidecar-proxy die de broncode van de evaluator, benchmark-splits en judge-prompts uitsluit.
Optimalisatie-loop:
- Selectie: Kandidaten worden geëvalueerd op een trainings-minibatch. Een kind wordt geaccepteerd als het de totale vormgegeven reward (shaped reward) van de ouder strikt verbetert (of voldoet aan een versoepelde $\ge$ drempelwaarde).
- Pareto Front: In plaats van een enkele keten van verbeteringen, onderhoudt RHO een Pareto-front van kandidaten gebaseerd op coverage dominance. Een repository wordt behouden als het de beste presterende is op ten minste één validatie-instantie en niet wordt gedomineerd door een andere overlevende repository. Dit waarborgt diversiteit en voorkomt voortijdige convergentie.
- Implementatie: De uiteindelijke ingezette policy is de repository met de hoogste gemiddelde validatie-reward uit het terminale front. Cruciaal is dat geen LLM-code-generatie plaatsvindt tijdens de implementatie; de repository wordt uitgevoerd als een statische Python-controller (of een vaste harness voor LLM-in-the-loop systemen).

Belangrijkste Bijdragen

Robotics Harness Optimization (RHO): Een nieuw paradigma dat interpreteerbare, neurosymbolische multi-file repositories evolueert in plaats van enkelvoudige prompts of functies, waardoor de optimalisatie naar de trainingstijd wordt verschoven om de test-time inferentie-loops te elimineren.
Tool-Enabled Reflective Mutation: De eerste evolutionaire optimizer waarbij de mutator een tool-ondersteunde coding agent is die in staat is om met de omgeving te interageren, tracebacks te lezen en meerdere bestanden binnen een enkele mutatiestap te bewerken.
Robuuste, Generaliseerbare Policies: Het aantonen dat RHO policies produceert die zowel multi-turn agentic systemen als VLA-baselines overtreffen in single-turn evaluaties, met name onder distributieverschuivingen.

Experimentele Resultaten

De auteurs hebben RHO geëvalueerd op drie benchmarks: CaP-Bench Robosuite, LIBERO-PRO en Robotec's RAI O3DE.

1. CaP-Bench Robosuite (Manipulatie)

Instelling: Single-turn uitvoering (S4) met geen LLM code-generatie oproepen tijdens de implementatie.
Prestaties: RHO bereikte een succespercentage van 70,0% (490/700 trials).
Vergelijking: Dit overtreft het sterkste gepubliceerde multi-turn record (68,29% door CaP-Agent0, die tot 66 LLM-oproepen per trial vereiste). Wanneer CaP-Agent0 werd beperkt tot single-turn uitvoering, stortte de prestatie in naar 24,0%.
Efficiëntie: RHO bereikte dit met nul LLM-oproepen tijdens de control loop bij de implementatie.

2. LIBERO-PRO (Generalisatie onder Perturbatie)

Instelling: Verstoorde pick-and-place taken (object/doel/ruimtelijke swaps en taakbeschrijving wijzigingen) waar VLAs doorgaans falen.
Prestaties: RHO bereikte 45,0% succes (1351/3000 trials) na 63 generaties training op onverstoorde data.
Vergelijking:
- 2,5$\times hoger dan de voorheen bekende multi-turn CaP SOTA (CaP-Agent0 op 18,17%).
- **3,5 $\times** hoger dan$ \pi_0.5$ (12,83%).
- Presteerde significant beter dan OpenVLA (0,0%).
Significantie: RHO generaliseert naar verstoorde settings waar VLAs instorten, zonder dat er demonstraties voor de verstoorde taken nodig zijn.

3. RAI O3DE (LLM-in-the-Loop Implementatie)

Instelling: Een ROS 2 manipulatie benchmark waarbij de control loop een LLM bevat.
Prestaties: RHO evolueerde een multi-file repository van prompts, tools en control code, wat de heldere (held-out) succesrate verbeterde van 23,5% naar 44,3%.
Efficiëntie: Bereikte dit met 20% minder wandkloktijd en 27% minder tool-oproepen vergeleken met de baseline.
Ablatie: Een single-file ablatie (GEPA-stijl) verhoogde de tool-oproepen met 16% en de wandkloktijd met 34%, wat de superioriteit van de multi-file repository structuur aantoont.

Structurele Prior Analyse

Experimenten die multi-file repositories vergeleken met single-file stubs of rigide structurele priors (Behavior Trees, Finite State Machines) toonden aan:

Multi-file repositories (70,0%) presteerden aanzienlijk beter dan single-file stubs (63,86%).
Rigide priors (Behavior Trees: 33,86%, FSMs: 18,14%) stortten in, wat suggereert dat de repository-structuur de juiste balans biedt van scaffolding om de agent naar modulariteit te leiden zonder de oplossingsruimte te beperken.

Betekenis en Claims

De paper claimt dat RHO een fundamentele verschuiving vertegenwoordigt in hoe robot-policies worden ontdekt:

Van Test-Time naar Training-Time: Door de zoektocht en verfijning naar voren te halen in de training, elimineert RHO de latentie en instabiliteit van iteratieve LLM-inferentie tijdens real-time besturing.
Interpreteerbaarheid en Debugbaarheid: In tegenstelling tot end-to-end VLAs, produceert RHO neurosymbolische code waarbij geavanceerde heuristieken (bijv. quantile-robust geometrie, IK-feasibility pre-gating, dual-perception cross-validatie) expliciet worden ontdekt en gecodeerd. Deze mechanismen zijn menselijk leesbaar en verifieerbaar.
Generalisatie: RHO demonstreert dat evolutionaire zoektocht over multi-file repositories robuuste strategieën kan ontdekken die generaliseren naar nieuwe objectconfiguraties en taakbeschrijvingen, waarmee het zowel huidige agentic stacks als VLA-modellen overtreft.
Schaalbaarheid: Het framework schaalt de "ervaring" die een agent verzamelt. Waar CaP-Agent0 feedback verzamelt turn-by-turn tijdens de implementatie, verzamelt RHO deze ervaring eenmaal tijdens de evolutionaire zoektocht en compileert deze in een statische, efficiënte repository.

De auteurs concluderen dat hoewel RHO de ruimtelijke redeneerbeperkingen van de onderliggende LLM erft, het er succesvol in is geslaagd de modulaire structuur te herstellen die nodig is voor taak- en bewegingsplanning (task-and-motion planning), wat een pad biedt naar robuuste, interpreteerbare en inzetbare robotbesturing.