🤖 AI

HARBOR: A Harness Framework for Agentic Robot Reinforcement Learning

HARBOR is een agentisch framework dat de end-to-end reinforcement learning-workflow voor robots automatiseert door complexe engineeringtaken te ontleden in gespecialiseerde, parallelle agent-stadia, waardoor de benodigde inspanning en kosten van experts voor het trainen en overdragen van policies van simulatie naar real-world toepassingen aanzienlijk worden verminderd.

Oorspronkelijke auteurs: Zechu Li, Yufeng Jin, Xiaoyang Liu, Puze Liu, Vignesh Prasad, Carlo D'Eramo, Georgia Chalvatzaki

Gepubliceerd 2026-06-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zechu Li, Yufeng Jin, Xiaoyang Liu, Puze Liu, Vignesh Prasad, Carlo D'Eramo, Georgia Chalvatzaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren een complexe taak uit te voeren, zoals het stapelen van drie blokken of het openen van een lade. In het verleden was dit alsof je probeerde een automotor met de hand te bouwen, één klein schroefje tegelijk, zonder handleiding. Je moet de code voor de simulatie schrijven, de "spelregels" (beloningen) verzinnen, de physics-instellingen aanpassen en constant de leerhersenen van de robot bijsturen. Het kost experts weken van vallen en opstaan, en als er één klein dingetje mis is, stort het hele proces in.

HARBOR is een nieuw systeem dat fungeert als een supergeorganiseerde projectmanager voor dit proces. In plaats van dat een mens al het zware werk doet, gebruikt HARBOR een team van AI-"agenten" (gespecialiseerde helpers) om de volledige workflow van begin tot eind te automatiseren.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. Het concept van de "Harness" (het Tuig)

Denk aan het bouwen van een robotbeleid als het bouwen van een huis.

De Oude Manier: Je huurt een briljante architect (het AI-model) in en zegt tegen hem: "Bouw een huis." Maar je geeft hem geen blauwdruk, geen lijst met gereedschap en geen manier om te controleren of de muren recht staan. De architect kan de verkeerde materialen raden of een deur bouwen die niet opengaat.
De HARBOR-Manier: HARBOR is de constructie-harness. Het geeft de architect een strikte blauwdruk, een gereedschapskist met vooraf geteste methoden en een veiligheidsinspecteur.
- Agents: Dit zijn de gespecialiseerde werkers. Eén werker weet alleen hoe hij de bouwplaats moet inrichten (afhankelijkheden). Een ander weet alleen hoe hij de plattegrond moet ontwerpen (taakgeneratie). Een ander weet alleen hoe hij de muren moet schilderen (beloningsontwerp).
- Commands: Dit zijn de specifieke instructies die de werkers kunnen volgen, zoals "Installeer de fundering" of "Voer een test uit."
- Artifacts: Dit zijn de fysieke blauwdrukken en logs die worden achtergelaten. Als een werker een fase heeft afgerond, laat hij een notitie en een bestand op tafel achter, zodat de volgende werker precies weet wat hij moet doen.
- Gates (De Veiligheidsinspecteurs): Dit is het belangrijkste deel. Voordat het project naar de volgende fase gaat, controleert een "gate" het werk. Bewoog de robot daadwerkelijk? Is de simulatie gecrasht? Als het antwoord "nee" is, stopt de gate het project, stuurt de werker terug om het te herstellen en voorkomt dat de fout het hele huis ruïneert.

2. Hoe het leert en verbetert

HARBOR doet dit niet slechts één keer; het wordt slimmer naarmate het vordert.

Parallelle Proeven: Stel je voor dat je op zoek bent naar het beste recept voor een cake. In plaats van één voor één een cake te bakken, stuurt HARBOR 10 verschillende bakkers (agents) uit om tegelijkertijd 10 verschillende recepten te proberen in aparte keukens.
Ervaringsleren: Nadat de bakkers klaar zijn, verzamelt HARBOR hun aantekeningen. Het leert: "O, te veel suiker toevoegen zorgde ervoor dat de cake instortte," of "Bakken op 350 graden werkte het best." Het schrijft deze lessen in een geheugenboek. De volgende keer dat iemand om een cake vraagt, kunnen de nieuwe bakkers het geheugenboek lezen en de fouten direct overslaan.

3. Wat het daadwerkelijk heeft bereikt

De onderzoekers hebben HARBOR getest op 16 verschillende robottaken (zoals het stapelen van kubussen, het tillen van dozen en lopen) over 6 verschillende simulatieomgevingen.

Het deed de hele klus: HARBOR nam een simpel menselijk verzoek aan (bijv. "Laat een robot drie kubussen stapelen") en stelde automatisch de software in, ontwierp de beloningen, trainde de robot en stemde de instellingen af.
Het versloeg de standaardinstellingen: Wanneer ze HARBOR de instellingen voor het leren van de robot lieten afstemmen, leerden de robots sneller en presteerden ze beter dan wanneer ze alleen de standaard "out-of-the-box" instellingen hadden gebruikt.
Het werkt in de echte wereld: De robots die door HARBOR in de computersimulatie waren getraind, konden succesvol worden overgebracht naar echte fysieke robots en konden de taken in het echte leven uitvoeren.
Het bespaart tijd en geld: Door het proces te automatiseren en fouten vroegtijdig op te vangen met zijn "gates", verminderde HARBOR de tijd en de rekenkosten aanzienlijk vergeleken met handmatig werk of oudere AI-coderingsinstrumenten.

De Kernboodschap

HARBOR verandert het moeilijke, handmatige engineering van robotleren in een gestroomlijnde, geautomatiseerde assemblageband. Het schrijft niet alleen code; het beheert het hele project, controleert zijn eigen werk, leert van fouten uit het verleden en levert een werkend robotbeleid dat in de echte wereld kan worden gebruikt. Het is het verschil tussen een mens die probeert een raket te bouwen door te gokken en een volledig geautomatiseerde fabriek die raketten bouwt met precisie en veiligheidscontroles bij elke stap.

Technische Samenvatting: HARBOR: Een Harness Framework voor Agentic Robot Reinforcement Learning

1. Probleemstelling

Reinforcement learning (RL) heeft zichzelf gevestigd als een dominant paradigma voor robotleren, met name in sim-to-real scenario's waarbij beleid (policies) worden getraind in simulatie en vervolgens worden overgedragen naar fysieke hardware. De bredere adoptie van RL wordt echter niet gehinderd door de algoritmen zelf, maar door de arbeidsintensieve engineering-pipeline die vereist is om deze te instantiëren. Praktijkgebruikers moeten handmatig digitale tweelingen construeren, beloningsfuncties ontwerpen, domein-randomisatie kalibreren en hyperparameters afstemmen—taken die vaak dagen of weken aan deskundige inspanning verezen voor een enkele setup.

Hoewel eerder onderzoek de automatisering van geïsoleerde componenten van deze pipeline heeft verkend (bijv. taalmodel-gestuurde synthese van beloningen, geautomatiseerde domein-randomisatie of AutoRL voor hyperparameter-tuning), falen deze systemen doorgaans in het adresseren van de volledige workflow. Praktijkgebruikers blijven belast met het configureren van simulators, het verbinden van gegenereerde beloningen aan trainingscode, het beheren van compute-clusters en het handmatig overdragen van succesvolle ontwerpen tussen taken. Deze fragmentatie verhindert dat RL-workflows effectief kunnen schalen voor snelle implementatie of grootschalig generalistisch robotleren.

2. Methodologie: Het HARBOR Framework

De auteurs introduceren HARBOR, een harness framework dat robot RL-automatisering herformuleert als een "harness-engineering"-probleem. In plaats van uitsluitend te vertrouwen op een capabel Large Language Model (LLM) om code te genereren, biedt HARBOR een gestructureerde executie-omgeving die gespecialiseerde agenten coördineert via gestandaardiseerde interfaces.

Kernarchitectuur

HARBOR deelt het hoogwaardige doel (gegeven een simulator-codebase en taakspecificatie) op in gebonden stadia, uitgevoerd door gespecialiseerde agenten. Het framework wordt gedefinieerd door de tupel $H_{RL} = (H_A, C, M, G, K)$ :

Agenten ( $H_A$ ): Context-geïsoleerde subprocessen toegewezen aan specifieke stadia (bijv. afhankelijkheden opzetten, taakgeneratie, beloningsontwerp). Zij opereren op lokale artefacten en opgehaalde kennis, en retourneren compacte samenvattingen naar een centrale controller.
Commando's ( $C$ ): Reproduceerbare operaties die aan agenten worden blootgesteld (bijv. rl-sweep, tune-reward). Deze commando's zijn geworteld in ingebouwde templates en scripts, wat consistente uitvoering over verschillende agenten heen garandeert.
Mutabele Artefacten ( $M$ ): Persistente, inspecteerbare bestanden die de workflow-status externaliseren (bijv. configuratiebestanden, trainingslogs, video's). Dit vermindert de afhankelijkheid van vluchtige LLM-context en dient als het communicatiesubstraat tussen agenten.
Verifieerbare Gates ( $G$ ): Uitvoerbare controles die bepalen of een stadium kan voortschrijden. Dit omvat harde interface-checks (bijv. succesvolle import, device detectie) en zachtere semantische checks (bijv. rollout-gedrag, beloningsdiagnostiek). Als een gate faalt, ontvangt de agent een foutsamenvatting om het artefact te repareren; als deze slaagt, wordt de status vastgelegd (committed).
Herbruikbare Kennis ( $K$ ): Een repository van templates, referenties, scripts, menselijke heuristieken en geaccumuleerde ervaring uit eerdere runs. Dit stelt het systeem in staat om patronen te distilleren (bijv. effectieve beloningstermen, instabiele parameterbereiken) en deze te hergebruiken om de efficiëntie in volgende pogingen te verbeteren.

Executieprotocol

Het systeem werkt via een Centralized Control, Decentralized Execution model:

Orkestratie: Een hoofdagent haalt relevante kennis op en stuurt gespecialiseerde sub-agenten aan naar gebonden stadia.
Parallelle Trials: Iteratieve stadia, zoals beloningsafstemming en hyperparameteroptimalisatie, worden uitgevoerd als parallelle trials in geïsoleerde directories. Dit voorkomt context-bloat in de hoofdagent en maakt asynchrone uitvoering op compute-clusters mogelijk.
Experience Learning: Na afloop van de trials aggregeert de hoofdagent de resultaten, destilleert recurrente patronen tot bullet points en werkt de herbruikbare kennisbank bij. Dit stelt het systeem in staat om te leren van successen en fouten over verschillende runs heen, waardoor de prestaties in de loop van de tijd verbeteren.
Gate-Checked Progressie: Een agent gaat pas over naar een volgend stadium nadat uitvoerbare gates de outputs hebben gevalideerd. Dit voorkomt dat fouten downstream worden doorgegeven en maakt menselijke interventie mogelijk als een stadium na een herstelbudget onopgelost blijft.

3. Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

Probleemformulering: Het formuleert robot RL-automatisering als een harness-engineering probleem, waarbij de specifieke interfaces (MDP-componenten) en feedbacksignalen (rollouts, trainingscurves) worden geïdentificeerd die langdurige automatisering haalbaar maken.
Systeeminstantiatie: Het presenteert HARBOR, een systeem dat natuurlijke taal-robotleerdoelen vertaalt naar geautomatiseerde, betrouwbare workflows met behulp van het agent-commando-artefact-gate-kennis paradigma.
Toegankelijkheid en Controleerbaarheid: HARBOR is geïmplementeerd als een gedocumenteerde LLM-agent plugin. Het gebruik van persistente artefacten en gated checkpoints stelt praktijkgebruikers in staat om de pipeline te auditeren, in te grijpen en de pipeline aan te passen, wat de drempel voor gebruik buiten expertgebruik verlaagt.

4. Experimentele Resultaten

De auteurs evalueerden HARBOR over 6 benchmarks en 16 taken, variërend van manipulatie en locomotie tot bimanuele dexterous control. De evaluatiesuite omvatte diverse simulatie-backends: IsaacLab, Bi-DexHands (IsaacGym), ManiSkill (Sapien), Genesis, MJLab (Warp), en Loco-Mujoco (MJX).

End-to-End Automatisering en Sim-to-Real

Simulatieprestaties: HARBOR automatiseerde succesvol de volledige pipeline (van afhankelijkheden opzetten tot policy training) over vier simulators (IsaacLab, ManiSkill, Genesis, MJLab) en vier manipulatietaken (Stack-Cube, Insert-Drawer, Lift-Box, Dex-Grasp). Het behaalde succespercentages tussen de 88,5% en 100% op IsaacLab-taken.
Real-World Transfer: Via HARBOR getrainde policies werden succesvol overgedragen naar echte robots (Franka bimanuele armen en xArm met een Allegro Hand). Hoewel de succespercentages varieerden op basis van de simulator-physics (bijv. lagere prestaties op MJLab door uitdagingen in physics identificatie), demonstreerde het framework het vermogen om beloningsstructuren en domein-randomisatie aan te passen voor real-world executie.
Beloningsontwerp: Vergeleken met de baselines Eureka en REvolve, presteerde HARBOR consequent beter, met name op taken met een lange horizon (Stack-Cube) en complexe interacties (Insert-Drawer). Het vermogen van het systeem om feedback van rollout-gedrag te gebruiken voor diagnostiek en om menselijke heuristieken te benutten voor gefaseerde beloningsconstructie, was cruciaal voor het succes.

RL Algoritme Afstemming

HARBOR werd getest op het afstemmen van PPO, SAC en TD3 over table-top manipulatie, bimanuele dexterous control en locomotie taken.

Prestatiewinsten: In 11 van de 12 taaksettings behaalden door HARBOR afgestemde configuraties gelijkwaardige of betere resultaten dan standaard configuraties.
Sample Efficiëntie: De afgestemde policies vertoonden significante verbeteringen in sample efficiëntie (gemeten door Area Under the Curve en tijd tot het bereiken van return thresholds), met winsten tot wel 516% op specifieke taken (bijv. SAC op UnitreeGo2).
Succes bij Complexe Taken: Opvallend genoeg stelde HARBOR SAC in staat om taken te leren (ShadowHandDoorOpenIn, ShadowHandDoorCloseIn) waar de oorspronkelijke baseline faalde.

Ablatie en Efficiëntie Analyse

Ablatiestudies op de ManiSkill Push-Cube pipeline vergeleken het volledige HARBOR framework met varianten die specifieke componenten misten (geen subagent isolatie/parallellisme, geen gates, geen ervaring) en een vanilla baseline.

Betrouwbaarheid: Het volledige HARBOR framework behaalde de hoogste betrouwbaarheid (48/50 succesvolle runs) vergeleken met de vanilla baseline (29/50).
Kosten en Tijd: HARBOR was de meest kosteneffectieve configuratie, waarbij de wandkloktijd met ongeveer 4,2x werd verminderd en de tokenkosten aanzienlijk lager waren vergeleken met de vanilla baseline.
Impact van Componenten:
- Isolatie (CCDE): Het verwijderen van subagent isolatie verhoogde de context-belasting en de runtime, wat leidde tot lagere succespercentages in iteratieve stadia.
- Gates: Het verwijderen van gates leidde tot stille fouten (bijv. render defecten) en verminderde de succespercentages in beloningsgeneratie en afstemming.
- Ervaring: Het verwijderen van herbruikbare kennis verminderde de betrouwbaarheid in generatieve stadia drastisch (succes van beloningsgeneratie daalde naar 2/10).

5. Betekenis en Beperkingen

Het artikel stelt dat HARBOR aantoont dat robot RL-automatisering end-to-end kan worden bereikt door de engineering-pipeline te behanden als een gestructureerde harness in plaats van een pure code-generatie taak. Door gebruik te maken van uitvoerbare feedback en persistente artefacten, vermindert het systeem de engineering-inspanning en kosten, terwijl het policies produceert die in staat zijn tot real-world transfer.

Beperkingen:

Afhankelijkheid van Kennis: De capaciteit van HARBOR wordt begrensd door de tools en de voorafgaande kennis die aan de agenten worden blootgesteld. Nieuwe taken zonder voorafgaande scaffolding kunnen veel herstel-iteraties vereisen of falen.
Sim-to-Real Grens: Hoewel HARBOR de simulatie-pipeline automatiseert, vereist de implementatie op fysieke robots nog steeds handmatige engineering voor robot-interfaces en menselijke feedbackloops.
Policy Architectuur: De huidige implementatie ondersteunt relatief eenvoudige policy architecturen; het uitbreiden naar vision-language-action of world-model-gebaseerde policies wordt genoemd als een toekomstige richting.

De auteurs positioneren HARBOR niet als een vervanging voor menselijke expertise, maar als een systeem dat de drempel verlaagt, waardoor praktijkgebruikers de pipeline kunnen auditeren en aanpassen, om zo de toepassing van RL op diverse robotica-taken te schalen.