💻 computer science

Harness VLA: Steering Frozen VLAs into Reliable Manipulation Primitives via Memory-Guided Agents

Harness VLA is een geheugenversterkt agentisch framework dat de betrouwbaarheid van bevroren Vision-Language-Action modellen verbetert in complexe manipulatietaken door ze te behanden als herhaalbare contactrijke primitieven en ze te combineren met een vaste bibliotheek van analytische primitieven, waardoor het aanzienlijke prestatiewinst behaalt op benchmarks zoals LIBERO-Pro en RoboCasa365 zonder dat model-fintuning vereist is.

Oorspronkelijke auteurs: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Gepubliceerd 2026-07-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yixian Zhang, Huanming Zhang, Feng Gao, Xiao Li, Zhihao Liu, Chunyang Zhu, Jiaxing Qiu, Yuchen Yan, Jiyuan Liu, Wenhao Tang, Zhengru Fang, Yi Nie, Changxu Wei, Yu Wang, Wenbo Ding, Chao Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligent robotbrein hebt dat uitblinkt in één specifieke taak: het grijpen van vreemd gevormde objecten, het draaien van kleverige knoppen of het indrukken van knoppen. Het is als een wereldklasse chef die perfect groenten kan snijden en biefstuk kan aanbraden. Maar als je die chef vraagt om een heel diner te plannen, door een drukke keuken te navigeren of uit te zoeken waar het zout staat wanneer de tafel is verplaatst, raakt hij totaal de weg kwijt. Hij zou bijvoorbeeld de zoutpot kunnen proberen te snijden omdat hij getraind is op een specifieke tafelopstelling, of hij zou kunnen bevriezen wanneer de instructies licht veranderen.

Dit is het probleem met huidige "Vision-Language-Action" (VLA) robots. Ze zijn geweldig in het "contact"-gedeelte (dingen aanraken en bewegen), maar verschrikkelijk in het "plannen"-gedeelte wanneer zaken rommelig of anders worden.

Maak kennis met Harness VLA. Zie dit niet als een nieuw robotbrein, maar als een briljante projectmanager die het werk overneemt om de keuken te runnen.

De Samenwerking: De Manager en de Specialist

In dit nieuwe systeem is het robotbrein (de VLA) "bevroren". Dat betekent dat we het niet opnieuw trainen of nieuwe trucjes leren. Het blijft precies zoals het is, een specialist in taken met veel contact. Het Harness VLA-systeem omsluit de specialist met een "manager" (een AI-agent).

Zo werken ze samen:

De Manager (De Planner): Dit is de baas. Het kijkt naar de taak (bijv. "Zet de melk in de koelkast"), controleert de kamer en breekt de klus op in kleine, logische stappen. Het gebruikt een kleine, vaste set "analytische" hulpmiddelen—zoals een GPS voor het bewegen van de arm, een eenvoudige opdracht om de grijper te openen, of een beweging om de pols te draaien. Deze hulpmiddelen zijn als de basisreflexen van een robot: voorspelbaar, betrouwbaar en perfect voor het bewegen door lege ruimte.
De Specialist (De Bevroren VLA): De manager roept de specialist alleen op wanneer het lastig wordt. Wanneer de robot daadwerkelijk een glibberige melkarton moet pakken, een kraan moet draaien of een knop moet indrukken, zegt de manager: "Oké, specialist, jij bent aan de beurt!" De specialist doet zijn magie voor een paar seconden en geeft de controle dan weer terug aan de manager.

Het Geheime Recept: Een Geheugennotitieblok

De echte magie zit niet alleen in de samenwerking; het is het Geheugen.

Stel je voor dat de manager twee notitieblokken heeft:

Het Taaknotitieblok: Nadat de robot een probleem eenmaal succesvol heeft opgelost, schrijft de manager de volgorde van de stappen op die hij heeft genomen. Maar hier komt het coole aan: in plaats van exacte coördinaten op te schrijven zoals "beweeg naar x=1.2, y=0.5", schrijft hij logica op zoals "beweeg naar de rode kom". Op deze manier kan de manager, zelfs als de kom morgen op een andere plek staat, nog steeds hetzelfde plan gebruiken, door de stappen simpelweg opnieuw te richten op de nieuwe locatie.
Het Globale Notitieblok: Dit is een verzameling van "vuistregels" en "geleerde lessen" van vele verschillende taken. Het bevat aantekeningen zoals: "Als de grijper sluit maar het object beweegt niet, is het een nep-greep—probeer het opnieuw," of "Controleer altijd het succes-signaal voordat je viert."

Wanneer een nieuwe taak binnenkomt, raadpleegt de manager deze notitieblokken. Als de robot faalt, geeft de manager niet zomaar op. Hij leest de "foutregels", past het plan aan, herpositioneert de robot en probeert de hulp van de specialist opnieuw. Het is als een mens die leert fietsen: je valt, je onthoudt wat er misging, je past je evenwicht aan en je probeert het opnieuw.

Wat dit Systeem NIET is

Het artikel is zeer duidelijk over wat dit systeem niet doet. Het voert expliciet een argument tegen twee veelvoorkomende ideeën:

Het probeert NIET het robotbrein groter of slimmer te maken. De auteurs hebben geen nieuw, enorm AI-model getraind om alles te doen. Ze hielden het brein bevroren en klein.
Het geeft de robot NIET een oneindige bibliotheek aan nieuwe vaardigheden. De manager verzint geen nieuwe hulpmiddelen ter plekke. Hij gebruikt een kleine, vaste set hulpmiddelen (Bewegen, Draaien, Pakken, Loslaten) en leert hoe hij deze perfect kan combineren.

Het artikel suggereert dat proberen om één gigantische AI alles te laten doen (plannen, bewegen en grijpen) juist het probleem is. Door de taken te splitsen, wordt het systeem veel betrouwbaarder.

De Resultaten: Werkt het?

De auteurs hebben dit systeem getest in verschillende virtuele werelden, van eenvoudige tafelspellen tot complexe keukensimulaties. De resultaten waren indrukwekkend:

Op een standaardtest genaamd LIBERO-Pro, waarbij de instructies werden gewijzigd of objecten naar nieuwe plekken werden verplaatst, slaagde het Harness VLA-systeem 38,6 procentpunt vaker dan de beste eerdere methoden.
Op een keukensimulatie genaamd RoboCasa365 verbeterde het succespercentage met 25,4 procentpunt.
Op een dual-arm robot test genaamd RoboTwin, bereikte het een succespercentage van 58,4%.

Het artikel laat zien dat door een slimme manager het plannen en geheugen te laten afhandelen, en alleen het bevroren "specialist"-brein te gebruiken voor het daadwerkelijke grijpen, de robot veel beter om kan gaan met rommelige, echte veranderingen dan voorheen. Het is een herinnering dat de beste manier om een superrobot te bouwen soms niet is om hem een groter brein te geven, maar om hem een betere manager te geven.

Technische Samenvatting: Harness VLA

Probleemstelling

Taalvoorwaardige robotische manipulatie vereist een systeem dat zowel in staat is tot precieze, contactrijke controle als tot robuuste redenering over taal, scènes en taken met een lange horizon. Huidige benaderingen kampen met een fundamentele afruil:

End-to-End Vision-Language-Action (VLA) Modellen: Deze modellen blinken uit in lokale, op afbeeldingen gebaseerde contacttaken (bijv. het grijpen van onregelmatige objecten, het draaien van kranen), maar worden getraind op in-distributie trajecten. Ze falen vaak onder deployment-perturbaties zoals semantische herbinding, doel-herbinding, ruimtelijke lay-out verschuivingen, of wanneer korte vaardigheden moeten worden samengesteld tot langere routines. Een enkele instabiele contactfout kan een hele monolithische uitvoering ontsporen.
LLM Coding Agents: Deze agenten bieden sterke semantische en compositionele redenering door uitvoerbare programma's te synthetiseren over perceptie- en controle-API's. Echter, puur analytische primitieven (bijv. inverse kinematica transport, grijpercontrole) worstelen met onregelmatig grijpen, beperkte plaatsing en interactie met gelede objecten. Bovendien vereist het schalen van deze systemen vaak het uitbreiden van de vaardighedenbibliotheek, waarbij de agent de veiligheid en herbruikbaarheid van nieuw gegenereerde vaardigheden moet valideren.

De kernuitdaging is het combineren van de lokale visuomotorische sterktes van VLA's met de compositionele redenering van agenten, zonder dat hiervoor finetuning van de VLA of uitbreiding van de primitieve vocabulaire tijdens deployment nodig is.

Methodologie: Harness VLA

De auteurs stellen Harness VLA voor, een geheugen-geaugmenteerd agentisch framework dat een bevroren VLA niet behandelt als een monolithisch beleid, maar als een herhaalbare, contactrijke primitief binnen een vaste bibliotheek van analytische controllers.

1. Systeemarchitectuur

Het systeem werkt via een turn-based, autoregressieve interactie tussen een hoogwaardige Agentic Planner ( $\Pi$ ) en een physics engine.

Vaste Primitievenbibliotheek ( $\mathcal{P}$ ): De planner is beperkt tot een kleine, vaste set primitieven. Dit omvat:
- Analytische Primitieven: Deterministische, model-gebaseerde controllers voor niet-contacttaken (bijv. MOVE TO, ROTATE WRIST, SET GRIPPER, NAVIGATE TO). Deze handelen vrije ruimte transport, staging, houding aanpassing en loslaten af.
- VLA Primitief (VLA ACT): Een enkele geleerde primitief die een bevroren, voorgetrainde VLA inkapselt. Deze wordt alleen aangeroepen voor lokale, contactrijke fasen (bijv. grijpen, insteken, bediening van onderdelen).
Geheugenmodules:
- Taakspecifiek Geheugen: Slaat succesvolle primitief-compositie traces op (JSONL-formaat) van een referentie-seed. Deze traces zijn geparametriseerd (door concrete coördinaten te vervangen door symbolische queries) om allow few-shot re-grounding in nieuwe ruimtelijke lay-outs.
- Globaal Geheugen: Slaat herbruikbare succesregels en faalmodellen op (bijv. "vermijd lege grijpbewegingen", "re-stage indien contact faalt") die zijn gedestilleerd uit exploratie.

2. Executielus

Het framework volgt een Read-Eval-Print Loop (REPL) stijl executie:

Exploratieve Bootstrapping: Op een referentie-seed ontdekt de planner autonoom een oplossing door te itereren door primitief-composities. Het gebruikt een RESET primitief om fouten te herhalen. Bij succes abstraheert het de trace naar het Taakspecifieke Geheugen en extraheert het heuristieken voor het Globale Geheugen.
Deployment Evaluatie: Bij ongeziene perturbaties (bijv. positiewisselingen, instructie-omleidingen), haalt de planner de Taakspecifieke Geheugen trace op. Het re-groundt de trace dynamisch met live RGB-D observaties en raadpleegt het Globale Geheugen om bekende faalmodi te vermijden. De planner orkestreert de sequentie: het gebruik van analytische primitieven voor staging en transport, en het aanroepen van VLA ACT alleen wanneer de robot in een gunstige lokale configuratie is voor contact.

3. Belangrijke Ontwerpprincipes

Asymmetrische Delegatie: Semantische gronding, lange-horizon compositie en scène-niveau redenering worden afgehandeld door de planner. De bevroren VLA is strikt gereserveerd voor lokale contactrijke operaties waar de training-distributie informatief is.
Herhaalbaar Contact: De planner behandelt VLA ACT als een lokale poging. Als een contactfase faalt (bijv. instabiel grijpen), kan de planner de robot opnieuw stage (verandering van benaderingshouding of viewpoint) en de VLA-aanroep opnieuw proberen, in plaats van de hele episode te laten falen.
Geen Finetuning: De VLA-backbone blijft bevroren. Het systeem breidt het operationele bereik van de VLA uit door te veranderen wanneer en hoe deze wordt aangeroepen, niet door de gewichten bij te werken.

Belangrijkste Bijdragen

Geheugen-geaugmenteerd Agentisch Framework: Een nieuwe architectuur die een bevroren VLA blootstelt als een primitief binnen een vaste bibliotheek, wat lange-horizon, geperturbeerde manipulatie mogelijk maakt zonder VLA finetuning of vocabulaire-uitbreiding.
Empirische Analyse van Vaste Primitieven: Demonstreert dat een kleine, vaste primitievenbibliotheek voldoende is wanneer de planner leert deze te orkestreren. Herhaalde door de planner gestage aanroepen kunnen fragiele VLA-pogingen herformuleren, terwijl analytische primitieven de niet-contact structuur oplossen.
Robuust Benchmark Prestatie: Het framework behaalt state-of-the-art resultaten over vier standaard en zwaar geperturbeerde benchmarks.

Experimentele Resultaten

De auteurs evalueerden Harness VLA op vier benchmark-families: LIBERO, LIBERO-Pro, RoboCasa365, en RoboTwin C2R.

Standaard LIBERO: Harness VLA (met een Codex of Claude Code planner) behaalde een geaggregeerd succespercentage van 96.0%, waarbij het concurrerende prestaties behield met de onderliggende bevroren VLA (95.3%) terwijl het perturbatie-robuustheid mogelijk maakte.
LIBERO-Pro (Geperturbeerd): Onder instructie-omleiding en positiewissel-perturbaties presteerde Harness VLA significant beter dan de sterkste baseline (RATS).
- Harness VLA (CC): 82.4% totaal succes.
- Harness VLA (Codex): 72.1% totaal succes.
- Verbetering ten opzichte van RATS (43.8%): +38.6 procentpunt.
- Verbetering ten opzichte van de bevroren RLinf baseline (50.0%): +32.4 procentpunt.
RoboCasa365 (Huishoudelijke Keuken): Harness VLA verbeterde ten opzichte van de bevroren RLDX-1 baseline (30.0%) naar 55.4% (Codex) en 48.6% (CC), een winst van +25.4 procentpunt.
RoboTwin C2R (Bimanuele Zero-Shot): In een clean-naar-gerandomiseerde transfer setting verhoogde Harness VLA het succespercentage van de bevroren LingBot-VLA backend (50.4%) naar 58.4%.

Mechanisme Analyse:

Semantische Re-grounding: De planner parseert expliciet taakbeschrijvingen en herbindt targets, waardoor voorkomt dat de VLA training-tijd gedrag herhaalt wanneer instructies veranderen.
Adaptieve Aanroep: Succespercentages stijgen snel met de eerste paar door de planner gestage VLA-aanroepen, wat aantoont dat het opnieuw proberen van contactpogingen na re-staging cruciaal is voor robuustheid.
Taakverdeling: Analytische primitieven handelen het merendeel van de niet-contact transport en staging af (bijv. 84.2% van de calls in LIBERO), waardoor de VLA wordt gereserveerd voor de specifieke contactrijke fasen waar deze het meest effectief is.

Betekenis en Claims

Het artikel claimt dat Harness VLA aantoont dat voorgetrainde VLA's het meest effectief zijn wanneer ze geïsoleerd worden tot contactrijke visuomotorische controle, terwijl het abstraheren van semantische en ruimtelijke bindingen naar een hoger niveau (agent) de catastrofale fouten voorkomt die gebruikelijk zijn bij monolithische deployments.

De auteurs stellen dat hun aanpak een praktisch pad biedt naar robuuste manipulatie zonder de computationele kosten van het finetunen van grote VLA-modellen voor elke nieuwe taak of omgeving. Door de VLA te behandelen als een "contact specialist" en de agent als de "orkestrator", breidt het systeem de bruikbaarheid van bevroren modellen uit naar out-of-distribution scenario's. Het werk benadrukt dat de sleutel tot robuustheid niet ligt in het uitbreiden van de vaardighedenbibliotheek, maar in het leren van het operationele bereik van vaste primitieven door middel van geheugen-gestuurde compositie en adaptieve retry-mechanismen.

Beperkingen: De auteurs merken op dat het systeem afhankelijk is van een open feedbackloop tussen de planner en de VLA, geen gezamenlijke finetuning via omgevingsbeloningen mist (wat wijst op toekomstig werk met reinforcement learning), en beperkt wordt door het ontbreken van fijnmazige beeld-captioning voor zeer rommelige scènes. Ze suggereren ook toekomstige integratie met automatische skill-discovery systemen (zoals ASPIRE) om de primitieve vocabulaire wanneer nodig uit te breiden.