AgenticLab: A Real-World Robot Agent Platform that Can See, Think, and Act

Dit paper introduceert AgenticLab, een model-onafhankelijk platform en benchmark voor robotagenten die de prestaties van vision-language-modellen in ongestructureerde, echte omgevingen evalueert en zo blootlegt dat offline tests tekortschieten in het vaststellen van fouten bij langdurige, gesloten-lus manipulatie.

De kern

AgenticLab: De "Zelfdenkende" Robot die Eindelijk Leert Omgaan met Chaos

Stel je voor dat je een robot hebt die niet alleen een programmeercode volgt, maar echt denkt en reageert op de wereld om hem heen. Dat is wat AgenticLab doet. Het is een nieuw platform dat robots leert om taken uit te voeren in een chaotische, echte wereld – net zoals jij en ik – in plaats van in een perfect geordende virtuele wereld.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: Robots die "Blind" zijn in de Chaos

Vroeger waren robots als een trein op een spoor: ze konden alleen rijden waar de rails lagen. Als er een steen op het spoor lag, vielen ze stil.
Recente robots gebruiken "grote hersenen" (AI-modellen) die kunnen zien en lezen. Maar tot nu toe waren deze robots vaak als een student die een examen schrijft zonder de vragen te mogen stellen: ze kregen een foto en een opdracht, en moesten een antwoord geven. Ze deden dit perfect op papier, maar in de echte wereld faalden ze. Waarom? Omdat ze niet zagen dat de banaan verschoven was, of dat hun hand net iets te hard had gedrukt. Ze konden niet "terugkijken" en hun plan aanpassen.

2. De Oplossing: AgenticLab als een Slimme Chef

AgenticLab is als het inhuren van een super-slimme chef-kok in plaats van een robotarm die alleen maar knijpt. Deze chef heeft drie superkrachten:

• Zien (See): De chef kijkt niet alleen naar één foto. Hij gebruikt twee camera's: één die het hele keukenblad ziet (zoals een hoofd) en één die op zijn pols zit (zoals een hand). Zo ziet hij zowel het grote plaatje als de details.
• Denken (Think): Dit is het belangrijkste. De chef denkt niet in één keer door. Hij werkt in een cirkel van actie en controle:
  1. Hij bedenkt een plan.
  2. Hij voert een stap uit (bijv. "pak die appel").
  3. Hij checkt direct: "Hé, heb ik die appel echt vast? Of heb ik per ongeluk de peer gepakt?"
  4. Als het fout is, plaatst hij het plan direct bij (replanning). Hij zegt: "Oké, mijn hand is leeg, ik probeer het opnieuw met een betere grip."
• Handelen (Act): Hij voert de bewegingen uit, maar wacht nooit blindelings op het einde.

3. De "Model-Agnostic" Magie: Een Universele Steekpenning

Een groot probleem in robotica is dat elke robot vaak een specifieke hersenmodule nodig heeft. AgenticLab is als een universele stopcontactstekker.
Het maakt niet uit of je een "Google-hersenen", een "OpenAI-hersenen" of een "Qwen-hersenen" gebruikt; AgenticLab kan ze allemaal aansluiten. Het platform zorgt voor de communicatie, zodat je kunt testen welke "hersenen" het beste werken in de echte wereld, zonder dat je de hele robot moet verbouwen.

4. Wat Ze Ontdekt hebben: De "Illusie" van Succes

De onderzoekers hebben veel robots getest en ontdekten een verrassend ding:

• De Valstrik: Veel AI-modellen lijken slim op papier (ze kunnen een foto beschrijven), maar in de praktijk hallucineren ze. Ze zeggen bijvoorbeeld: "Ik heb de appel vast," terwijl hun hand leeg is.
• De Les: Als een robot niet constant controleert of wat hij doet ook echt gebeurt, stapelen de fouten zich op. Het is alsof je een toren bouwt van kaarten: als je de eerste kaart verkeerd zet, valt de hele toren om. AgenticLab leert de robot om elke stap te controleren voordat hij doorgaat.

5. De Resultaten: Waarom dit belangrijk is

Ze hebben robots getest met taken als:

• Sorteren: Fruit in de ene bak, speelgoed in de andere.
• Stapelen: Blokken in een specifieke volgorde op elkaar zetten.
• De Keuken: De koelkast openen, een potje pakken en terugzetten.

De resultaten waren duidelijk:

• Robots die alleen "plannen" en dan blindelings uitvoeren, vallen vaak.
• Robots met AgenticLab (die constant checken en bijsturen) slagen veel vaker, zelfs als er iemand de tafel verstoort of het licht verandert.
• Ze ontdekten dat het controleren van de actie (de "Action Checker") vaak het zwakste punt is. Als de robot niet goed kan zien of hij iets vast heeft, faalt hij, ongeacht hoe slim zijn plan was.

Conclusie: Van "Robot" naar "Agent"

AgenticLab is geen nieuwe robotarm; het is een nieuwe manier van denken. Het verandert robots van statische machines die een script afspelen, in agente die kunnen zien, nadenken, handelen, controleren en opnieuw proberen.

Het is het verschil tussen een pop die een dansje doet (die valt als je hem duwt) en een mens die dansend een obstakel omzeilt. Met AgenticLab maken we robots klaar om echt in onze huizen, fabrieken en tuinen te werken, waar de wereld nooit perfect is. En het beste deel? Ze hebben de blauwdrukken openbaar gemaakt, zodat iedereen mee kan bouwen aan deze slimme toekomst.

Technische samenvatting

1. Het Probleem

Recente vooruitgang in grote visueel-taalmodellen (VLMs) heeft getoond dat deze modellen algemeen open-vocabulaire waarneming en redenering kunnen uitvoeren. Echter, hun daadwerkelijke vermogen om robotmanipulatie in de echte wereld uit te voeren, blijft onduidelijk, vooral voor taken met een lange horizon in ongestructureerde omgevingen.

Bestaande evaluaties hebben belangrijke tekortkomingen:

• Simulatie-afhankelijkheid: Veel benchmarks vertrouwen op simulaties die de dynamiek van de echte wereld, gedeeltelijke waarneembaarheid en ruis in sensoren/actuatoren niet volledig vastleggen.
• Open-loop beperkingen: Veel systemen genereren een statisch plan en voeren dit uit zonder feedback. Ze missen het vermogen om fouten te detecteren, te verifiëren en opnieuw te plannen tijdens de uitvoering.
• Moeilijke vergelijkbaarheid: Bestaande systemen zijn vaak sterk afhankelijk van specifieke model-architecturen of zijn getest in gecontroleerde omgevingen, wat het moeilijk maakt om verschillende VLM-families eerlijk te vergelijken onder dezelfde protocollen.
• Falingsmodi: Offline tests (zoals VQA of statische beeldanalyse) missen kritieke falingsmodi die alleen ontstaan bij gesloten-lus redenering, zoals inconsistentie in meervoudige stappen, objecten onder verduistering, en onvoldoende ruimtelijke redenering voor betrouwbare manipulatie.

2. Methodologie: Het AgenticLab Platform

AgenticLab is een model-agnostisch platform voor robotagenten dat is ontworpen voor manipulatie in de echte wereld ("in-the-wild"). Het combineert hardware en software tot een reproduceerbare stack.

Hardware Stack:

• Robot: Een UR5e-arm gemonteerd op een beweegbare basis.
• Sensoren: Twee RGB-D-camera's voor complementaire perspectieven:
  • Een Azure Kinect (schouder-view) voor globale context en lay-outbegrip.
  • Een RealSense D405 (pols-view) voor gedetailleerde, close-range feedback.
• Grijper: Een lage-kosten parallelle grijper met Fin-Ray-vingers (3D-geprint, < $200), aangedreven door één servo.

Software Framework (Gesloten Lus):
Het systeem volgt een iteratieve cyclus van Zien (See), Denken (Think) en Handelen (Act):

1. Zien (Perceptie): Convergeert RGB-D observaties naar gestructureerde scenes. Het gebruikt een modulaire interface voor objectdetectie (bijv. VLM of LangSAM) en voert iteratieve verificatie uit om aanpassingen te doen aan veranderingen in licht of achtergrond.
2. Denken (Redenering & Planning):
   • Taakparser: Zet natuurlijke taal instructies om naar een gestructureerd PDDL (Planning Domain Definition Language) probleem, geleid door een VLM.
   • Symbolische Planner: Gebruikt een klassieke planner (Fast Downward) om een reeks acties te genereren op basis van het PDDL-probleem.
   • Actiechecker & Grijplanner: Voert voorafgaande verificatie uit van precondities en grijpposities. Als een grijppositie wordt afgewezen (bijv. door botsingsrisico), schakelt het systeem over naar de polscamera voor lokale herplanning.
3. Handelen (Executie): Voert primitieve acties uit (bijv. 'pik', 'zet neer') en monitort de uitkomst.
4. Verificatie & Replanning: Na elke actie wordt de uitkomst visueel geverifieerd. Als de verificatie faalt (bijv. het object is niet opgepakt), wordt het plan opnieuw opgestart of aangepast.

3. Belangrijkste Bijdragen

1. Model-Agnostische Pipeline: Een unificatie-interface die het mogelijk maakt om verschillende VLMs (zoals Gemini, GPT, Qwen) als "drop-in" componenten te gebruiken zonder specifieke engineering per model. Dit zorgt voor eerlijke vergelijkingen.
2. Eerste Real-World Benchmark: Een benchmark-suite met vijf complexe taken (Sorteren, Stapelen, Kriskras, Re-oriëntatie, Keuken) in drie omgevingen (lab, keuken, buiten). Dit test gesloten-lus redenering, ruimtelijke redenering en foutherstel in plaats van statische beeldbegrip.
3. Open-Source Platform: De volledige hardware- en software-stack wordt vrijgegeven om reproduceerbaarheid te bevorderen en de drempel voor onderzoek in embodied intelligence te verlagen.

4. Resultaten en Analyse

De auteurs hebben diverse state-of-the-art VLMs getest op het platform. De belangrijkste bevindingen zijn:

• Verificatie is de kritieke bottleneck: De robuustheid van een agent wordt bepaald door de zwakste schakel. Zelfs modellen met goede redeneercapaciteiten (zoals Qwen-VL-Max of GPT-5.2) faalden vaak door onbetrouwbare actie-verificatie (hallucineren dat een object niet is opgepakt terwijl het dat wel is).
• Gemini Familie: De Gemini-modellen (vooral Gemini 3 Flash) presteerden het meest consistent, met een succesrate van 75% op de sorteer-taak, dankzij een goede balans tussen snelle redenering en nauwkeurige visuele grounding.
• Compositional Pipelines: Het combineren van gespecialiseerde modellen voor specifieke modules (bijv. Qwen voor objectdetectie, Gemini voor planning, Claude voor verificatie) kan prestaties verbeteren, maar lost niet alle problemen op als de omgeving sterk verandert.
• VLA vs. AgenticLab: Een fijn-afgestemd Vision-Language-Action model (π0.5) presteerde slechter dan AgenticLab. Fijn-afgestemde modellen worstelen met complexe semantische instructies en missen het vermogen tot gesloten-lus herstel en hoge-niveau redenering zonder specifieke training.
• Ablatie Studies:
  • Actiechecker: Een volledige actiechecker (verificatie na elke stap) is cruciaal voor taken met sterke afhankelijkheden (zoals stapelen). Zonder dit falen taken volledig door cumulatieve fouten.
  • Grijplanner: In rommelige scènes is visuele evaluatie van grijpposities essentieel om botsingen en verkeerde objecten te voorkomen.

5. Betekenis en Impact

AgenticLab markeert een verschuiving in robotonderzoek van "open-loop planning in simulatie" naar gesloten-lus agenten in de echte wereld.

• Realisme: Het benadrukt dat succes in de echte wereld afhangt van het vermogen om fouten te detecteren en te herstellen, niet alleen van het initiëren van een plan.
• Generalisatie: Het toont aan dat het ontkoppelen van redenering, grounding en uitvoering (in plaats van alles in één monolithisch VLA-model te steken) leidt tot betere generalisatie in ongestructureerde omgevingen zonder de noodzaak van enorme hoeveelheden specifieke robot-demonstraties.
• Toekomstige Richting: Het platform biedt een basis voor het ontwikkelen van robuuste, algemene robotagenten die kunnen opereren in dynamische, onvoorspelbare omgevingen, en identificeert dat de kwaliteit van verificatie (action checking) momenteel de belangrijkste beperkende factor is voor de betrouwbaarheid van VLM-gestuurde robots.