Technische Samenvatting: Embodied-BenchClaw

Probleemstelling

De constructie van benchmarks voor belichaamde ruimtelijke intelligentie vormt momenteel een flessenhals in het vakgebied. Hoewel Vision-Language Models (VLM's) en Multimodale Large Language Models (MLLM's) zich snel ontwikkelen, blijft de creatie van benchmarks arbeidsintensief, moeilijk te hergebruiken en lastig te onderhouden. Bestaande benchmarks zijn vaak statische datasets die snel verzadigd raken of overfitten naarmate de capaciteiten van modellen verbeteren, wat hun vermogen om volgende generaties modellen te onderscheiden vermindert. Bovendien vertonen huidige benchmarks vaak representatieve redundantie, waarbij ze vergelijkbare regio's van de interne feature-ruimte van het model beslaan, en ontbreekt het hen aan de flexibiliteit om evaluatieprotocollen bij te werken of te verfijnen zonder substantiële handmatige inspanning. Er is een kritieke behoefte aan een systeem dat automatisch verifieerbare, uitvoerbare en continu bij te werken benchmark-pakketten kan construeren die zijn afgestemd op specifieke gebruikersintenties.

Methodologie

Het artikel stelt Embodied-BenchClaw voor, een autonoom multi-agent systeem ontworpen om de constructie van benchmarks voor belichaamde ruimtelijke intelligentie te automatiseren. Het systeem transformeert hoogwaardige gebruikersverzoeken naar continu bij te werken benchmark-pakketten via een vijffasen-pipeline die wordt gecoördineerd door drie gespecialiseerde agenten: een Planning Agent, een Construction Agent en een Evaluation Agent (die ook de proceskwaliteitscontrole afhandelt).

Kerncomponenten

1. Vijfstaps Automatische Workflow:

   • Intent Blueprinting: Zet gebruikersverzoeken om in gestructureerde blauwdrukken die doelgerichte capaciteiten, de taakomvang en de resourceplannen definiëren.
   • Data Collection: Verzamel data uit heterogene bronnen, waaronder simulators, real-world afbeeldingen/video's, door de gebruiker verstrekte data en bestaande benchmarks.
   • Structuring and Cleaning: Normaliseert ruwe data naar gestructureerde bewijsstukken (evidence records), verwijdert ongeldige samples en organiseert metadata.
   • Benchmark Synthesis: Instantiëren van benchmark-items door expert-templates te koppelen aan geverifieerde bewijsstukken, waarbij vragen, referentieantwoorden en uitvoerbare scoreprotocollen worden gegenereerd.
   • Evaluation Reporting: Voert model-evaluaties uit, analyseert responsen, berekent scores en genereert diagnostische rapporten.

2. Hiërarchische Skill-Gestuurde Executie:

   • Het systeem maakt gebruik van een Skill Library waar skills worden gedefinieerd als contractgebaseerde eenheden ($Sk = \langle I_k, O_k, E_k, V_k, R_k, \tau_k \rangle$). Deze eenheden hebben expliciete input/output-schema's, uitvoerbare componenten (bijv. Python-scripts, LLM-aanroepen, simulator-adapters), validatieregels en optionele herstelacties.
   • Constructie verloopt via Stage-wise Skill DAGs (Directed Acyclic Graphs). In plaats van vrije generatie voeren agenten vooraf gedefinieerde DAG's uit waarbij knopen skills vertegenwoordigen en randen de artefact-afhankelijkheden. Dit zorgt ervoor dat de workflow controleerbaar, reproduceerbaar en traceerbaar is.

3. Proceskwaliteitscontrole en Lokale Reparatie:

   • In tegenstelling tot post-processing is kwaliteitscontrole ingebed in de workflow. Een Process Quality-Control Agent voert bij elke fase contractgebaseerde verificatie uit.
   • Verificaties controleren op o.a. schema-geldigheid, volledigheid van bewijslast, afleidbaarheid van antwoorden, uitvoerbaarheid van scoring en traceerbaarheid.
   • Indien een verificatie faalt, gebruikt het systeem provenance tracing om de specifieke gefaalde knoop te lokaliseren en triggert het lokale herstel (bijv. het opnieuw verzamelen van data, het regenereren van items) in plaats van de gehele workflow te herstarten.

4. Herbruikbare Kennisbronnen:

   • Expert Templates: Definiëren taakpatronen (vraagvormen, vereisten voor bewijslast, scoring-beperkingen) voor specifieke belichaamde scenario's.
   • Capability Cards: Beschrijven beschikbare resources (simulators, datasets, tools), hun aanroepmethoden en beperkingen, waardoor wordt gewaarborgd dat benchmark-items gegrond zijn in haalbare bewijslast.

Belangrijkste Bijdragen

1. Embodied-BenchClaw Framework: Een volledig geautomatiseerd multi-agent systeem dat gebruikersintenties voor evaluatie omzet in volledige, bij te werken benchmark-pakketten, inclusief planning, constructie en evaluatie.
2. Hiërarchische Skill-Gestuurde Executie: Een mechanisme dat gebruikmaakt van stage-wise DAG's en contract-gedefinieerde skills om een modulaire, traceerbare en herstelbare benchmark-constructie te garanderen.
3. Proceskwaliteitscontrole: Een nieuw mechanisme dat uitvoerbare verificatie, provenance tracing en lokale reparatie combineert om agentgedrag te beperken en de betrouwbaarheid van gegenereerde artefacten te waarborgen.
4. Benchmark Instantiatie: Het systeem werd gebruikt voor de constructie van zes representatieve benchmarks: Indoor-Bench, NavLand-Bench, Drive-Bench, Aerial-Bench, Quad-Bench en Manip-Bench, die diverse belichaamde dragers (indoor robots, autonome voertuigen, UAV's, quadrupede robots) en ruimtelijke capaciteiten dekken.

Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd, inclusief menselijke evaluatie, beoordeling van kwaliteit door judges, consistentiecontroles en model-evaluatie op de gegenereerde benchmarks.

• Benchmark Nut (UAV/Aerial-View Case Study):

  • Een benchmark met 5.000 vragen werd gegenereerd voor UAV/aerial-view begrip.
  • Evidence Dependency: Vision-language modellen behaalden een gemiddelde score van 65,39%, terwijl blinde evaluatie (alleen tekst) daalde naar 29,82%, wat aanzienlijk lager is dan de random baseline (33,30%). Deze kloof bevestigt dat de benchmark echte visuele-ruimtelijke redenering vereist in plaats van louter taal-priors.
  • Model Separabiliteit: De benchmark maakte succesvol onderscheid tussen modellen. Zo behaalde GPT-5.5 74,13%, terwijl open-source modellen zoals Qwen3.6-27B een score van 71,27% behaalden. Verschillende modellen vertoonden duidelijke sterktes in verschillende vraagtypen (bijv. binaire vergelijking versus intervalselectie).
  • Difficultie Hiërarchie: De benchmark onthulde variërende moeilijkheidsgraden, waarbij intervalselectie het meest uitdagend was (gemiddeld 32,07%) en binaire vergelijking het makkelijkst (84,36%).

• Constructie Betrouwbaarheid:

  • Het systeem demonstreerde een hoog succespercentage bij het construeren van geldige pakketten in diverse scenario's.
  • Ablatie-studies bevestigden dat het verwijderen van componenten zoals de Skill Library, Formele Verificatie of Lokale Reparatie de geldige opbrengst en de kwaliteit van de gegenereerde benchmarks aanzienlijk verslechterde.

Betekenis en Claims

Het artikel claimt dat Embodied-BenchClaw het kritieke mismatch tussen snelle modelontwikkeling en trage benchmark-constructie aanpakt. Door benchmark-constructie herbruikbaar, verifieerbaar en onderhoudbaar te maken, ondersteunt het systeem:

• Tijdige Evaluatie: Het vermogen om snel benchmarks te genereren voor nieuwe modelcapaciteiten of applicatiescenario's.
• Lifecycle-Georiënteerd Onderhoud: De capaciteit om benchmarks continu te verversen en bij te werken om verzadiging en overfitting te voorkomen.
• Diagnostische Waarde: De generatie van fijnmazige, op bewijslast gebaseerde benchmarks die specifieke foutmodi in belichaamde ruimtelijke intelligentie kunnen blootleggen (bijv. diepte-redenering, occlusie-afhandeling).

De auteurs positioneren Embodied-BenchClaw niet enkel als een vraaggenerator, maar als een uitgebreid framework voor het lifecycle-management van belichaamde ruimtelijke benchmarks, wat een schaalbare en continu verversbare evaluatie van VLM's en MLLM's mogelijk maakt.