🤖 AI

Embodied-BenchClaw: An Autonomous Multi-Agent System for Embodied Spatial Intelligence Benchmark Construction

Das Papier stellt Embodied-BenchClaw vor, ein autonomes Multi-Agenten-System, das die Konstruktion verifizierbarer, wartbarer und diverser Benchmarks für verkörperte räumliche Intelligenz durch eine fünfstufige Pipeline automatisiert und damit die arbeitsintensiven und statischen Einschränkungen bestehender Evaluierungs-Frameworks adressiert.

Ursprüngliche Autoren: Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Jianwei Hu, Qiang Ma

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Baoyang Jiang, Fengchun Zhang, Leyuan Wang, Haotian Li, Yida Wang, Zhe Ji, Jinshan Lai, Xi Ren, Jianwei Hu, Qiang Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, wie er sich in einem Haus bewegt, ein Auto fährt oder eine Drohne steuert. Um dies zu tun, benötigen Sie einen „Test“ (einen Benchmark), um zu sehen, ob der Roboter intelligent genug ist. Aber im Moment ist das Erstellen dieser Tests wie der Bau eines maßgeschneiderten Hauses für jeden neuen Roboter: Es erfordert monatelange Handarbeit, die Baupläne sind chaotisch und bis Sie fertig sind, hat der Roboter bereits gelernt, den Test zu bestehen, was den Test nutzlos macht.

Embodied-BenchClaw ist ein neues System, das wie eine automatisierte Bauteam für diese Robotertests fungiert. Anstatt dass Menschen jeden Test von Grund auf neu bauen, nutzt dieses System ein Team von KI-„Agenten“, um die Tests automatisch zu entwerfen, zu bauen und zu qualitätsprüfen.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Drei-Mitarbeiter-Team

Das System besteht nicht nur aus einer einzigen KI, die alles erledigt. Es hat drei spezialisierte Arbeiter (Agenten), die das Projekt wie an einem Fließband weiterreichen:

Der Architekt (Planungs-Agent): Sie sagen diesem Mitarbeiter: „Ich brauche einen Test für einen Roboter, der auf vier Beinen über felsiges Gelände läuft.“ Der Architekt hört zu, findet heraus, welche Fähigkeiten genau getestet werden müssen, und erstellt einen Bauplan.
Der Bauarbeiter (Konstruktions-Agent): Dieser Arbeiter nimmt den Bauplan und beginnt, Materialien zu sammeln. Er zieht echte Fotos, Videos aus Simulatoren oder alte Testdaten heran. Dann setzt er die eigentlichen Testfragen zusammen und stellt sicher, dass diese auf realen visuellen Beweisen basieren (wie einem Foto eines Felsens) und nicht nur auf erfundenen Geschichten.
Der Inspektor (Evaluierungs-Agent): Dieser Arbeiter ist der strenge Qualitätskontrolleur. Während der Bauarbeiter den Test erstellt, prüft der Inspektor jeden Schritt. Hat der Bauarbeiter das richtige Foto verwendet? Ist die Antwort tatsächlich aus diesem Foto ableitbar? Wenn etwas falsch ist, wirft der Inspektor nicht das ganze Projekt weg; er schickt es an den Bauarbeiter zurück, um genau diesen spezifischen Teil zu korrigieren.

2. Die „Lego“-Bibliothek (Skill-Bibliothek)

Eine der großen Innovationen der Arbeit ist die Skill-Bibliothek. Stellen Sie sich vor, Sie bauen ein Haus. Anstatt jedes Mal neu zu erfinden, wie man einen Stein legt oder ein Fenster einbaut, haben Sie eine Kiste mit vorgefertigten, vorgetesteten Lego-Steinen.

In Embodied-BenchClaw sind diese „Blöcke“ Skills (Fähigkeiten). Ein Skill könnte sein: „Entfernung zwischen zwei Objekten in einem Bild bestimmen“ oder „Prüfen, ob ein Pfad frei ist“.
Da diese Skills vorab verifiziert und wiederverwendbar sind, kann das System komplexe Tests schnell erstellen, ohne jedes Mal das Rad neu zu erfinden. Wenn ein neuer Typ von Roboter eingeführt wird, schnappt sich das Team einfach die passenden „Lego-Blöcke“ und setzt sie zusammen.

3. Der „Selbstheilungsprozess“

Normalerweise, wenn ein Mensch einen Fehler beim Erstellen eines Tests macht, muss er vielleicht von vorne beginnen oder Stunden mit der Korrektur verbringen. Embodied-BenchClaw besitzt einen Local Repair-Mechanismus (lokale Reparatur).

Denken Sie an ein GPS, das erkennt, dass Sie falsch abgebogen sind. Anstatt Ihnen zu sagen, dass Sie nach Hause fahren und die Fahrt von vorne beginnen müssen, leitet es Sie einfach von Ihrem aktuellen Standort aus neu.
Wenn das System eine schlechte Testfrage findet, verfolgt es genau, wo der Fehler aufgetreten ist (Provenance Tracing) und behebt nur diesen spezifischen Schritt, während der Rest der Arbeit intakt bleibt.

4. Was haben sie gebaut?

Die Arbeit zeigt, dass dieses System erfolgreich sechs verschiedene Arten von „Roboter-Fahrtests“ (Benchmarks) erstellt hat, die Folgendes abdecken:

Innenraum-Navigation: Roboter, die sich durch Räume bewegen.
Fahren: Autos, die Straßen navigieren.
Roboterarme: Roboter, die Objekte aufheben und bewegen.
Vierbeinige Roboter: Hunde oder Quadrupeden, die über unwegsames Gelände laufen.
Drohnen: Luftaufnahmen und Fliegen.
Upgrade alter Tests: Bestehende, „gesättigte“ Tests nehmen und sie schwieriger und spezifischer machen.

5. Die Ergebnisse

Die Autoren testeten dieses System, indem sie es dazu brachten, einen Test für Drohnen (UAVs) zu erstellen.

Der „blinde“ Test: Als sie den KI-Modellen den Test zeigten, ohne ihnen die Bilder zu zeigen (nur den Text), schnitten die Modelle sehr schlecht ab (etwa 30 %). Dies beweist, dass der Test tatsächlich das Betrachten des Bildes erfordert und nicht nur das Raten basierend auf Sprachmustern.
Der „Vision“-Test: Als die Modelle die Bilder sehen konnten, stiegen ihre Werte auf etwa 65 %.
Das Urteil: Dies beweist, dass das System einen fairen, schwierigen und nützlichen Test erstellt hat, der tatsächlich den Unterschied zwischen einem smarten Roboter und einem dummen Roboter feststellen kann.

Zusammenfassung

Embodied-BenchClaw ist ein System, das die Erstellung von Tests für Roboter automatisiert. Es nutzt ein Team von KI-Agenten, eine Bibliothek aus wiederverwendbaren „Bausteinen“ und einen selbstkorrigierenden Prozess, um hochwertige, visuelle Tests schnell zu erstellen. Dies löst das Problem, dass Tests zu langsam zu erstellen und zu leicht zu manipulieren sind, und stellt sicher, dass wir immer neue Wege finden können, um zu messen, wie intelligent unsere Roboter werden.

Technisches Resümee: Embodied-BenchClaw

Problemstellung

Die Erstellung von Benchmarks für verkörperte räumliche Intelligenz (embodied spatial intelligence) stellt derzeit einen Flaschenhals im Fachbereich dar. Während Vision-Language Models (VLMs) und multimodale Large Language Models (MLLMs) rasant fortschreiten, bleibt die Benchmark-Erstellung arbeitsintensiv, schwer wiederverwendbar und schwierig zu pflegen. Bestehende Benchmarks sind oft statische Datensätze, die schnell gesättigt oder überoptimiert (overfitted) sind, sobald sich die Modellfähigkeiten verbessern, was ihre Fähigkeit einschränkt, nächste Generationen von Modellen zu differenzieren. Zudem weisen aktuelle Benchmarks oft eine Repräsentationsredundanz auf, indem sie ähnliche Regionen des internen Merkmalsraums des Modells abdecken, und es mangelt ihnen an der Flexibilität, Evaluierungsprotokolle ohne erheblichen manuellen Aufwand zu aktualisieren oder zu verfeinern. Es besteht ein kritischer Bedarf an einem System, das automatisch verifizierbare, ausführbare und kontinuierlich aktualisierbare Benchmark-Pakete maßgeschneidert auf spezifische Nutzerintentionen hin konstruieren kann.

Methodik

Das Paper schlägt Embodied-BenchClaw vor, ein autonomes Multi-Agenten-System, das darauf ausgelegt ist, die Konstruktion von Benchmarks für verkörperte räumliche Intelligenz zu automatisieren. Das System transformiert hochgradige Nutzeranfragen durch eine fünfstufige Pipeline in kontinuierlich aktualisierbare Benchmark-Pakete, die von drei spezialisierten Agenten koordiniert wird: einem Planning Agent, einem Construction Agent und einem Evaluation Agent (der auch die Prozessqualitätskontrolle übernimmt).

Kernkomponenten

Fünfstufiger automatisierter Workflow:
- Intent Blueprinting: Wandelt Nutzeranfragen in strukturierte Blaupausen um, die Zielkapazitäten, Aufgabenumfang und Ressourcenpläne definieren.
- Data Collection: Aggregiert Daten aus heterogenen Quellen, einschließlich Simulatoren, realen Bildern/Videos, benutzerbereitgestellten Daten und bestehenden Benchmarks.
- Structuring and Cleaning: Normalisiert Rohdaten in strukturierte Evidenz-Datensätze, entfernt ungültige Stichproben und organisiert Metadaten.
- Benchmark Synthesis: Instanziiert Benchmark-Elemente, indem Experten-Templates mit verifizierter Evidenz verknüpft werden, wodurch Fragen, Referenzantworten und ausführbare Scoring-Protokolle generiert werden.
- Evaluation Reporting: Führt Modell-Evaluierungen aus, parst Antworten, berechnet Scores und erstellt Diagnoseberichte.
Hierarchische, skill-gesteuerte Ausführung:
- Das System nutzt eine Skill Library, in der Skills als vertragsbasierte Ausführungseinheiten ( $Sk = \langle I_k, O_k, E_k, V_k, R_k, \tau_k \rangle$ ) definiert sind. Diese Einheiten besitzen explizite Input/Output-Schemata, ausführbare Komponenten (z. B. Python-Skripte, LLM-Aufrufe, Simulator-Adapter), Validierungsregeln und optionale Reparaturmaßnahmen.
- Die Konstruktion erfolgt über stufenweise Skill-DAGs (gerichtete azyklische Graphen). Anstatt einer freien Generierung führen die Agenten vordefinierte DAGs aus, bei denen Knoten Skills repräsentieren und Kanten Abhängigkeiten zwischen Artefakten darstellen. Dies stellt sicher, dass der Workflow kontrollierbar, reproduzierbar und rückverfolgbar ist.
Prozessqualitätskontrolle und lokale Reparatur:
- Im Gegensatz zur Nachbearbeitung ist die Qualitätskontrolle in den Workflow eingebettet. Ein Process Quality-Control Agent führt in jeder Phase eine vertragsbasierte Verifizierung durch.
- Die Verifizierung umfasst Schema-Validität, Vollständigkeit der Evidenz, Ableitbarkeit der Antworten, Ausführbarkeit des Scorings und Rückverfolgbarkeit.
- Schlägt eine Verifizierung fehl, nutzt das System Provenienzverfolgung (provenance tracing), um den spezifischen fehlerhaften Knoten zu lokalisieren und löst eine lokale Reparatur aus (z. B. erneute Datenerhebung, Regeneration von Items), anstatt den gesamten Workflow neu zu starten.
Wiederverwendbare Wissensressourcen:
- Expert Templates: Definieren Aufgabenmuster (Frageformen, Anforderungen an die Evidenz, Scoring-Constraints) für spezifische verkörperte Szenarien.
- Capability Cards: Beschreiben verfügbare Ressourcen (Simulatoren, Datensätze, Werkzeuge), deren Aufrufmethoden und Einschränkungen, um sicherzustellen, dass Benchmark-Elemente auf plausibler Evidenz basieren.

Wichtigste Beiträge

Embodied-BenchClaw Framework: Ein vollautomatisches Multi-Agenten-System, das Nutzer-Evaluationsintentionen in vollständige, aktualisierbare Benchmark-Pakete umwandelt, einschließlich Planung, Konstruktion und Evaluierung.
Hierarchische Skill-gesteuerte Ausführung: Ein Mechanismus unter Verwendung von stufenweisen DAGs und vertragsdefinierten Skills, um eine modulare, rückverfolgbare und reparierbare Benchmark-Konstruktion zu gewährleisten.
Prozessqualitätskontrolle: Ein neuartiger Mechanismus, der ausführbare Verifizierung, Provenienzverfolgung und lokale Reparatur kombiniert, um das Agentenverhalten zu steuern und die Zuverlässigkeit der generierten Artefakte zu gewährleisten.
Benchmark-Instanziierung: Das System wurde zur Konstruktion von sechs repräsentativen Benchmarks verwendet: Indoor-Bench, NavLand-Bench, Drive-Bench, Aerial-Bench, Quad-Bench und Manip-Bench, die diverse verkörperte Träger (Innenraumroboter, autonome Fahrzeuge, UAVs, vierbeinige Roboter) und räumliche Fähigkeiten abdecken.

Ergebnisse

Die Autoren führten umfangreiche Experimente durch, einschließlich menschlicher Evaluation, bewertungsbasierter Qualitätsprüfung, Konsistenzprüfungen und Modell-Evaluierungen auf den generierten Benchmarks.

Benchmark-Nützlichkeit (UAV/Aerial-View Fallstudie):
- Ein Benchmark mit 5.000 Fragen wurde für das Verständnis von UAV/Luftperspektiven generiert.
- Evidenzabhängigkeit: Vision-Language-Modelle erreichten einen Durchschnittsscore von 65,39 %, während eine blinde Evaluierung (nur Text) auf 29,82 % sank, was signifikant unter der Zufalls-Baseline (33,30 %) liegt. Diese Lücke bestätigt, dass der Benchmark echtes visuell-räumliches Denken erfordert und nicht nur sprachliche Vorannahmen (Language Priors).
- Modell-Separabilität: Der Benchmark konnte Modelle erfolgreich differenzieren. Beispielsweise erreichte GPT-5.5 74,13 %, während Open-Source-Modelle wie Qwen3.6-27B 71,27 % erreichten. Verschiedene Modelle zeigten distinkte Stärken bei verschiedenen Fragetypen (z. B. binärer Vergleich vs. Intervallwahl).
- Schwierigkeitshierarchie: Der Benchmark offenbarte variierende Schwierigkeitsgrade, wobei die Intervallwahl die anspruchsvollste Aufgabe war (Durchschnitt 32,07 %) und der binäre Vergleich die einfachste (84,36 %).
Konstruktionszuverlässigkeit:
- Das System demonstrierte hohe Erfolgsraten bei der Konstruktion gültiger Pakete in diversen Szenarien.
- Ablationsstudien bestätigten, dass das Entfernen von Komponenten wie der Skill Library, der formalen Verifizierung oder der lokalen Reparatur die gültige Ausbeute (valid yield rate) und die Qualität der generierten Benchmarks signifikant verschlechterte.

Bedeutung und Ansprüche

Das Paper behauptet, dass Embodied-BenchClaw den kritischen Mismatch zwischen schneller Modellentwicklung und langsamer Benchmark-Konstruktion adressiert. Durch die Gestaltung der Benchmark-Konstruktion als wiederverwendbar, verifizierbar und wartbar, unterstützt das System:

Zeitnahe Evaluierung: Die Fähigkeit, schnell Benchmarks für neue Modellkapazitäten oder Anwendungsszenarien zu generieren.
Lebenszyklus-orientierte Wartung: Die Kapazität, Benchmarks kontinuierlich zu erneuern und zu aktualisieren, um Sättigung und Überoptimierung zu verhindern.
Diagnostischer Wert: Die Generierung feingranularer, evidenzbasierter Benchmarks, die spezifische Fehlermodi in der verkörperten räumlichen Intelligenz (z. B. Tiefenverständnis, Okklusionsbehandlung) aufzeigen können.

Die Autoren positionieren Embodied-BenchClaw nicht bloß als Fragen-Generator, sondern als umfassendes Framework für das Lebenszyklus-Management von verkörperten räumlichen Benchmarks, welches eine skalierbare und kontinuierlich aktualisierbare Evaluierung von VLMs und MLLMs ermöglicht.