💻 computer science

Enabling Extensible Embodied Capabilities with Tools

Dieser Artikel schlägt das Embodied Tool Protocol (ETP) und eine entsprechende Werkzeugbasis vor, um heterogene verkörperte Fähigkeiten in unabhängig optimierte Werkzeuge zu entkoppeln, und zeigt durch den EmbodiedToolBench, dass diese Externalisierung zwar die Wahrnehmungs- und Kognitionsleistung erheblich steigert, jedoch Herausforderungen bei der Ausführung und dem Management der Werkzeugaufrufe mit sich bringt.

Ursprüngliche Autoren: Xueyang Zhou, Zijia Wang, Qianjiang Li, Yibo Hu, Guiyao Tie, Li Wan, Yidan Liu, Pan Zhou, Lichao Sun, Yongchao Chen

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xueyang Zhou, Zijia Wang, Qianjiang Li, Yibo Hu, Guiyao Tie, Li Wan, Yidan Liu, Pan Zhou, Lichao Sun, Yongchao Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter zu beibringen, Hausarbeiten zu erledigen, wie das Aufräumen eines unordentlichen Zimmers oder das Zubereiten eines Sandwichs.

Der alte Weg: Das Problem des „Super-Gehirns"
Traditionell versuchten Wissenschaftler, ein einziges riesiges, allwissendes Roboterhirn zu bauen. Sie wollten, dass dieses einzelne Gehirn alles tut: sehen, was auf dem Tisch liegt, den besten Plan ausarbeiten, sich merken, wo die Schlüssel sind, und tatsächlich den Roboterarm bewegen, um sie aufzuheben.

Die Arbeit argumentiert, dass dies so ist, als würde man versuchen, einen einzigen Schüler gleichzeitig zu einem Weltklasse-Chirurgen, einem professionellen Koch, einem Meisterzimmermann und einem GPS-Navigator auszubilden. Das ist zu viel! Das Gehirn gerät in Verwirrung, die verschiedenen Fähigkeiten verheddern sich, und wenn der Roboter versucht, eine Sache zu lernen (wie das Halten einer Tasse), könnte er versehentlich vergessen, wie man geht.

Der neue Weg: Der „Werkzeugkasten"-Ansatz
Die Autoren schlagen eine intelligentere Idee vor: Bauen Sie kein riesiges Gehirn; bauen Sie einen intelligenten Manager mit einem Werkzeugkasten.

Anstatt den Roboter zu zwingen, jede Fähigkeit selbst zu erlernen, geben sie ihm eine Reihe spezialisierter „Werkzeuge" (Softwareprogramme), auf die er bei Bedarf zurückgreifen kann.

Der Manager (das Gehirn des Roboters): Seine einzige Aufgabe ist es, die Situation zu betrachten und zu entscheiden, welches Werkzeug zu verwenden ist. Es muss nicht wissen, wie man Tiefe berechnet oder Objekte verfolgt; es muss nur wissen: „Hey, ich muss wissen, wie weit diese Tasse entfernt ist. Lass mich das Tiefen-Werkzeug fragen."
Die Werkzeuge: Dies sind vorgefertigte, spezialisierte Experten. Ein Werkzeug ist hervorragend darin, Objekte zu finden (wie eine Lupe). Ein anderes ist hervorragend darin, einen Pfad zu planen (wie ein GPS). Ein weiteres ist hervorragend darin, sich zu merken, wo Dinge waren (wie ein Notizblock).

Das „Embodied Tool Protocol" (ETP): Der universelle Adapter
Die Arbeit führt eine Standardregel vor, das Embodied Tool Protocol (ETP). Betrachten Sie dies als eine universelle Mehrfachsteckdose oder einen Standard-USB-Anschluss.

Früher sprach jedes Werkzeug eine andere Sprache. Das „Visions-Werkzeug" sprach vielleicht Französisch, und das „Planungs-Werkzeug" vielleicht Spanisch. Der Roboter konnte sie nicht zusammen verwenden.
ETP zwingt alle Werkzeuge, dieselbe Sprache zu sprechen. Jetzt kann der Manager des Roboters jedes Werkzeug anschließen, ihm eine Frage stellen und eine klare Antwort erhalten, unabhängig davon, wer das Werkzeug hergestellt hat.

Die „Werkzeugkasten"-Sammlung
Die Forscher haben nicht nur darüber gesprochen; sie haben es tatsächlich gebaut. Sie kuratierten eine riesige Bibliothek mit über 100 validierten Werkzeugen.

Einige Werkzeuge helfen dem Roboter beim Sehen (ein bestimmter roter Becher in einer unordentlichen Küche finden).
Einige helfen ihm beim Denken (herausfinden, dass die Tasse auf einem Buch liegt).
Einige helfen ihm beim Planen (beschließen, das Buch zu bewegen, bevor die Tasse gegriffen wird).
Einige helfen ihm beim Handeln (den genauen Winkel berechnen, um die Tasse zu greifen, ohne sie fallen zu lassen).

Der Test: „EmbodiedToolBench"
Um zu sehen, ob dies tatsächlich funktioniert, schufen sie eine riesige Prüfung namens EmbodiedToolBench. Es ist wie ein Fahrausweis-Test für Roboter, aber anstatt nur zu fahren, muss der Roboter entscheiden:

Brauche ich Hilfe? (Sollte ich ein Werkzeug rufen, oder kann ich das selbst erledigen?)
Welches Werkzeug? (Brauche ich das GPS oder die Karte?)
Kann ich es verwenden? (Habe ich das Werkzeug die richtige Frage gestellt?)
Kann ich sie kombinieren? (Kann ich das GPS, dann die Karte und dann den Kompass in der richtigen Reihenfolge verwenden?)

Was sie herausfanden

Die gute Nachricht: Roboter mit diesem Werkzeugkasten waren bei Aufgaben, die Denken und Sehen erfordern, deutlich besser. Zum Beispiel wurden Roboter bei Aufgaben, die Navigation und das Befolgen komplexer Anweisungen beinhalteten, durch die Verwendung von Werkzeugen etwa 30–36 % besser. Es war, als würde man einem Schüler einen Taschenrechner und ein Wörterbuch geben; sie lösten Probleme viel schneller und genauer.
Die „Open-Source"-Überraschung: Kleinere, günstigere Roboterhirne (Open-Source-Modelle) profitierten am meisten. Mit Werkzeugen konnte ein kleines Roboterhirn tatsächlich ein riesiges, teures Gehirn übertreffen, das keine Werkzeuge hatte.
Die Einschränkung: Der Werkzeugkasten war kein Zauberstab für alles. Wenn es um die sehr feinen, physischen Details ging, einen Roboterarm zu bewegen (wie das Aufheben eines zerbrechlichen Eies, ohne es zu zerdrücken), halfen die Werkzeuge nicht so sehr. Der Roboter hatte immer noch Schwierigkeiten mit dem physischen „Muskeln"-Teil des Jobs.
Die eigentliche Herausforderung: Das größte Problem waren nicht die Werkzeuge selbst, sondern die Fähigkeit des Roboters, zu wissen, wann er sie verwenden soll. Viele Roboter vergaßen immer noch, um Hilfe zu rufen, wenn sie sie brauchten, oder sie wählten das falsche Werkzeug (wie einen Hammer zu verwenden, um eine Uhr zu reparieren).

Zusammenfassung
Diese Arbeit sagt: Hören Sie auf, zu versuchen, ein einziges Roboterhirn alles tun zu lassen. Geben Sie dem Roboter stattdessen einen intelligenten Manager und einen standardisierten Werkzeugkasten mit spezialisierten Helfern. Dies macht Roboter intelligenter, flexibler und besser bei komplexen Aufgaben, solange wir ihnen beibringen können, wann sie nach dem richtigen Werkzeug greifen sollen.

Technische Zusammenfassung: Erweiterbare verkörperte Fähigkeiten durch Werkzeuge ermöglichen

Problemstellung

Aktuelle Methoden der verkörperten Intelligenz verlassen sich überwiegend auf einheitliche, parametrisierte Richtlinien (z. B. Vision-Sprache-Aktion-Modelle), um Wahrnehmung, Schlussfolgern, Planung und Steuerung gleichzeitig zu bewältigen. Die Autoren argumentieren, dass diese monolithische Architektur inhärente strukturelle Grenzen aufweist, da verkörperte Entscheidungsfindung fundamental hierarchisch und heterogen ist. Hochlevel-Planung und Low-Level-Steuerung unterscheiden sich erheblich in ihren funktionalen Rollen und Optimierungszielen. Das Kodieren dieser vielfältigen Fähigkeiten innerhalb eines einzigen Parametersatzes führt zu drei kritischen Problemen:

Undurchsichtige Kopplung: Fähigkeiten werden gemeinsam kodiert, ohne klare Zuordnung, was eine selektive Aufrufbarkeit oder Diagnose von Fehlern verhindert.
Isolation von Fähigkeiten: Von einem Modell erlernte Kompetenzen bleiben isoliert und können nicht auf verschiedene Systeme übertragen oder wiederverwendet werden.
Verschlungene Optimierung: Die Verbesserung einer Fähigkeit birgt das Risiko, andere durch konfligierende Gradientensignale über gemeinsame Parameter zu verschlechtern.

Während jüngste Fortschritte die räumliche Verankerung und das Schlussfolgern verbessert haben, schneiden diese monolithischen Modelle bei Aufgaben mit langem Horizont, zusammengesetzten Aufgaben und sicherheitskritischen Szenarien immer noch unterdurchschnittlich ab. Die Arbeit geht davon aus, dass die Lücke struktureller Natur ist und nicht auf einen Mangel an Kapazität zurückzuführen ist, was einen Wechsel hin zu werkzeugbasierter verkörperter Intelligenz motiviert, bei der spezifische Fähigkeiten als unabhängig optimierbare Werkzeuge externalisiert werden.

Methodik

1. Embodied Tool Protocol (ETP)

Um das Fehlen eines vereinheitlichenden Rahmens zu adressieren, stellen die Autoren das Embodied Tool Protocol (ETP) vor. Dieses standardisierte Protokoll entkoppelt die Darstellung von Fähigkeiten von der Implementierung und ermöglicht die Registrierung, Entdeckung, den Aufruf und die Ausführung von Werkzeugen.

Werkzeug als Fähigkeits-Einheit: Jedes Werkzeug $z_m$ wird durch seine Eingabe-Ausgabe-Räume $(X_m, Y_m)$ , eine realisierte Teilmenge von Fähigkeiten und eine ausführbare Abbildung $f_m$ definiert. Die Implementierung kann ein gelerntes Modell, ein klassischer Algorithmus oder ein Hybrid sein, die Schnittstelle bleibt jedoch konsistent.
Registrierungsbasierte Entdeckung: Werkzeuge werden in einer Fähigkeits-Registry $R$ mit Beschreibungen ( $\rho_m$ ) und Schemabeschränkungen ( $\kappa_m$ ) verwaltet. Agenten fragen die Registry basierend auf Fähigkeitsbedürfnissen ab, nicht basierend auf spezifischen Aufrufkonventionen.
Isolierte Ausführung: Werkzeuge laufen in isolierten Sitzungen mit Laufzeit-Feedback, unterstützen parallele Aufrufe und Remote-Ausführung, ohne die Werkzeugimplementierung an die Richtlinie des Agenten zu koppeln.

2. Aufbau der Werkzeugbasis

Fundiert auf dem ETP haben die Autoren eine Werkzeugbasis mit über 100 validierten Werkzeugen zusammengestellt, die vier Kernfähigkeitsdimensionen abdecken:

Wahrnehmung und Verankerung: Objekterkennung, Segmentierung, räumliche Lokalisierung und Szenenverständnis.
Kognition und Zustandsmodellierung: Zustandsschätzung, relationale Modellierung, Affordanzverständnis und Abruf von Erinnerungen.
Schlussfolgern und Planung: Zielzerlegung, kausales Schlussfolgern und Planung mit langem Horizont.
Ausführung und Steuerung: Trajektoriengenerierung, Greifplanung und Low-Level-Aktuation.

Jedes Werkzeug wurde basierend auf Kriterien wie Leichtigkeit, einfache Bereitstellung und Umweltrobustheit ausgewählt und anschließend mit einer strukturierten API und einer Werkzeugkarte kapselt.

3. EmbodiedToolBench

Die Autoren haben EmbodiedToolBench entwickelt, um die Kompetenz im Werkzeuggebrauch aktueller Modelle systematisch zu evaluieren. Der Benchmark besteht aus vier Aufgaben:

Erkennung des Werkzeugbedarfs: Bestimmung, ob externe Werkzeuge für einen gegebenen Entscheidungsstatus notwendig sind.
Werkzeugauswahl: Identifizierung des am besten geeigneten Werkzeugs aus einer Kandidatenmenge (einschließlich semantisch ähnlicher Ablenkungen).
Werkzeugaufführung: Konstruktion gültiger Werkzeugabfragen (Stufe 1) und korrektes Handeln basierend auf Werkzeugausgaben (Stufe 2).
Zusammensetzung von Werkzeugketten: Auswahl der minimal erforderlichen Werkzeuge und Anordnung in der korrekten Abhängigkeitsreihenfolge.

4. Evaluierungsrahmen

Experimente wurden sowohl auf Simulationsplattformen (EB-ALFRED, EB-Habitat, EB-Navigation, EB-Manipulation) als auch auf realen Roboterplattformen durchgeführt. Die Studie bewertete acht repräsentative Open-Source- und Closed-Source-Modelle und verglich die Leistung mit und ohne Werkzeugunterstützung.

Wichtige Ergebnisse

Leistungsverbesserungen

Konsistente Gewinne: Die Werkzeugunterstützung verbesserte die Leistung bei verkörperten Aufgaben über alle Benchmarks hinweg konsistent.
- EB-ALFRED: Durchschnittlicher Gewinn von 31 %. Open-Source-Modelle wie Qwen3-8B verzeichneten dramatische Verbesserungen (0,20 $\to$ 0,72).
- EB-Navigation: Durchschnittlicher Gewinn von 36 %, mit besonders starken Gewinnen bei den Teilaufgaben Visuell (+0,40) und Langzeit-Horizont (+0,54).
- Realwelt: Bei realen Roboteraufgaben (Tischreinigung, Balkenwaage, Bauklötze) erreichten Modelle ohne Werkzeuge 0/10 Erfolge, während werkzeugunterstützte Agenten erhebliche Erfolgsquoten erzielten (z. B. 8/10 bis 9/10).
Verkleinerung der Lücke: Die Werkzeugunterstützung verbesserte die Wettbewerbsfähigkeit von Open-Source-Modellen erheblich, sodass sie stärkere Closed-Source-Modelle übertreffen konnten, die keinen Werkzeugzugriff hatten (z. B. übertraf Qwen3-8B mit Werkzeugen GPT-4o ohne Werkzeuge bei EB-ALFRED).

Fähigkeitsgrenzen

Die Studie zeigte eine klare Grenze auf, welche Fähigkeiten von der Externalisierung profitieren:

Hoher Nutzen: Wahrnehmungs- und Kognitionsaufgaben zeigten die größten Gewinne (bis zu +0,34 für Open-Source-Modelle). Werkzeuge unterstützen effektiv visuelle Analyse und wissensbasierte Aufgaben.
Mittlerer Nutzen: Schlussfolgerungsaufgaben zeigten konsistente Verbesserungen.
Begrenzter Nutzen: Ausführungsfähigkeiten zeigten kleinere und variablere Gewinne (+0,03 bis +0,19). Die Autoren stellen fest, dass Aufgaben, die eine präzise räumliche Verankerung, kontaktreiche Interaktion und eine Low-Level-physikalische Steuerung erfordern, von aktuellen Werkzeug-Schnittstellen weniger effektiv unterstützt werden.

Kompetenzengpässe

Trotz Leistungssteigerungen identifizierte die Analyse anhaltende Engpässe im Umgang der Modelle mit Werkzeugen:

Erkennung des Werkzeugbedarfs: Modelle erkennen häufig nicht, wann Werkzeuge notwendig sind; die Recall-Rate sank bei einigen Open-Source-Modellen auf bis zu 0,31.
Werkzeugauswahl: Die Auswahl des richtigen Werkzeugs unter semantisch ähnlichen Kandidaten bleibt eine Herausforderung (beste CSR ~0,74).
Werkzeugaufführung: Während die Eingabekonstruktion allgemein hoch ist, stellt die Nutzung von Ergebnissen einen Hauptengpass dar. Modelle haben oft Schwierigkeiten, zurückgegebene Werkzeugausgaben effektiv zu interpretieren und darauf zu reagieren.
Zusammensetzung von Werkzeugketten: Modelle neigen dazu, zu „überzusammeln", indem sie überflüssige Werkzeuge einschließen, anstatt die minimale Menge auszuwählen, was auf Schwierigkeiten bei der präzisen Koordination mehrerer Werkzeuge hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Externalisierung von Fähigkeiten ein gangbarer und effektiver Ansatz ist, um die strukturellen Grenzen monolithischer verkörperter Richtlinien zu überwinden. Durch die Entkopplung heterogener Fähigkeiten in unabhängig optimierbare Werkzeuge ermöglicht das Framework:

Modulare Wiederverwendung: Spezialisierte Fähigkeiten können registriert und über verschiedene Agenten und Aufgaben hinweg wiederverwendet werden.
Gezielte Optimierung: Werkzeuge können unabhängig verbessert werden, ohne andere Fähigkeiten zu beeinträchtigen.
Skalierbarkeit: Das System kann auf große und heterogene Werkzeugkollektionen skaliert werden, ohne die Kernrichtlinie des Agenten neu zu trainieren.

Allerdings schließen die Autoren bescheiden, dass die Werkzeugkompetenz – insbesondere die Fähigkeit zu wissen, wann, welches und wie Werkzeuge aufgerufen werden sollen – weiterhin der zentrale Engpass für wirklich fähige verkörperte Agenten ist. Die Forschung hebt hervor, dass zwar die Verfügbarkeit von Werkzeugen die Leistung verbessert, die autonome Orchestrierung dieser Werkzeuge durch aktuelle Modelle jedoch noch nicht vollständig zuverlässig ist, insbesondere in szenarien mit hohem Ausführungsaufwand. Dies identifiziert die Kompetenz im Umgang mit verkörperten Werkzeugen als eine kritische Richtung für zukünftige Forschung.