WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation
Dieses Paper führt WatchAct ein, einen umfassenden Benchmark bestehend aus 3.000 Langzeit-Instanzen, der die Fähigkeit von Robotermanipulationssystemen bewertet, durch Videos über beobachtetes menschliches Verhalten zu schlussfolgern, wobei aufgezeigt wird, dass aktuelle State-of-the-Art-Modelle signifikant bei Aufgaben Schwierigkeiten haben, die Event Grounding, prozedurales Denken, Intent-Inferenz und episodisches Tracking erfordern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine Küche und sehen ein Chaos: Eine Person hat eine Schublade geöffnet, drei Gewürzgläser herausgenommen, um zu kochen, und sie nun verstreut auf der Arbeitsplatte liegen lassen. Sie sagen zu einem Roboter: „Bring alles wieder dorthin zurück, wo es herkam.“
Für einen Menschen ist das einfach. Man erinnert sich daran, was passiert ist (die Gläser kamen aus der Schublade), in welcher Reihenfolge (sie wurden nacheinander herausgenommen) und warum (um zu kochen). Man nutzt das Video der Handlungen der Person in seinem Geist, um die Lösung zu finden.
Für die heutigen Roboter ist das ein Albtraum. Die meisten Roboter-Benchmarks zeigen dem Roboter nur ein einzelnes, statisches Foto der unordentlichen Arbeitsplatte und bitten ihn, aufzuräumen. Sie geben dem Roboter nicht das „Video“ davon, wie das Chaos entstanden ist. Oh� ich diesem Kontext ist der Roboter am Raten.
WatchAct ist ein neuer Test (ein Benchmark), der darauf ausgelegt ist, zu prüfen, ob Roboter tatsächlich ein Video eines Menschen beobachten können, verstehen können, was dieser getan hat, und dann die Aufgabe aufräumen oder fortsetzen können, basierend auf dieser Erinnerung.
Hier ist eine Aufschlüsselung, wie es funktioniert, unter Verwendung einfacher Analogien:
1. Der Test: „Der Detektiv und der Schauspieler“
Stellen Sie sich den Roboter als Detektiv und das Video als Absperrband am Tatort vor.
- Der Input: Der Roboter erhält ein Video eines Menschen, der etwas tut (wie das Bewegen einer Schüssel) und eine Textanweisung (wie „Stell die Schüssel zurück“).
- Das Ziel: Der Robot muss die verborgene Geschichte entschlüsseln. Hat der Mensch die Schüssel bewegt, weil er Hunger hatte? Hat er sie nach links oder rechts bewegt? Woher kam sie ursprünglich?
- Die Skalierung: Der Test umfasst 3.000 verschiedene Szenarien (wie eine riesige Bibliothek von Kurzfilmen), die 14 verschiedene Arten von Herausforderungen abdecken.
2. Die vier „Gehirn-Fähigkeiten“, die getestet werden
Die Forscher haben die Aufgaben in vier Kategorien unterteilt, die wie verschiedene Stufen der Detektivarbeit funktionieren:
- Event Grounding (Spuren finden): Kann der Roboter ein Video ansehen und sagen: „Ah, bei Sekunde 3 hat der Mensch den roten Becher aufgehoben“? Es ist, als würde man den spezifischen Moment in einem Film finden, der wichtig ist.
- Procedural Reasoning (Das Rezept verstehen): Kann der Roboter die Reihenfolge der Ereignisse verstehen? Wenn ein Mensch ein Buch in ein Regal stellt und dann einen Becher auf den Tisch, muss der Roboter diese Sequenz kennen, um sie umzukehren oder fortzuführen.
- Implicit Intent Inference (Gedanken lesen): Manchmal sagen Menschen nicht direkt, was sie wollen; sie gestikulieren nur. Wenn ein Mensch vage auf ein Glas zeigt, kann der Roboter erraten: „Oh, er möchte, dass ich das öffne“?
- Episodic Reasoning (Der Gedächtnistest): Kann der Roboter sich erinnern, wie sich die Szene verändert hat? Wenn ein Mensch einen Stuhl von der Ecke in die Mitte des Raumes geschoben hat, muss der Roboter wissen, wo das „ursprüngliche Zuhause“ des Stuhls war, um ihn zurückzustellen.
3. Wie sie die Roboter getestet haben
Die Forscher haben den Roboter nicht einfach nur „machen lassen“. Sie haben das Gehirn des Roboters in zwei Teile zerlegt, um zu sehen, wo er scheitert:
- Der Planer (Das Gehirn): Kann der Roboter das Video ansehen und einen Schritt-für-Schritt-Plan schreiben? (z. B. „1. Glas aufheben. 2. Zum Regal bewegen.“)
- Der Ausführer (Die Hände): Wenn man dem Roboter einen perfekten Plan gibt, kann er tatsächlich seine Arme bewegen, um ihn auszuführen?
Sie haben dies in einer Computersimulation und an einem echten Roboterarm (einem Franka Research 3) getestet.
4. Die Ergebnisse: „Die Roboter lernen noch“
Die Ergebnisse waren ernüchternd. Selbst die besten heute verfügbaren KI-Modelle hatten schwer zu kämpfen.
- Das „Gehirn“ versagte: Wenn gefragt wurde, ein Video anzusehen und einen Plan zu schreiben, kam die beste KI (Gemini-3.1-Pro) nur auf 36,8 % richtige Antworten. Menschen erreichten 97,1 %. Die KI rät im Grunde bei mehr als der Hälfte der Aufgaben.
- Die „Hände“ versagten: Selbst als die Forscher dem Roboter einen perfekten Plan gaben (sodass der Teil mit dem „Gehirn“ kein Problem war), war der Erfolg der „Hände“ (der Policy) des Roboters nur 21,5 %. Es ist, als hätte man ein perfektes Rezept, aber man verbrennt den Kuchen, weil man nicht weiß, wie man den Ofen benutzt.
- Die reale Welt ist schwieriger: Als sie dies an einem echten Roboterarm testeten, sank die Erfolgsquote noch weiter auf 14,0 %.
5. Warum scheitern sie?
Die Studie fand drei Hauptgründe, warum die Roboter scheitern:
- Lange Geschichten: Wenn das Video lang ist und viele Schritte umfasst (wie ein 6-stufiger Kochprozess), wird der Roboter verwirrt und vergisst den Anfang, wenn er das Ende erreicht.
- Perspektivprobleme: Wenn das Video aus einem seltsamen Winkel gefilmt wurde (z. B. von hinten beim Menschen) oder die Anweisungen „zur Linken des Menschen“ lauten, verliert sich der Roboter. Er kann „Links des Menschen“ nicht in „Links des Roboters“ übersetzen.
- Neues Material: Wenn der Roboter ein Objekt sieht, das er noch nicht kennt (wie eine neue Art von Box), erstarrt er. Er kann sein Wissen nicht generalisieren.
Das Fazit
WatchAct ist ein Realitätscheck. Es zeigt, dass Roboter zwar gut darin sind, Dinge in einem statischen Raum hin und her zu bewegen, aber sie sind schrecklich darin, Menschen zuzusehen, die Geschichte hinter dem Chaos zu verstehen und zu entscheiden, was als Nächst_es zu tun ist.
Die Arbeit kommt zu dem Schluss, dass wir weit davon entfernt sind, Roboter zu haben, die wirklich mit uns in einem Haushalt arbeiten können, da sie immer noch nicht „beobachten und lernen“ können, wie es Menschen tun. Sie müssen viel besser darin werden, die Verbindungen in einem Video zu knüpfen, bevor man ihnen in der Küche vertrauen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.