ReactHuman: A Physics-Grounded Benchmark for Human-Like Reactive Decision-Making in Embodied Multimodal LLMs

Stellen Sie sich eine Küche vor, in der eine schwere Pfanne von einer Arbeitsplatte rutscht, oder einen Flur, in dem ein hoher Kleiderschrank zu kippen beginnt. In einem Bruchteil einer Sekunde verarbeitet das menschliche Gehirn die visuelle Gefahr, sagt voraus, wo das Objekt landen wird, und befiehlt dem Körper, es entweder aufzufangen oder zur Seite zu treten. Diese blitzschnelle Reaktion ist nicht nur ein Reflex; sie ist eine komplexe Verschmelzung aus dem Verständnis, was ein Objekt ist, dem Wissen, wie schwer es ist, und der Berechnung, wohin es genau fliegen wird. Während Wissenschaftler daran arbeiten, Roboter zu bauen, die mit uns in unseren Häusern leben und arbeiten können, stehen sie vor einer entscheidenden Frage: Kann künstliche Intelligenz lernen, mit derselben Geschwindigkeit und Sicherheit zu reagieren? Aktuelle Tests für diese intelligenten Systeme fordern sie oft dazu auf, Fragen zu Videos zu beantworten oder langfristige Aufgaben wie das Reinigen eines Raumes zu planen, aber diese Methoden testen nicht, ob eine Maschine in dem Moment, in dem eine Gefahr auftaucht, eine lebensrettende Entscheidung treffen kann.

Eine neue Studie stellt einen strengen Test namens ReactHuman vor, der darauf ausgelegt ist, zu prüfen, ob künstliche Intelligenz wie ein kompetenter Mensch handeln kann, wenn sie mit plötzlichen physischen Gefahren konfrontiert wird. Die Forscher bauten eine simulierte Welt, in der ein digitaler Roboter in einem Raum steht und beobachtet, wie sich eine Reihe gefährlicher Ereignisse entfalten, wie etwa ein fallendes Messer, ein gleitendes Regal oder ein Ball, der auf ihn zu springt. Das System unterbricht die Simulation kurz bevor das Unglück geschieht und zeigt dem Roboter einige Sekunden des Ereignisses aus mehreren Kameraperspektiven. Die künstliche Intelligenz, die als das Gehirn des Roboters fungiert, muss dann entscheiden, was zu tun ist, und einen spezifischen Befehl ausgeben: an eine neue Stelle gehen, nach dem Objekt greifen oder stillstehen. Im Gegensatz zu früheren Tests, bei denen ein Computer lediglich die richtige Antwort aus einer Liste wählen könnte, zwingt dieses System den Roboter dazu, die Aktion tatsächlich in einer Physiksimulation auszuführen. Wenn der Roboter entscheidet, ein fallendes Objekt aufzufangen, läuft die Simulation weiter, um zu sehen, ob seine Hand das Objekt tatsächlich rechtzeitig trifft. Wenn er entscheidet auszuweichen, prüft die Simulation, ob der Roboter erfolgreich aus dem Weg gegangen ist.

Die Forscher erstellten über tausend einzigartige Szenen, die siebzehn verschiedene Arten von plötzlichen Ereignissen abdecken, von einfachen Stürzen bis hin zu komplexen Kettenreaktionen, bei denen ein fallender Gegenstand einen anderen anstößt. Sie bauten sogar „Trick-Objekte“ ein, die wie eines aussehen, sich aber wie ein anderes verhalten, wie etwa ein Amboss aus Schaumstoff, der schwer aussieht, aber leicht ist, oder ein Apfel aus Stahl, der wie Obst aussieht, aber schwer und gefährlich ist. Dieser Aufbau testet, ob der Roboter darauf vertraut, wie Dinge aussehen, oder darauf, wie sie sich tatsächlich bewegen. Das Team evaluierte sieben verschiedene fortgeschrittene Modelle der künstlichen Intelligenz bei dieser Aufgabe. Die Ergebnisse waren ernüchternd: Die Modelle reagierten in etwa einem von drei Fällen nicht korrekt. Wenn die richtige Aktion darin bestand, sich vor der Gefahr in Sicherheit zu bringen, erstarrten die Roboter oft an Ort und Stelle oder versuchten, das Objekt aufzufangen, was zu unsicheren Ergebnissen führte.

Besonders aufschlussreich war, dass die Roboter nicht schien aus ihren Fehlern zu lernen, während sie größer oder komplexer wurden. Die größten, leistungsstärksten Modelle waren nicht signifikant sicherer oder präziser als die kleineren. Anstatt die spezifische Szene vor ihnen zu analysieren, schien jedes Modell eine feste Persönlichkeit zu haben: Einige bevorzugten es immer, wegzulaufen, während andere immer versuchten, Dinge zu greifen, ungeachtet dessen, ob dies die richtige Entscheidung war. Die Roboter hatten auch Schwierigkeiten, die Geschwindigkeit einzuschätzen. Sie konnten zwar erkennen, ob sich etwas bewegte, aber sie konnten nicht feststellen, ob es sich langsam oder schnell bewegte, und behandelten eine langsam bewegende Gefahr oft so, als wäre sie gar keine Bedrohung. Wenn die Roboter sich doch für die richtige Aktion entschieden, scheiterten sie häufig bei der korrekten Ausführung, indem sie etwa nach einem Objekt griffen, aber ihre Hand einen Meter entfernt von der Stelle stoppten, an der sie sein müsste.

Die Studie kommt zu dem Schluss, dass diese Systeme der künstlichen Intelligenz zwar immer besser darin werden, die Welt zu verstehen, aber noch weit davon entfernt sind, sicher auf plötzliche physische Gefahren zu reagieren. Die Forschung hebt hervor, dass es das Problem der Sicherheit nicht löst, Modelle einfach nur größer zu machen. Um Roboter zu bauen, die wirklich in unseren Häusern leben können, müssen Entwickler sie lehren, dem zu vertrauen, was sie im Moment des Geschehens sehen, anstatt sich darauf zu verlassen, wie ein Objekt aussieht, und zu lernen, Geschwindigkeit und Distanz mit derselben instinktiven Präzision einzuschätzen, die Menschen besitzen. Bis dahin bleibt die Lücke zwischen einer Maschine, die ein fallendes Objekt beschreiben kann, und einer, die es sicher auffangen kann, groß.