HumanCLAW: Can Vision-Language Models Act Through a Body?
Dieses Paper führt HumanCLAW ein, ein Framework, das die Entscheidungsfindung von Vision-Language-Modellen von der motorischen Ausführung entkoppelt, um verkörperte Intelligenz zu evaluieren, und zeigt auf, dass aktuelle Modelle bei langfristigen physischen Aufgaben primär aufgrund eines Mangels an verkörperter Selbstwahrnehmung und nicht aufgrund mangelnder Erkennungsfähigkeiten scheitern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem brillanten, superintelligenten Roboter bei, ein Videospiel zu spielen. Aber das ist nicht irgendein Spiel; es ist ein Spiel, bei dem der Roboter einen echten, physischen Körper steuern muss, der stolpern, hinfallen, gegen Wände stoßen und Vasen umwerfen kann. In der Welt der künstlichen Intelligenz gibt es zwei Hauptarten von „Gehirnen“ für Roboter. Eine Art ist wie ein Pilot, der Millionen spezifischer Flugbahnen auswendig gelernt hat; er ist großartig darin, genau das zu tun, was er schon einmal gesehen hat, aber wenn der Wind anders weht, könnte er abstürzen. Die andere Art ist ein „Vision-Language Model“ (VLM). Stellen Sie sich dies als einen Roboter mit einer riesigen Bibliothek an Büchern und einer Kamera als Augen vor. Er kann eine Geschichte lesen, ein Bild betrachten und komplexe Ideen wie „finde das rote Sofa und setze dich darauf“ verstehen. Er ist erstaunlich gut im Schlussfolgern und Reden, aber er hat noch nie zuvor einen Körper bewegt.
Die große Frage, die Wissenschaftler derzeit beschäftigt, lautet: Kann dieser buchsprechende Roboter tatsächlich Dinge in der realen Welt tun? Kann er eine hochgradig abstrakte Idee wie „gehe in die Küche“ in die winzigen, blitzschnellen Muskelbewegungen umwandeln, die nötig sind, um zu gehen, ohne umzukippen? Normalerweise ist es schwer zu sagen, warum ein Roboter scheitert: Hat das „Gehirn“ eine schlechte Entscheidung getroffen (wie etwa gegen eine Wand zu laufen) oder konnte der „Körper“ die Aufgabe einfach nicht erfüllen (wie etwa das Gleichgewicht zu verlieren)? Um dieses Rätsel zu lösen, brauchten Forscher einen Weg, um das Denken vom Bewegen zu trennen, damit sie genau sehen konnten, an welcher Stelle das Gehirn des Roboters feststeckte.
Hier kommt eine neue Studie namens HumanCLAW ins Spiel. Die Forscher bauten einen speziellen Testplatz, um zu sehen, ob diese intelligenten KI-Gehirne einen menschenähnlichen Körper in einer physischen Welt steuern können. Sie haben die KI nicht das Bewegen beigebracht; sie gaben ihr lediglich eine Kamera, ein Ziel und eine Liste von Grundbewegungen wie „vorwärts gehen“, „drehen“ oder „setzen“. Dann ließen sie die KI durch 41 verschiedene virtuelle Häuser navigieren, um Objekte zu finden und sich auf sie zu setzen.
Die Ergebnisse waren ein Schock. Selbst die klügsten, fortschrittlichsten KI-Modelle von heute scheiterten fast jedes Mal. Das beste Modell war nur in etwa 16,8 % der Versuche erfolgreich. Das bedeutet, dass es in mehr als 83 % der Fälle versagte.
Das Kuriose dabei: Die KI scheiterte nicht daran, dass sie „blind“ war. Wenn das Zielobjekt (wie ein Sofa) tatsächlich auf dem Bildschirm erschien, erkannte die KI es fast immer. Sie wusste, was sie sah. Das Problem war nicht das Sehen; es war das Wissen, wo es sich befand.
Die Forscher entdeckten, dass diese KI-Modelle unter einer schweren Form von „Körper-Amnesie“ leiden. Sie sind wie ein Geist, der das Mobiliar perfekt sehen kann, aber keine Ahnung hat, wo seine eigenen Beine sind. Wenn die KI versuchte zu gehen, lief sie oft weiter, obwohl sie das Sofa bereits erreicht hatte, oder sie stoppte viel zu früh, weil sie glaubte, angekommen zu sein, obwohl sie noch weit entfernt war. Wenn sie versuchte sich zu setzen, senkte sie ihren Körper oft einfach in die leere Luft ab und setzte sich auf das Nichts, weil sie nicht begriff, dass das Sofa nicht direkt unter ihr war. Sie lief auch direkt gegen Wände oder stolperte über Hindernisse, ohne jemals zu merken, dass sie dagegen gestoßen war.
Die Studie zeigt, dass diese KI-Modelle zwar unglaublich gut darin sind, die Welt zu beschreiben, aber schrecklich darin, ihren eigenen Platz in ihr zu verstehen. Sie können Ihnen sagen, wie ein Stuhl aussieht, aber sie können nicht herausfinden, wie man sich darauf setzt, ohne umzukippen. Die Forscher kommen zu dem Schluss, dass wir, um Roboter zu erschaffen, die wirklich in der realen Welt agieren können, ihnen nicht nur beibringen müssen zu sehen, sondern auch zu „fühlen“, wo ihr Körper ist und wie er mit der Welt um ihn herum interagiert. Bis wir dieses Problem der „verkörperten Selbstwahrnehmung“ lösen, werden selbst die klügsten KI-Gehirne nur tollpatschige Geister in einer physischen Maschine bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.