Budget-Constrained Embodied Perception: Four Resource Walls and a Pre-Registered Evaluation of Access-Structured Perception on Open Models at less than 31B

Stellen Sie sich einen Roboterassistenten vor, der in Ihrem Zuhause lebt und die Aufgabe hat, Ihnen dabei zu helfen, eine bestimmte Tasse zu finden, die Sie heute Morgen benutzt haben. Er ist seit Stunden durch Ihr Haus gelaufen und hat einen kontinuierlichen Videostream aufgezeichnet. Um Ihre Frage zu beantworten, kann er nicht einfach nur die letzten Sekunden des Bildmaterials betrachten; er muss durch Stunden aufgezeichneter Geschichte suchen. Der Roboter verfügt jedoch über ein striktes Limit in seinem Gehirn: Er kann in dem Moment, in dem er eine Entscheidung treffen muss, nur eine winzige, feste Menge an Informationen verarbeiten. Er kann nicht das gesamte Video in seinem aktiven Speicher halten, noch kann er es sich leisten, jedes Mal den ganzen Tag erneut anzuschauen, wenn Sie eine Frage stellen. Dies ist der grundlegende Engpass der verkörperten Intelligenz: die Lücke zwischen einem endlosen Strom von Beobachtungen und einem endlichen Budget für das Denken.

Jahrelang hofften Forscher, dass es ausreichen würde, die künstlichen Intelligenzmodelle einfach nur größer zu machen, um dieses Problem zu lösen. Die vorherrschende Idee war, dass ein Modell, wenn es groß genug wäre, natürlich lernen würde, alles zu erinnern, was es gesehen hat. Doch jüngste Experimente haben gezeigt, dass selbst die fortschrittlichsten Modelle Schwierigkeiten haben, wenn sie mit langen, kontinuierlichen Videoströmen konfrontiert werden. Sie können eine Katze in einem einzelnen Foto erkennen, aber sie scheitern oft daran, zu verfolgen, wohin diese Katze vor einer Stunde gegangen ist. Das Problem ist nicht, dass den Modellen die Fähigkeit zu sehen fehlt; es ist, dass ihnen eine Strategie fehlt, zu wissen, worauf sie achten sollen, wenn die Uhr tickt und das Gedächtnis voll ist.

Ein Team von Forschern unternahm den Versuch, einen anderen Ansatz zu testen. Anstatt zu versuchen, ein größeres Gehirn zu bauen, fragten sie, ob die Art und Weise, wie der Roboter auf seine Erinnerungen zugreift, wichtiger ist als die Größe des Gehirns selbst. Sie schlugen vor, dass ein erfolgreicher Agent zwei unterschiedliche Werkzeuge benötigt, die zusammenarbeiten: eine komprimierte Zusammenfassung dessen, was passiert ist (wie ein fortlaufendes Tagebuch) und ein präzises, durchsuchbares Archiv jedes Augenblicks (wie eine Fotothek). Entscheidend ist, dass der Agent in der Lage sein muss, basierend auf der spezifischen Frage zu wählen, wie viel seines Budgets er für das Lesen des Tagebuchs versus das Durchsuchen der Fotothek aufwenden soll. Sie bauten ein System, um dies zu testen, indem sie bestehende Robotergehirne in eine neue Logikschicht einbetteten, die diese Ressourcen verwaltete, ohne ein erneutes Training zu erfordern.

Die Forscher testeten ihr System in einer synthetischen Umgebung, die einen langen Spaziergang durch ein Gebäude nachahmte, bei dem der Roboter Fragen über Objekte beantworten musste, die er Stunden zuvor gesehen hatte. Sie stellten ihr neues System gegen mehrere Standardmethoden zur Verfügung, darunter Modelle, die einfach eine zufällige Auswahl von Frames betrachteten, Modelle, die versuchten, alles in einen kurzen Text zusammenzufassen, und Modelle, die eine Fotothek durchsuchten, ohne eine laufende Zusammenfassung zu führen. Sie führten diese Tests an sieben verschiedenen Open-Source-Modellen durch, die von klein bis groß reichten, alle unter demselben strengen Limit von 4.046 „Tokens“ (Informationseinheiten) pro Entscheidung.

Die Ergebnisse waren beeindruckend, aber nuanciert. Das neue System, das die Aufmerksamkeit des Roboters intelligent steuerte, übertraf jede andere Methode bei weitem, die den Zugriff nicht auf die spezifische Frage hin bedingte. Wenn es darum ging, ein bestimmtes Objekt in einem Strom von 300 Frames zu finden (die episodische Abrufaufgabe), war das neue System in 75–94 % der Fälle erfolgreich, während die besten alternativen Methoden weniger als 20 % erreichten. Die Forscher fanden heraus, dass die Fähigkeit, die richtige Frage zu stellen und dann den richtigen Frame abzurufen, der entscheidende Faktor war. Tatsächlich half es dem Modell kaum, wenn man ihm viermal mehr Speicher zur Verfügung stellte, um mit dem neuen System mithalten zu können, das eine kluge Art hatte, sein begrenztes Gedächtnis zu nutzen. Das intelligente System mit einem kleinen Budget schlug das dumme System mit einem riesigen Budget.

Doch die Geschichte endete nicht mit einem perfekten Sieg. Die Forscher hatten ihr System aus drei Teilen entworfen: der Zusammenfassung, dem Archiv und dem smarten Router, der entschied, wie sie zu nutzen sind. Als sie jeden Teil einzeln testeten, entdeckten sie einen überraschenden Fehler. Der smarte Router und das Archiv waren die Helden; sie leisteten die Hauptarbeit. Aber die Komponente der Zusammenfassung, die eigentlich einen laufenden Zähler der Ereignisse führen sollte, machte das System tatsächlich schlechter. Als sie die Zusammenfassung entfernten, verbesserte sich die Leistung des Systems bei komplexen Aufgaben signifikant. Tatsächlich übertraf das vollständige System das Archiv-basierte Baseline-Modell bei keinem der sieben getesteten Modelle. Der Grund war, dass das Gehirn des Roboters nicht gut genug darin war, eine perfekte laufende Bilanz über hunderte Schritte hinweg aufrechtzuerhalten; die kleinen Fehler in der Zusammenfassung häuften sich an und verwirrten das System. Ein besser funktionierendes System, das auf einen Offline-Textindex statt auf eine Live-Zusammenfassung setzte, war besser als das Design der Forscher selbst.

Dieses Scheitern war keine Niederlage für die Kernidee, sondern eine entscheidende Verfeinerung. Die Studie bewies, dass unter einem strengen Zeit- und Speicherlimit die Struktur des Zugriffs wichtiger ist als die Größe des Modells oder die Menge des verfügbaren Speichers. Der Roboter muss nicht alles sehen; er muss genau wissen, wo er suchen muss. Die Forscher kamen zu dem Schluss, dass die Zukunft verkörperter Agenten nicht im Bau größerer Gehirne liegt, sondern in klügeren Wegen, Informationen abzurufen. Die effektivste Strategie besteht darin, das Budget darauf zu verwenden, das richtige Beweisstück zu finden, anstatt zu versuchen, die ganze Welt gleichzeitig im Gedächtnis zu behalten. Während ihr spezifisches Design für die laufende Zusammenfassung scheiterte, blieb das Kernprinzip bestehen: In einer Welt unendlicher Daten und begrenzter Zeit ist zu wissen, was man ignorieren muss, genauso wichtig wie zu wissen, was man sich merken muss.