Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er durch ein riesiges, unordentliches Haus navigiert, um bestimmte Gegenstände zu finden und sie einem Freund zu bringen. Sie geben dem Roboter eine Reihe von Anweisungen, ähnlich einem Rezept, die ihm sagen, wie er sich umschauen, entscheiden soll, was als Nächstes zu tun ist, und wie er seine Arme bewegen soll. Dies ist die Welt der Embodied AI (verkörperte KI), in der Computerprogramme nicht nur denken, sondern in einer physischen oder simulierten Umgebung auch handeln. Normalerweise verlassen wir uns auf Large Language Models (LLMs) – superintelligente Computergehirne, die mit Unmengen an Text trainiert wurden –, um als das Gehirn des Roboters zu fungieren. Diese Modelle sind großartig darin, herauszufinden, was als Nächstes zu tun ist, basierend auf dem, was sie sehen und lesen. Es gibt jedoch einen Haken: Wenn der Roboter in einer Schleife stecken bleibt, etwa indem er eine Tür öffnet, die bereits offen ist, oder im Kreis läuft, macht er oft immer wieder genau dasselbe, in der Hoffnung, ein anderes Ergebnis zu erzielen. Es ist wie bei einem Menschen, der, wenn er sich verirrt hat, immer wieder in dieselbe Richtung läuft, weil das die einzige Art ist, wie er sich zu bewegen weiß. Die große Frage, die sich Forscher stellen, laet: Wie bringen wir diese digitalen Entdecker dazu, zu erkennen, wenn ihre aktuelle Strategie nicht funktioniert, und dazu, auf eine völlig andere Denkweise umzuschalten?

Dieses Papier mit dem Titel „Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization“ befasst sich genau mit diesem Problem. Die Autoren, ein Team der Nanjing University of Information Science and Technology, schlagen vor, dass die Lösung nicht darin besteht, den einzelnen „besten“ Plan des Roboters noch intelligenter zu machen. Stattdessen schlagen sie vor, dem Roboter einen Rucksack voller verschiedener Strategien zur Auswahl zu geben. Sie verwenden eine Methode namens Quality-Diversity (QD) Optimization, die einer Schatzsuche nach vielen verschiedenen Arten erfolgreichen Verhaltens gleicht, nicht nur nach einem perfekten einen.

So funktioniert ihr System, erklärt durch eine spielerische Analogie. Stellen Sie sich vor, der Roboter ist ein Wanderer, der versucht, ein Gebirge zu überqueren, um ein Paket auszuliefern. Die meisten Roboter werden mit einem einzigen Wanderstil trainiert: „Immer bergauf gehen und nach dem steilsten Pfad suchen.“ Wenn der Wanderer auf eine Klift oder einen Sumpf stößt, versucht er vielleicht immer wieder, die Klippe zu erklimmen oder durch den Sumpf zu waten, bleibt stecken und verschwendet Energie. Dieses Papier schlägt vor, dass wir anstelle eines einzelnen Stils eine Bibliothek von Wanderstilen erstellen sollten. Einige Wanderer könnten „Entdecker“ sein, die jede Ecke prüfen; andere könnten „direkte Läufer“ sein, die direkt zum Ziel sprinten; andere könnten „vorsichtige Kletterer“ sein, die jeden Schritt testen.

Die Forscher haben ein zweistufiges System entwickelt, um diese Bibliothek zu erstellen und zu nutzen:

1. Die Offline-Phase (Die Erstellung der Bibliothek): Bevor der Roboter jemals eine echte Mission antritt, lässt der Computer tausende Simulationen laufen. Er nimmt ein grundlegendes „Rezept“ dafür, wie der Roboter denken soll, und beginnt, verschiedene Teile davon zu mischen und zu kombinieren, wie ein verrückter Wissenschaftler, der Zutaten in einem Kuchenrezept austauscht. Einige Rezepte machen den Roboter sehr gesprächig und vorsichtig (hohe „Interaktionsintensität“), während andere ihn sehr fokussiert und schnell machen (hohe „Zielorientierung“). Der Computer testet all diese Rezepte in einer simulierten Welt (speziell einer 3D-Umgebung namens ThreeDWorld). Er behält dabei nicht einfach das eine beste Rezept, sondern bewahrt das beste Rezept für jeden anderen Stil auf. Wenn ein „vorsichtiger“ Stil in einer bestimmten Situation gut funktioniert, wird er in einem speziellen Fach in der Bibliothek gespeichert. Wenn ein „schneller“ Stil in einer anderen Situation gut funktioniert, wird auch dieser gespeichert. Dies schafft ein diverses Archiv von Strategien, die jeweils mit ihrem Verhalten gekennzeichnet sind.

2. Die Online-Phase (Die echte Mission): Nun geht der Robot auf eine echte Aufgabe. Er wählt eine Strategie aus der Bibliothek aus und beginnt sich zu bewegen. Das System verfügt über einen eingebauten „Stall-Detektor“ (Stillstands-Detektor). Stellen Sie sich einen Coach vor, der den Roboter beobachtet. Wenn der Roboter 10 Schritte lang dasselbe tut, ohne dem Ziel näher zu kommen (wie etwa im Kreis zu laufen), ruft der Coach: „Stopp! Diese Strategie funktioniert nicht!“ Anstatt den Roboter einfach weiter scheitern zu lassen, drückt das System eine Rewind-Taste (einen Checkpoint), um zu dem letzten sicheren Moment zurückzukehren. Dann schaut es in die Bibliothek und wählt eine Strategie aus, die völlig anders ist als diejenige, die gerade gescheitert ist. Wenn der Roboter zu vorsichtig war, könnte das System zu einem „direkten Läufer“-Stil wechseln. Dies ermöglicht es dem Roboter, aus der Schleife auszubrechen und sofort einen frischen Ansatz zu versuchen.

Die Ergebnisse dieses Ansatzes waren sehr vielversprechend. In Tests, bei denen der Roboter Objekte durch ein simuliertes Haus transportieren musste, fanden die Forscher heraus, dass ihre „Bibliotheks“-Methode viel besser war als Roboter, die nur einen festen Stil oder andere gängige Methoden wie ReAct oder Tree-of-Thoughts verwenden. Speziell bei der Aufgabe „Food“ (Bewegen von Lebensmitteln) gelang ihnen die Aufgabe in 51 % der Fälle, verglichen mit 33 % bei einem Standard-Baseline-Modell. Bei der Aufgabe „Stuff“ (Bewegen allgemeiner Gegenstände) erreichten sie 43 % Erfolg gegenüber 24 % der Baseline. Noch beeindruckender ist, dass sie dies mit weniger „Tokens“ (ein Maß dafür, wie viel der Computer „denken“ und kommunizieren musste) als einige andere fortgeschrittene Methoden erreichten.

Das Papier testete diese Idee auch auf eine andere Art von Aufgabe: ein visuelles Navigationsspiel, bei dem der Robot Anweisien per Sprache befolgen muss, um durch ein Haus zu laufen. Obwohl der Roboter dort keine Gegenstände trug, sondern nur lief, half der gleiche „Bibliotheks“-Trick auch hierbei, öfter erfolgreich zu sein (eine Verbesserung von 35,2 % auf 37,3 %). Dies deutet darauf hin, dass die Idee, über einen vielfältigen Satz von Strategien zu verfügen, eine allgemeine Methode ist, um Robotern zu helfen, sich zu erholen, wenn sie stecken bleiben.

Die Autoren merken vorsichtig an, dass sie das Problem der Roboterintelligenz nicht für immer „gelöst“ haben. Stattdessen legen ihre Experimente nahe, dass das Besitzen eines vielfältigen Satzes von vorgefertigten Strategien eine leistungsstarke Methode ist, um mit der unordentlichen, unvorhersehbaren Natur realer Aufgaben umzugehen. Sie argumentieren, dass die größte Schwäche aktueller Roboter nicht darin liegt, dass sie nicht klug genug sind zu denken, sondern dass sie zu stur sind, um ihre Meinung zu ändern, wenn ihr aktueller Plan nicht mehr funktioniert. Indem man ihnen einen „Werkzeugkasten“ mit verschiedenen Arten zu handeln gibt, kann der Roboter vor Ort anpassen und so ein potenzielles Scheitern in eine erfolgreiche Lieferung verwandeln.