A Schema Bounded Language Model for Refining Robot Policies Without Destabilizing Local Learning

Stellen Sie sich ein Team von Robotern vor, die versuchen, gemeinsam ein Rätsel zu lösen, aber jeder von ihnen denkt und bewegt sich mit einer anderen Geschwindigkeit. In der Welt der Robotik wächst das Interesse daran, große Sprachmodelle einzusetzen – dieselbe Art von leistungsfähigen Computerprogrammen, die Geschichten schreiben oder komplexe Fragen beantworten können –, um Maschinen dabei zu helfen, ihre Aufgaben zu verstehen. Diese Modelle sind exzellent im hochgradig abstrakten Denken, wie etwa der Entscheidung „gehe zur Tür“ oder „umge das Hindernis“. Sie sind jedoch oft zu langsam für die blitzschnellen Entscheidungen, die erforderlich sind, um einen Roboter in jedem Bruchteil einer Sekunde vor dem Zusammenstoß mit einer Wand zu bewahren. Dies schafft ein schwieriges Problem für Ingenieure: Wie kann man einen klugen, langsamen Denker nutzen, um einen schnellen, reaktionsfähigen Beweger zu steuern, ohne dass der langsame Denker im Weg steht? Wenn der Roboter für jeden einzelnen Schritt den Computer fragt, kommt das gesamte System zum Stillstand. Wenn der Computer nie spricht, könnte der Roboter in einer Schleife stecken bleiben, unfähig, aus seinen Fehlern zu lernen.

Diese Herausforderung steht im Zentrum einer neuen Studie von Forschern der Northern Arizona University und des New Jersey Institute of Technology. Sie wollten untersuchen, ob sie ein System bauen könnten, bei dem ein Team verschiedener Roboter das Gelernte nach Abschluss einer Aufgabe teilen kann, diese geteilte Weisheit nutzt, um ihre Strategie für die nächste Runde zu verbessern, und dann ihre eigenen schnellen, lokalen Controller für die eigentliche Bewegung übernimmt. Die Forscher richteten eine Simulation mit drei Robotern ein, die jeweils mit ihrem eigenen, auf einem unterschiedlichen großen Sprachmodell basierenden „Gehirn“ ausgestattet waren. Diese Roboter mussten einen virtuellen Raum durchqueren, um ein bestimmtes Ziel zu erreichen. Die entscheidende Innovation war ein zweischichtiger Ansatz: eine langsame, nachdenkliche Schicht, die die allgemeine Strategie der Roboter erst nach Abschluss einer Runde aktualisierte, und eine schnelle, reaktive Schicht, die die unmittelbaren Bewegungen Schritt für Schritt handhabte. Die Roboter waren nicht mit einem zentralen Kommandanten verbunden; statlich teilten sie ein einfaches digitales Schwarzes Brett, auf dem sie ihre Ergebnisse und gelernten Lektionen posteten, was es jedem Roboter ermöglichte, seinen eigenen Plan basierend auf der Erfahrung der Gruppe zu verfeinern.

Die Forscher testeten vier verschiedene Möglichkeiten der Organisation dieser Teamarbeit, um zu sehen, welche am besten funktionierte. In der ersten Konfiguration verließ sich jeder Roboter nur auf seine eigene Historie und ein grundlegendes Lernsystem, ohne Informationsaustausch zwischen ihnen. In der zweiten konnten die Roboter das gemeinsame Schwarze Brett lesen und eine einfache mathematische Regel verwenden, um ihre Strategie anzupassen, nutzten aber dennoch dasselbe grundlegende Lernsystem für die Bewegung. Im dritten Aufbau wurde das Lernsystem vollständig entfernt, sodass die Roboter die Anweisungen des Sprachmodells direkt befolgen mussten, ohne lokale Anpassung. Das vierte und vollständigste Setup kombinierte das gemeinsame Schwarze Brett, die Regel zur Strategieanpassung und ein fortgeschritteneres Lernsystem, das in der Lage war, den Vorschlägen des Sprachmodells Aufmerksamkeit zu schenken und gleichzeitig eigene schnelle Entscheidungen zu treffen.

Die Ergebnisse zeigten, dass das vollständigste System das effektivste war. In den Simulationen ermöglichte diese vollständige Konfiguration den Robotern, ihr Ziel bei jedem der neunzig separaten Versuche jedes einzelne Mal zu erreichen. Wichtiger noch: Es war auch das schnellste. Die Robotergruppe in dieser Konfiguration erreichte ihr Ziel in einer Medianzeit von 42 Ticks – einer Zeiteinheit in der Simulation – im Vergleich zu 69 Ticks für die Roboter, die keine Informationen teilten. Das vollständige System wies auch die konsistenteste Leistung auf, mit sehr wenigen Fällen, in denen die Roboter ungewöhnlich lange brauchten, um fertig zu werden. Die Forscher fanden heraus, dass sich die Roboter im Verlauf des Experiments signifikant verbesserten; die Zeit, die sie zum Abschluss benötigten, sank von durchschnittlich 57 Ticks in den ersten Runden auf nur noch 41 Ticks in den letzten Runden. Dies deutet darauf hin, dass die Kombination aus Informationsaustausch und einem klugen lokalen Controller es dem Team ermöglichte, schnell zu lernen und sich anzupassen.

Interessanterweise zeigte die Studie auch, dass ein einfaches gemeinsames Schwarze Brett oder ein kluger Strategie-Anpasser allein nicht ausreichten. Die Roboter, die Informationen teilten, aber über kein fortgeschrittenes lokales Lernsystem verfügten, waren anfangs wettbewerbsfähig, wurden aber im Verlauf des Experiments tatsächlich langsamer. Dies deutet darauf hin, dass das Teilen von Ideen zwar hilfreich ist, aber nur, wenn die Roboter über ein ausreichend ausgeklügeltes lokales System verfügen, um diese Ideen auf ihre unmittelbaren Bewegungen anzuwenden. Die Studie stellte zudem fest, dass der spezifische Typ des verwendeten Sprachmodells für jeden Roboter keinen klaren Sieger hervorbrachte; die Leistung hing mehr davon ab, wie das gesamte System zusammengestellt war, als davon, welches spezifische Computergehirn verwendet wurde.

Die Forscher betonten sorgfältig, dass diese Ergebnisse aus einer Computersimulation stammen und nicht aus einem Test mit physischen Metallrobotern in einem echten Raum. Die Roboter in der Studie waren in ihrer Bewegung identisch und unterschieden sich lediglich in ihrer Software-Intelligenz und ihren Entscheidungsprozessen. Obwohl die Ergebnisse vielversprechend sind, betonen die Autoren, dass dies eine Beschreibung dessen ist, wie sich das System in einer kontrollierten Umgebung verhalten hat, und keine Garantie dafür, dass es in der unordentlichen, unvorhersehbaren realen Welt exakt so funktionieren wird. Sie behaupteten nicht, das Problem des Roboter-Teamwork für immer gelöst zu haben, sondern lieferten vielmehr ein klares, funktionierendes Beispiel dafür, wie man die hochgradige Abstraktion von der niedriggradigen Aktion trennt, damit ein Team gemeinsam lernen kann, ohne den Halt zu verlieren.

Letztendlich bietet die Studie einen praktischen Bauplan für den Bau smarter Roboterteams. Sie zeigt, dass man keinen Supercomputer benötigt, um eine Gruppe von Maschinen zu steuern. Stattdessen kann man jedem Roboter seine eigene Stimme und seine eigene Art zu denken geben, sie ihre Erfolge und Misserfolge im Nachhinein teilen lassen und darauf vertrauen, dass ihre lokalen Controller die unmittelbaren Details regeln. Indem man das langsame Denken und das schnelle Handeln in getrennte Spuren trennt, kann das Team schneller agieren und besser lernen, als wenn es versuchte, alles gleichzeitig zu erleden. Dieser Ansatz, den die Forscher als „schema-bounded language model“ bezeichnen, weist den Weg für die Schaffung autonomer Systeme, die sowohl durchdacht als auch agil sind und in der Lage sind, sich neuen Herausforderungen anzupassen, ohne den Boden unter den Füßen zu verlieren.