Roboter sind seit langem Meister der Wiederholung und fähig, dieselbe Bewegung tausendfach mit perfekter Präzision auszuführen. Doch wenn sie mit einer neuen Situation oder einem Fehler konfrontiert werden, geraten sie oft ins Straucheln, da ihnen die Fähigkeit fehlt, innezuhalten und darüber nachzudenken, was schiefgelaufen ist. Diese Einschränkung entspringt einer Lücke zwischen dem Sehen der Welt und dem Verstehen der Welt. Die moderne künstliche Intelligenz hat sowohl im Bereich der Vision als auch der Sprache große Fortschritte gemacht, was es Maschinen ermöglicht, Objekte zu erkennen und gesprochenen Befehlen zu folgen. Die Verbindung dieser Fähigkeiten mit physischer Aktion auf eine Weise, die flexibles Problemlösen ermöglicht, bleibt jedoch eine erhebliche Herausforderung. Die Kernfrage, die die jüngste Forschung antreibt, ist, ob die Gabe eines Roboters, vor seiner Bewegung in Worten zu „denken“, ihm helfen kann, komplexe, langfristige Aufgaben zu bewältigen, die Planung, Fortschrittskontrolle und die Korrektur von Fehlern erfordern.

Ein Team von Forschern der Carnegie Mellon University hat eine neue Methode entwickelt, um Robotern diese Art des Denkens beizubringen. Sie haben ein System geschaffen, das eine High-Level-KI darauf trainiert, natürliche sprachliche Argumentation zu generieren – im Wesentlichen einen fortlaufenden Kommentar darüber, was der Roboter als Nächstes tun sollte – bevor es einen Befehl an einen Low-Level-Controller ausgibt, der die Arme des Roboters tatsächlich bewegt. Die Forscher fanden heraus, dass der Roboter durch das Training des Systems, diese Gedanken zu produzieren, signifikant besser darin wurde, schwierige Manipulationsaufgaben zu lösen, wie etwa das Anordnen von Blöcken in spezifische Formen oder das Einpacken von Lebensmitteln in eine Tüte. Die entscheidende Entdeckung ist, dass der Akt des Generierens dieser Gedanken in Echtzeit, statt sie nur als Trainingswerkzeug zu verwenden, als eine Form der mentalen Berechnung fungiert, die dem Roboter hilft, seine Handlungen effektiver zu steuern.

Die Forscher gingen dieses Problem an, indem sie das Gehirn des Roboters als ein zweiteiliges System betrachteten. Ein Teil ist ein „Reasoner“ (ein Schlussfolgerer), ein großes Sprachmodell, das die Szene und das Ziel betrachtet, und der andere Teil ist ein „Doer“ (ein Ausführender), eine vortrainierte Policy, die die physischen Bewegungen ausführt. In ihren Experimenten wurde der Reasoner angewiesen, den aktuellen Zustand der Welt, die Historie dessen, was bisher geschehen ist, und das Endziel zu betrachten und dann eine kurze Erklärung seines Plans aufzuschreiben, bevor er eine spezifische Anweisung an den Doer ausgibt. Wenn das Ziel beispielsweise darin besteht, Blöcke in einer Linie anzuordnen, könnte der Reasoner zuerst feststellen, dass ein grüner Block bereits an seinem Platz ist, beobachten, dass ein Stern nicht in Position ist, und dann entscheiden, den Stern zu bewegen, um die Linie zu vervollständigen. Dieser Prozess des Aufschreibens der Argumentation findet jedes Mal statt, wenn der Roboter einen Schritt macht.

Um das System so zu lehren, nutzten die Forscher einen zweistufigen Trainingsprozess. Zuerst zeigten sie dem System Beispiele von Experten, die Aufgaben lösten, während sie ihre Gedankengänge verbalisierten. Dieser Schritt, den sie „Mid-Training“ nennen, half dem Modell, den für diese physischen Aufgaben erforderlichen Stil der Argumentation zu erlernen, wie etwa das Verfolgen eines Teilfortschritts oder das Bemerken, wenn ein Plan fehlgeschlagen ist. Das bloße Nachahmen dieser Beispiele war jedoch nicht ausreichend. Die Forscher verwendeten dann einen zweiten Schritt unter Verwendung von Reinforcement Learning (bestärkendem Lernen), einer Methode, bei der das System durch Versuch und Irrtum basierend auf Feedback lernt. In dieser Phase wurde der Roboter einer Aufgabe gestellt und aufgefordert, seine eigene Argumentation und Anweisungen zu generieren. Er erhielt eine Belohnung nicht allein für das Endergebnis, sondern dafür, ob seine generierte Anweisung mit der Intention einer Expertenanweisung übereinstimmte. Dies ermöglichte es dem System, seine Argumentationsfähigkeiten mithilfe einer riesigen Menge an Daten zu verfeinern, bei denen nur die endgültigen Anweisungen bekannt waren, ohne dass für jede einzelne Bewegung teure Beispiele für Expertengedanken gesammelt werden mussten.

Die Ergebnisse dieser Experimente wurden in zwei unterschiedlichen Umgebungen gemessen. Die erste war ein simulierter Tisch voller farbiger Blöcke, auf dem der Roboter sie in Formen wie Linien oder V-Formen anordnen musste. Die zweite war eine komplexere Simulation eines bimanualen Roboters, der Lebensmittel in Tüten packt. In beiden Fällen übertraf das mit dieser Argumentationsmethode trainierte System – die Forscher nannten es R3 – jene Systeme, die lediglich darauf trainiert wurden, Anweisungen zu folgen, ohne Gedanken zu generieren. Bei den Blockanordnungsaufgaben zeigte der mit Argumentation ausgestattete Roboter eine ausgeprägte Fähigkeit zur Generalisierung auf neue, ungesehene Formen und war erfolgreich dort, wo andere Methoden scheiterten. In der Simulation des Lebensmittelpackens erreichte der Roboter, der über seine Handlungen argumentieren konnte, eine Erfolgsquote von fast 47,9 Prozent bei schwierigen, ungesehenen Aufgaben, verglichen mit etwa 38,0 Prozent für ein System, das lediglich Anweisungen folgt, ohne nachzudenken.

Entscheidend war, dass die Forscher untersuchten, ob die Verbesserung daraus resultierte, dass der Roboter während des Trainings einfach bessere visuelle Muster lernte, oder aus dem Akt des Denkens selbst. Sie fanden heraus, dass das Training zwar die Fähigkeit des Roboters verbesserte, die Szene zu verstehen, der wahre Nutzen jedoch aus dem Argumentationsprozess im Moment der Entscheidung kam. Wenn sie den Roboter dazu zwangen, die Gedankenbildung einzustellen und einfach nur zu handeln, sank seine Leistung signifikant. Umgekehrt, wenn sie dem Robotern erlaubten, mehr Zeit für längere, detailliertere Gedanken aufzuwenden, stieg seine Erfolgsquote, insbesondere bei schwierigeren Aufgaben. Dies deutet darauf hin, dass die sprachliche Argumentation als Mechanismus dient, mit dem der Roboter zusätzliche mentale Anstrengung für schwierige Probleme aufwendet, ganz so wie ein Mensch, der kurz innehalten kann, um über ein komplexes Rätsel nachzudenken, bevor er einen Zug macht.

Die Studie enthüllte auch spezifische Verhaltensweisen, die das Argumentationssystem zu übernehmen begann. Der Roboter begann, verschiedene mögliche Aktionen miteinander zu vergleichen, bevor er eine wählte, untersuchte die Szene erneut, wenn er sich über die Position eines Objekts unsicher war, und passte seinen Plan an, wenn er feststellte, dass ein vorheriger Schritt fehlgeschlagen war. Er lernte, die Historie seiner Interaktionen zu verfolgen, indem er sich daran erinnerte, was er bereits getan hatte, um Wiederholungsfehler zu vermeiden. Diese Verhaltensweisen wurden nicht explizit programmiert; sie entstanden natürlich, als das System lernte, Sprache zu nutzen, um seine Handlungen zu leiten. Die Forscher stellten fest, dass dieser Ansatz auch funktionierte, wenn der Roboter in der zweiten Trainingsphase keine expliziten Beispiele für Expertengedanken erhielt, sondern statっdessen darauf vertraute, die korrekte Argumentation allein aus den endgültigen Anweisungen abzuleiten.

Obwohl die Experimente in simulierten Umgebungen durchgeführt wurden, bieten die Ergebnisse einen klaren Weg für die Zukunft, um Roboter anpassungsfähiger zu machen. Die Forscher schlagen vor, dass diese Methode auf reale Roboter angewendet werden könnte, um ihnen zu helfen, die Unvorhersehbarkeit physischer Aufgaben zu bewältigen, wie etwa den Umgang mit verrauschten Sensoren oder die Erholung von Kollisionen. Sie weisen auch darauf hin, dass zukünftige Arbeiten die Untersuchung der gemeinsamen Ausbildung der Argumentations- und Aktionskomponenten des Systems erforschen könnten, anstatt sie getrennt zu halten, um ein noch koordinierteres Verhalten zu erzeugen. Für den Moment zeigt die Arbeit, dass die Gabe eines Roboters, mit sich selbst über das, was er tut, zu sprechen, nicht nur eine theoretische Übung ist, sondern ein praktischer Weg, um seine Fähigkeit zur Lösung komplexer, langfristiger Probleme zu verbessern. Das System muss nicht perfekt sein, um nützlich zu sein; es muss lediglich in der Lage sein, die Schritte durchzudenken, und indem es dies tut, wird es weit fähiger als eine Maschine, die lediglich reagiert.