Decoupled Thinking, Learning, and Action for Continually Growing Autonomous Robots
Dieses Paper schlägt das Decoupled Thinking–Learning–Action (D-TLA) Framework vor, welches es autonomen Robotern ermöglicht, sich durch unabhängige, aber interagierende Module kontinuierlich anzupassen, die die Routineleistung aufrechterhalten und gleichzeitig die Erkennung seltener Ereignisse sowie den Erfolg bei neuartigen Aufgaben signifikant verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Roboter vor, der nicht einfach nur einem Skript folgt, sondern in der Lage ist, über ein Problem nachzudenken, aus dem Geschehen zu lernen und dann mit diesem Wissen zu handeln. Damit eine Maschine im wirklichen Leben wirklich funktionieren kann, muss sie drei Dinge kontinuierlich tun: Sie muss darüber nachdenken, was gerade passiert, sie muss vergangene Erfahrungen in Fähigkeiten umwandeln, die sie wieder nutzen kann, und sie muss ihren Körper bewegen, um die Welt zu verändern oder neue Informationen zu sammeln. Lange Zeit haben Ingenieure versucht, diese Fähigkeiten in eine einzige, eng verknüpfte Kette einzubauen, bei der der Roboter denkt, dann lernt und dann handelt, in dieser strikten Reihenfolge. Aber dieser Ansatz hat einen Fehler. Wenn der Roboter bei einem schwierigen Problem hängen bleibt, hört er auf sich zu bewegen und aufzuhören zu lernen, selbst wenn er seine tägliche Arbeit problemlos fortsetzen könnte. Die Herausforderung besteht darin, diese drei Teile des Geistes gleichzeitig arbeiten zu lassen, ohne dass sie sich gegenseitig behindern, während sie dennoch bei Bedarf miteinander kommunizieren können.
Ein Forscher der Chengdu University of Information Technology hat einen neuen Weg vorgeschlagen, solche Maschinen zu bauen, den er das „Decoupled Thinking–Learning–Action“-Framework (entkoppeltes Denken–Lernen–Handeln) nennt. Anstatt den Roboter dazu zu zwingen, auf einen zentralen Gehirn-Befehl für jeden einzelnen Schritt zu warten, hat er ein System entworfen, in dem Denken, Lernen und Handeln drei unabhängige Prozesse sind, die nebeneinander ablaufen. Sie funktionieren wie drei separate Arbeiter in einer Werkstatt, die keine Erlaubnis benötigen, um ihre Aufgaben zu erledigen, sich aber gegenseitig Notizen hinterlassen können, um das Endprodukt zu verbessern. Das Denkmodul kann einen sichereren Weg für eine Bewegung vorschlagen oder darauf hinweisen, was gelernt werden muss, aber es blockiert das Aktionsmodul nicht, falls dieses gerade mit einem anderen Rätsel beschäftigt ist. Ebenso kann das Lernmodul im Hintergrund weiter über vergangene Fehler und Erfolge studieren, selbst während der Roboter gerade über eine neue Gefahr nachdenkt. Diese Trennung ermöglicht es dem Roboter, weiterzuarbeiten und sich zu verbessern, ohne anzuhalten, selbst wenn sein Denkprozess beansprucht ist.
Der Forscher testete diese Idee in einem simulierten Lagerhaus, in dem ein Roboter Pakete bewegen musste. In einem Test zwang er den Denkprozess des Roboters, sich eine Weile an einem schwierigen Identitätsproblem festzubießen, was eine Situation simulierte, in der die Maschine über ein Objekt verwirrt ist. In älteren Systemen, in denen der Roboter warten musste, bis der Denkprozess abgeschlossen war, bevor er etwas anderes tun konnte, blieb der Roboter stehen und konnte seine Routineaufgaben nicht abschließen. Die Erfolgsquote für diese Routineaufgaben sank auf etwa die Hälfte, wenn der Denkprozess über längere Zeit beschäftigt war. Im Gegensatz dazu arbeitete das neue System perfekt weiter. Es schloss einhundert Prozent seiner Routine-Transportaufträge ab und lernte kontinuierlich aus seinen Handlungen, selbst während der Denkteil beschäftigt war. Entscheidend war, dass das System den Roboter nicht einfach unkontrolliert agieren ließ; das Denkmodul konnte immer noch eine „Notiz“ senden, um den Roboter zu stoppen, falls er etwas Gefährliches tun würde. Als der Forscher diese Fähigkeit, Sicherheitsnotizen zu senden, entfernte, führte der Roboter in fast achtzig Prozent der Fälle unsichere Bewegungen aus. Dies bewies, dass die drei Teile unabhängig voneinander arbeiten konnten, ohne voneinander isoliert zu sein.
Der zweite Test untersuchte, wie der Roboter lernt, wenn er mit einem seltenen und kniffligen Problem konfrontiert wird. Der Forscher schuf eine Situation, in der ein Paket anfangs gut auszusehen scheint, aber erst nach einiger Zeit der Bewegung durch den Roboter auseinanderfällt. Dies erforderte, dass der Robot ein Muster über einen Zeitraum hinweg versteht und nicht nur eine Momentaufnahme. Ein Roboter, der einfach nur darauf wartete, dass diese seltenen Unfälle natürlich während der Arbeit auftreten, lernte diese nur in etwa siebzig Prozent der Fälle zu erkennen; er übersah die schwierigsten Muster komplett. Das neue System hingegen nutzte sein Denkmodul, um zu erkennen, dass ihm eine bestimmte Art von Erfahrung fehlte. Der Denkteil wies das Aktionsmodul dann an, gezielt bestimmte Bewegungen auszuführen, um genau die Bedingungen zu schaffen, die nötig waren, damit das Versagen eintritt. Durch die Anleitung des Roboters, die richtigen Daten zu sammeln, lernte das System, diese seltenen Ausfälle fast perfekt zu erkennen, was eine Erfolgsquote von neunundsiebzig Prozent erreichte. Der Roboter sammelte nicht nur mehr Daten; er erhielt die richtigen Daten, weil sein Denkprozess wusste, was fehlte.
Der letzte Test zeigte, dass dieses Lernen auch die andere Richtung einschlagen konnte, indem es das zukünftige Denken des Roboters veränderte. Der Roboter wurde auf eine Reihe bekannter Probleme trainiert, sah sich dann aber einer völlig neuen, komplexen Situation gegenüber, die mehrere verschiedene Gefahren gleichzeitig kombinierte. Das alte Denken, das über eine feste Liste von Reaktionen verfügte, scheiterte beim Umgang mit dieser neuen Mischung und erreichte nur eine Erfolgsquote von etwa vierzehn Prozent. Das neue System analysierte jedoch seine vergangenen Fehler und erkannte, dass es eine neue Art des Denkens benötigte, um diese spezifische Kombination von Problemen zu bewältigen. Es generierte eine neue Denkaktivität, testete sie und integrierte sie in seinen Geist. Nach dieser Lernphase bewältigte der Roboter die neue, komplexe Situation zu vierundsiebzig Prozent. Bemerkenswerterweise verlor er nicht die Fähigkeit, die alten, vertrauten Probleme zu lösen; er behielt seine Erfolgsquote von sechsundneunzig Prozent bei. Der Robot hatte eine neue Fähigkeit erworben, ohne die alten zu vergessen.
Diese Forschung legt nahe, dass Roboter, um sich über einen langen Zeitraum wirklich anpassen und entwickeln zu können, eine Struktur benötigen, die es ihnen ermöglicht, zu denken, zu lernen und zu handeln, als separate, aber verbundene Ströme. Indem sie es ermöglichen, dass diese Prozesse unabhängig voneinander laufen, vermeidet der Roboter, stecken zu bleiben, wenn ein Teil beschäftigt ist. Indem sie es ermöglichen, dass diese Prozesse sich durch Vorschläge statt durch Befehle gegenseitig beeinflussen, kann der Roboter sicher bleiben und die richtigen Informationen sammeln, um zu lernen. Die Ergebnisse zeigen, dass dieser Ansatz es einer Maschine ermöglicht, im Laufe der Zeit fähiger und sicherer zu werden, indem sie neue Probleme löst, während sie gleichzeitig weiß, wie sie die alten löst – und das alles, ohne dass sie einen einzigen zentralen Controller benötigt, der jeden Augenblick ihres Daseins steuert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.