Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization
Dieses Paper schlägt eine Methode vor, die eine Multi-Task-Reinforcement-Learning-Policy und einen Symbol-Grounder unter Verwendung von Neural Reward Machines gemeinsam trainiert, um Agenten zu ermöglichen, Instruktionen der Linearen Temporalen Logik in subsymbolischen Umgebungen ohne vorheriges Wissen über die Symbol-zu-Beobachtung-Abbildung zu folgen, wobei eine Zero-Shot-Generalisierung erreicht wird, die bestehende Ansätze übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, ein Roboter betritt einen Raum, den er noch nie zuvor gesehen hat. Er sieht eine Kaffeemaschine, einen Schreibtisch und einen Briefschlitz, aber für den Roboter sind dies nur Formen und Farben auf einem Bildschirm. Er weiß nicht, dass die Maschine für Kaffee da ist oder der Schlitz für Post gedacht ist. Stellen Sie sich nun vor, ein Mensch gibt dem Roboter eine komplexe Anweisung: „Gehe zum Briefschlitz, dann zur Kaffeemaschine und schließlich zum Schreibtisch, aber betrete auf dem Weg nicht die roten Bodenfliesen.“ Für einen Menschen ist das einfach, weil wir die Bedeutung der Wörter und der Objekte verstehen. Für einen Roboter ist dies ein gewaltiges Rätsel. Er muss zuerst herausfinden, welches Objekt welches ist, dann die Reihenfolge der Ereignisse im Gedächtnis behalten und gleichzeitig die roten Fliesen vermeiden, während er lernt, wie man sich bewegt. Dies ist die Herausforderung, künstlicher Intelligenz beizubringen, Anweisungen in der realen Welt zu folgen, in der ihr kein fertiges Wörterbuch dessen übergeben werden kann, was die Dinge eigentlich sind.
Jahrzehntelang haben Forscher versucht, dies zu lösen, indem sie Robotern eine perfekte Karte ihrer Welt gaben und ihnen genau sagten, welcher Pixel mit „Kaffee“ oder „Post“ korrespondiert. Das funktioniert in kontrollierten Laboren, scheitert aber in der unordentlichen, unvorhersehbaren realen Welt. Ein neuer Ansatz, der in einer aktuellen Forschungsarbeit detailliert beschrieben wird, versucht, den Roboter dazu zu bringen, diese Bedeutungen selbstständig zu erlernen, während er gleichzeitig lernt, sich zu bewegen. Die Wissenschaftler konzentrierten sich auf eine spezifische Art von Anweisung, die Zeit und Abfolge beinhaltet, bekannt als temporale Logik. Betrachten Sie dies als eine Methode, Regeln zu schreiben, die besagen: „Tue A, dann B, aber mache niemals C“, anstatt nur „gehe zu Punkt X“. Das Ziel war es zu sehen, ob ein Roboter in der Lage ist, diesen komplexen, zeitbasierten Regeln in einer Welt zu folgen, in der er zu Beginn keine Vorstellung davon hat, was die Objekte sind, wobei er nur seinen Kamera-Feed und ein einfaches Signal verwendet, wenn er Erfolg hat oder scheitert.
Die Forscher bauten ein System, in dem der Roboter zwei Dinge gleichzeitig lernt. Zuerst lernt er eine Policy (Strategie), was einfach die Strategie ist, um zu entscheiden, welche Aktion als Nächstes zu treffen ist. Zweitens lernt er – und das ist wichtiger – einen „Grounder“ (Erdungskomponente). Dies ist eine Komponente, die wie ein Übersetzer fungiert und versucht herauszufinden, was die Rohbilder der Kamera in Bezug auf die Anweisung bedeuten. Wenn der Roboter ein rotes Quadrat sieht und die Anweisung sagt „vermeide rot“, muss der Grounder schließlich lernen, dieses rote Quadrat als „Lava“ oder „Gefahr“ zu kennzeichnen. Die Schwierigkeit besteht darin, dass der Roboter keinen Lehrer bekommt, der ihn korrigiert. Er erhält lediglich eine spärliche Belohnung (sparse reward): ein winziges Signal, wenn er die Aufgabe korrekt abgeschlossen hat, ein negatives Signal, wenn er scheitert, und ansonsten gar nichts dazwischen. Das ist so, als würde man versuchen, eine neue Sprache zu lernen, indem man am Ende eines Gesprächs nur mit „Ja“ oder „Nein“ korrigiert wird, ohne zwischendurch Feedback zu den einzelnen gesprochenen Wörtern zu erhalten.
Um dies zu lösen, nutzte das Team einen klugen Trick unter Verwendung der Struktur der Anweisungen selbst. Sie behandelten die Anweisung als eine Maschine, die ihren Zustand ändert, während sich der Roboter bewegt. Wenn der Roboter die Post aufnimmt, wechselt die Maschine in einen neuen Zustand, der besagt: „Post erledigt, jetzt finde Kaffee“. Die Forscher trainierten den Übersetler des Roboters darauf, die Belohnungen vorherzusagen, die diese Maschine geben würde. Indem der Roboter beobachtet, wie er sich bewegt, und sieht, wann die Maschine „Erfolg“ oder „Fehlschlag“ meldet, lernt der Übersetler langsam, die Bilder, die er sieht, mit den korrekten Wörtern in der Anweisung abzugleichen. Es ist ein Prozess von Versuch und Irrtum, bei dem der Roboter die Logik der Aufgabe nutzt, um sich selbst beizubringen, was die Symbole bedeuten. Die Forscher testeten dies in zwei sehr unterschiedlichen Welten. Die eine war eine gitterbasierte Umgebung, die wie ein vereinfachtes Videospiel aussah, in der der Roboter durch ein Labyrinth von Gegenständen navigieren musste. Die andere war ein glatter, kontinuierlicher Raum, in dem sich der Roboter wie ein Auto auf einer flachen Ebene bewegte und versuchte, farbige Zonen in einer bestimmten Reihenfolge zu besuchen.
Die Ergebnisse zeigten, dass diese Methode bemerkenswert gut funktioniert. In der Gitterwelt lernte der Roboter, den Anweisungen fast so perfekt zu folgen, als wäre ihm von Anfang an das korrekte Wörterbuch gegeben worden. Er lernte, die Gegenstände zu identifizieren und die Abfolge der Ereignisse einzuhalten, selbst wenn die Anweisungen länger und komplexer wurden. In der kontinuierlichen Welt lernte der Roboter ebenfalls, die Zonen mit hoher Genauigkeit zu identifizieren, obwohl er bei den komplexesten Vermeidungstätigkeiten etwas mehr Schwierigkeiten hatte. Entscheidend war, dass der Roboter diese Bedeutungen lernte, während er gleichzeitig lernte, sich zu bewegen, ohne eine separate Trainingsphase zu benötigen. Das System bewies, dass ein Agent Symbole erden kann – also rohe Bilder mit abstrakten Konzepten verknüpft – indem er einfach versucht, die Aufgabe zu lösen und die Struktur der Regeln zur Steuerung seines Lernens nutzt.
Die Studie verglich dieses neue Verfahren auch mit einem früheren Versuch, dasselbe Problem zu lösen. Die ältere Methode, die versuchte, das Gehirn des Roboters Stück für Stück basierend auf der Grammatik der Anweisungen aufzubauen, scheiterte, wenn die Anweisungen länger wurden. Sie konnte die Komplexität der neuen Aufgaben nicht bewältigen. Der neue Ansatz hingegen skalierte effektiv und zeigte, dass das Erlernen der Bedeutung von Objekten und die Strategie für die Bewegung tief miteinander verbunden sind und gemeinsam gelernt werden sollten. Die Forscher fanden heraus, dass sich die Fähigkeit des Roboters, Objekte zu identifizieren, schnell verbesserte und oft schon innerhalb weniger Millionen Schritte des Trainings eine hohe Genauigkeit erreichte. Dies deutet darauf hin, dass das indirekte Feedback aus der Aufgabenstruktur ausreicht, um dem Roboter beizubringen, was die Dinge sind, selbst ohne dass ein Mensch auf sie zeigt.
Obwohl das System nicht perfekt ist, insbesondere in den schwierigsten kontinuierlichen Umgebungen, in denen das Vermeiden von Gefahr während der gesamten Dauer einer Aufgabe für alle Methoden schwer war, ist die Kernbotschaft klar. Es ist möglich, einen künstlichen Agenten darauf zu trainieren, komplexe, zeitbasierte Anweisungen in einer Welt zu verstehen, die er nicht kennt, indem man ihn lernt, die Bedeutung der Merkmale der Welt zu begreifen, während er versucht, den Job zu erledigen. Dies bringt uns näher daran, Maschinen zu erschaffen, die in eine neue Umgebung eintreten, einem Satz von Regeln zuhören und herausfinden können, was zu tun ist, ohne dass ihnen eine vorprogrammierte Karte jedes Objekts begegnen muss, das sie antreffen könnten. Die Arbeit zeigt, dass durch die Kombination der Logik der Aufgabe mit dem Lernen der Umgebung Roboter damit beginnen können, die Lücke zwischen Rohdaten und bedeutungsvoller Handlung zu schließen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.