A Generative Adversarial Network for Goal Oriented Subgoal Training Exploration and Rewards

In der Welt der künstlichen Intelligenz gibt es ein hartnäckiges Rätsel, das als das Explorationsproblem bekannt ist. Stellen Sie sich vor, Sie bringen einem Roboter das Gehen durch einen Raum bei. Wenn der Roboter einfach nur zufällige Bewegungen ausprobiert, könnte er irgendwann den richtigen Weg für die Bewegung seiner Beine finden, aber es könnte Millionen von Versuchen dauern, oder er findet ihn gar nicht erst. Dies gilt insbesondere dann, wenn der Roboter eine Belohnung erst erhält, nachdem er den gesamten Raum erfolgreich überquert hat, anstatt für jeden korrekten Schritt einen kleinen Hinweis zu bekommen. Diese Verzögerung macht es unglaublich schwierig für die Maschine zu verstehen, welche spezifischen Handlungen zum Erfolg geführt haben. Jahrelang haben Forscher versucht, dies zu lösen, indem sie große Aufgaben in kleinere, zwischenzeitliche Ziele unterteilen – eine Strategie, die als hierarchisches Lernen bezeichnet wird. Diese Methoden erfordern jedoch oft, dass Menschen manuell definieren, was diese kleineren Ziele sein sollen, was die Fähigkeit des Roboters einschränkt, sich an neue oder komplexere Situationen anzupassen.

Ein Team von Forschern der Binghamton University hat einen neuen Weg vorgeschlagen, um diese Herausforderung zu bewältigen, der es der Maschine ermöglicht, ihre eigenen Zwischenziele ohne menschliche Anweisung zu entdecken. Sie entwickelten ein System namens GANGSTER, was für „Generative Adversarial Network for Goal Oriented Subgoal Training, Exploration, and Rewards“ steht. Die Kernidee besteht darin, eine Art künstliche Intelligenz zu verwenden, die durch den Wettbewerb gegen sich selbst lernt, um nützliche „Wegpunkte“ zu generieren, auf die der Roboter zusteuern soll. Anstatt blind zu raten, lernt das System, spezifische Zustände vorzuschlagen – wie etwa eine bestimmte Position der Beine des Roboters –, die wahrscheinlich zu einer hohen Punktzahl führen, physisch von der aktuellen Position des Roboters aus erreichbar sind und sich genug von vorherigen Versuchen unterscheiden, um den Lernprozess frisch zu halten. Die Forscher testeten dieses System in komplexen simulierten Umgebungen mit virtuellen Kreaturen wie Geparden, Ameisen und Läufern und fanden heraus, dass es den Maschinen half, schneller und zuverlässiger zu lernen, insbesondere bei den schwierigsten Aufgaben.

Die Forscher bauten ihr System so auf, dass es neben bestehenden, leistungsstarken Lernalgorithmen arbeitet, ohne deren grundlegende Funktionsweise zu verändern. Stellen Sie sich den Lernalgorithmus wie einen Schüler vor, der versucht, eine schwierige Matheaufgabe zu lösen, und das neue System wie einen Tutor, der einen hilfreichen Zwischenschritt vorschlägt. Der Schüler leistet immer noch die Arbeit und lernt die Regeln, aber der Tutor weist den Weg auf einen vielversprechenden Pfad. In diesem Fall ist der „Tutor“ ein generatives Modell, das darauf trainiert ist, potenzielle Subziele zu erstellen. Wenn der Roboter einen neuen Versuch startet, generiert das Modell eine Liste potenzieller Ziele. Es bewertet diese Ziele dann anhand von drei Kriterien: wie gut das Ergebnis wäre, wenn das Ziel erreicht würde, wie einfach es für den Roboter ist, von der aktuellen Position aus dorthin zu gelangen, und wie unterschiedlich das Ziel im Vergleich zu anderen ist, um sicherzustellen, dass der Roboter neues Terrain erkundet. Das System wählt das beste Ziel aus und gibt dem Roboter eine kleine, sofortige Belohnung dafür, dem Ziel näher zu kommen, wodurch eine lange, verwirrende Reise effektiv in eine Serie von handhabbaren Schritten verwandelt wird.

Um zu sehen, ob dieser Ansatz tatsächlich funktionierte, führte das Team umfangreiche Experimente mit einer Suite von Standard-Robotersimulationen namens MuJoCo durch. Diese Umgebungen reichen von einfachen Aufgaben, wie dem Balancieren eines Pendels, bis hin zu hochkomplexen Aufgaben, wie der Steuerung einer virtuellen Ameise mit acht Beinen, die ihre Bewegungen koordinieren muss, um vorwärts zu laufen. Die Forscher verglichen ihre durch GANGSTER verbesserten Roboter mit Standard-Robotern, die ohne diese zusätzliche Anleitung lernten. Die Ergebnisse zeigten ein klares Muster: Je komplexer die Umgebung war, desto mehr half das neue System. In den einfachsten Aufgaben funktionierten die Standard-Roboter gut, und das neue System bot kaum einen Vorteil. In den hochkomplexen Umgebungen hingegen war der Unterschied dramatisch. Beispielsweise reduzierte das GANGSTER-System in der Ant-v5-Umgebung die Zeit, die benötigt wurde, um die Aufgabe zu lösen, um etwa 31 Prozent und steigerte die endgültige Leistung um 53 Prozent im Vergleich zur Standardmethode. In einem anderen Test mit einem virtuellen Geparden verbesserte das System die Konsistenz der Lösung auf über 99 Prozent, was bedeutet, dass der Roboter selten scheiterte, sobald er die Aufgabe gelernt hatte.

Die Studie zeigte auch, dass der Erfolg des Systems stark davon abhing, wie die Zwischenziele gewählt wurden. Die Forscher testeten verschiedene Möglichkeiten, die drei Kriterien – Güte, Erreichbarkeit und Vielfalt – zu gewichten, und fanden heraus, dass die Priorisierung der „Güte“ des Ziels der entscheidende Faktor war. Ziele, die eine hohe zukünftige Belohnung versprachen, waren am effektivsten bei der Führung des Roboters. Die anderen beiden Faktoren waren jedoch essenziell für die Stabilität; ohne die Prüfung der Erreichbarkeit würde der Roboter auf unmögliche Ziele zusteuern, und ohne die Sicherstellung der Vielfalt würde der Robbot feststecken und immer wieder dasselbe versuchen. Das System erwies sich als flexibel, funktionierte gut mit zwei verschiedenen Arten von Lernalgorithmen, und die Vorteile skalierten mit zunehmender Schwierigkeit der Aufgaben. Dies deutet darauf hin, dass ein Mechanismus, der automatisch nützliche und priorisierte Zwischenziele generiert, ein Schlüssel zur Bewältigung immer komplexerer realer Herausforderungen der künstlichen Intelligenz sein könnte.

Obwohl das System in Simulationen große Fortschritte zeigte, merkten die Forscher vorsichtig seine Einschränkungen an. Der Prozess der Generierung und Bewertung dieser zusätzlichen Ziele erfordert zusätzliche Rechenleistung, was den Trainingsprozess langsamer macht als bei Standardmethoden. In einfachen Umgebungen, in denen der Roboter schnell im eigenen Bereich lernen kann, ist dieser zusätzliche Aufwand den Nutzen nicht wert. Zudem wurden alle aktuellen Tests in einer simulierten digitalen Welt durchgeführt. Die Forscher räumten ein, dass die Anwendung auf reale Roboter Probleme wie Sensorrauschen und Sicherheitsbeschränkungen adressieren müsste, die in einer Computersimulation nicht existieren. Trotz dieser Vorbehalte zeigt die Arbeit einen bedeutenden Schritt nach vorn beim Lehren von Maschinen, wie sie komplexe Umgebungen eigenständig explorieren können. Durch die Bereitstellung einer strukturierten Methode, um schwierige Probleme in erreichbare Schritte zu zerlegen, bietet das GANGSTER-Framework einen praktischen Weg zu leistungsfähigeren KI-Systemen, die in der Lage sind, die unordentlichen, langfristigen Herausforderungen der realen Welt zu bewältigen.