ASH: Agents that Self-Hone via Embodied Learning
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen zu lernen, wie man ein sehr langes, kompliziertes Videospiel spielt, wie Pokémon oder The Legend of Zelda, aber Sie haben keine Bedienungsanleitung, keinen Lehrer und niemanden, der Ihnen sagt, welche Tasten Sie drücken müssen. Die meisten Computerprogramme, die versuchen, dies zu tun, bleiben nach ein paar Stunden stecken, weil sie sich auf vorab geschriebene Regeln oder riesige Datenmengen verlassen, die Menschen sorgfältig gekennzeichnet haben.
Die Arbeit stellt ein neues System namens ASH (Agents that Self-Hone via Embodied Learning) vor. Betrachten Sie ASH nicht als einen Roboter, der einem Skript folgt, sondern als einen neugierigen menschlichen Spieler, der weiß, wie man Google benutzt.
So funktioniert ASH, aufgeschlüsselt in einfache Schritte:
1. Der „Stecken-geblieben"-Moment
ASH beginnt, das Spiel zu spielen. Es verfügt über ein Kurzzeitgedächtnis (was in den letzten 30 Sekunden passiert ist) und ein Langzeitgedächtnis (wichtige Momente, die es zuvor gesehen hat). Es spielt weiter, bis es an eine Wand stößt. Vielleicht weiß es nicht, wie man gegen ein Monster kämpft, oder es weiß nicht, welchen Weg es in einem Labyrinth nehmen soll. In den Begriffen der Arbeit wird es „stecken".
2. Die „Google-Suche"
Wenn ASH stecken bleibt, gibt es nicht auf. Stattdessen betrachtet es, was es gerade auf dem Bildschirm gesehen hat, und geht ins Internet (speziell eine massive Sammlung von YouTube-Videos), um andere Menschen zu finden, die das Spiel spielen. Es sucht nach Videos, die genau dem Moment ähneln, in dem es gerade stecken bleibt.
3. Der „Smarte Filter"
Das Internet ist voller Rauschen. ASH schaut sich nicht einfach zufällige Videos an; es verwendet ein spezielles Werkzeug, um die Schlüsselmomente zu finden. Stellen Sie sich vor, Sie schauen sich ein 20-stündiges Video an, in dem jemand ein Spiel spielt; Sie müssen nicht das Ganze ansehen, um zu lernen, wie man gegen einen Boss kämpft. Sie müssen nur die spezifischen 30 Sekunden sehen, in denen sie die Strategie herausfinden. ASH findet automatisch diese „Highlight-Reels" und speichert sie in seinem Langzeitgedächtnis.
4. Die „Reverse Engineering"
Hier kommt der knifflige Teil: Die Internetvideos, die ASH findet, zeigen normalerweise nur den Bildschirm, nicht aber die Tastendrücke. ASH hat einen „Übersetzer" (ein Inverse-Dynamics-Modell genannt), der sich das Video ansieht und rät: „Okay, um von diesem Bildschirm zu diesem Bildschirm zu gelangen, muss der Spieler 'A' und dann 'Hoch' gedrückt haben." Es verwandelt das stumme Video in eine Reihe von Anweisungen.
5. Die „Selbstverbesserungs"-Schleife
Nun nimmt ASH diese neuen Anweisungen und übt sie. Es aktualisiert sein eigenes Gehirn (seine Strategie), damit es beim nächsten Mal, wenn es stecken bleibt, weiß, was zu tun ist. Dann kehrt es zum Spielen des Spiels zurück. Wenn es später bei einem anderen Problem wieder stecken bleibt, wiederholt es den gesamten Prozess: stecken bleiben, im Internet suchen, den Trick lernen und weitermachen.
Die Ergebnisse: Warum es wichtig ist
Die Forscher testeten ASH in zwei sehr unterschiedlichen Spielen:
- Pokémon Emerald: Ein strategisches Spiel, bei dem Sie reisen, Monster fangen und kämpfen.
- The Legend of Zelda: The Minish Cap: Ein Actionspiel, bei dem Sie rennen, springen, Rätsel lösen und Gegner in Echtzeit bekämpfen.
Sie verglichen ASH mit anderen KI-Methoden:
- Der „Lehrbuch"-Lerner: Diese Systeme versuchten, aus einem riesigen Datensatz vorab gekennzeichneter Bewegungen zu lernen. Sie blieben früh stecken, weil sie neue Situationen, die sie zuvor nicht gesehen hatten, nicht bewältigen konnten.
- Das „Genie"-Modell: Dies sind riesige KI-Modelle, die versuchen, die Antwort ohne Training zu erraten. Sie „halluzinieren" oft (erfinden Dinge) und laufen gegen Wände oder sprechen mit nicht existierenden Charakteren.
- ASH: ASH wurde kontinuierlich besser. Während die anderen Systeme nach etwa 6 Stunden nicht mehr vorankamen, spielte ASH 8 Stunden weiter und lernte neue Fähigkeiten wie Kämpfen, Monster fangen und Rätsel lösen. Es schloss fast alle Hauptziele in beiden Spielen ab.
Das große Ganze
Die Arbeit behauptet, dass ASH beweist, dass man keinen Menschen braucht, der ein Belohnungssystem schreibt oder jedes einzelne Video markiert, um einer KI eine lange, komplexe Aufgabe beizubringen. Stattdessen kann eine KI, wenn man ihr die Fähigkeit gibt, stecken zu bleiben, Hilfe im Internet zu suchen und daraus zu lernen, sich selbst beibringen, lange, offene Abenteuer zu meistern.
Es ist wie einem Kind das Fahrradfahren beizubringen, nicht indem man eine Anleitung schreibt, sondern indem man es fallen lässt, es ein Video von jemandem ansehen lässt, der fährt, und es dann erneut versuchen lässt. ASH ist das erste System, das diese Schleife automatisch in komplexen Videospielen erfolgreich durchführt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.