AceAction-5M: Hierarchical Goals for Generalist Action Learning Across 3D Game Worlds
Dieses Paper stellt AceAction vor, einen groß angelegten Datensatz von menschlichem Gameplay über mehrere 3D-Spiele hinweg, der hierarchische, zeitlich ausgerichtete Vision-Language-Action-Annotationen bereitstellt, um generalistische Agenten dazu zu befähigen, Skill-Komposition und Subziel-Übergänge in dynamischen Umgebungen zu erlernen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Um einer Maschine beizubringen, wie sie sich in der Welt verhält, benötigen Forscher eine massive Bibliothek von Beispielen, die die Verbindung zwischen dem, was ein Agent sieht, dem, was er erreichen will, und den spezifischen Bewegungen aufzeigen, die er unternimmt, um dorthin zu gelangen. In der physischen Welt ist das Sammeln dieser Art von Daten langsam, teuer und gefährlich; es erfordert Roboter, menschliche Aufseher und wiederholte Versuchsaufbauten, die Jahre zur Akkumulation benötigen können. Videospiele bieten eine praktische Alternative. Sie bieten reichhaltige, dreidimensionale Umgebungen, in denen menschliche Spieler jeden Tag komplexe Aufgaben ausführen, und in denen jede visuelle Szene perfekt mit den exakten Tastatur- und Mausbefehlen gepaart werden kann, die verwendet wurden, um sie zu erzeugen. Die Herausforderung für Wissenschaftler bestand darin, dass Spiele zwar endlose Daten generieren, das Umwandeln von rohem Gameplay in eine nützliche Lektion für künstliche Intelligenz jedoch mehr erfordert als nur das Aufzeichnen von Videos. Es verlangt nach einem Weg, nicht nur das Endergebnis zu verstehen, sondern auch das schrittweise Denken, das dazu führte: wie ein Spieler entscheidet, sich zu bewegen, wann er vom Erkunden zum Kämpfen wechselt und wie er ein großes Ziel in kleinere, handhabbare Aufgaben unterteilt.
Ein Forschungsteam hat dies adressiert, indem es eine neue Datensammlung namens AceAction-5M erschaffen hat, die darauf ausgelegt ist, Computern beizubringen, wie sie komplexen Anweisungen über viele verschiedene 3D-Videospiele hinweg folgen. Anstatt nur aufzuzeichnen, was geschah, organisierten die Forscher tausende Stunden menschlichen Gameplays in einer strukturierten Hierarchie. Sie nahmen lange, kontinuierliche Spielsessions und brachen sie in eine klare Befehlskette auf: eine Hauptmission, eine Serie von Zwischenzielen und die spezifischen, momentgenauen Aktionen, die erforderlich sind, um jedes einzelne zu erreichen. Zum Beispiel könnte eine einzige Aufgabe darin bestehen, „den Korridor zu überqueren und die Treppe zum Backsteinhaus hinaufzuklettern“. Das System bricht dies weiter auf: Zuerst muss der Spieler die Türöffnung auf der rechten Seite erreichen; dann muss er die Treppe hinaufsteigen; schließlich nähert er sich dem Haus. Jeder dieser Schritte ist mit der exakten visuellen Szene verknüpft, die der Spieler sah, und der präzisen Sequenz von Tastendrücken und Mausbewegungen, die er zur Ausführung des Schritts verwendete.
Der Datensatz deckt eine große Vielfalt an virtuellen Welten ab, einschließlich populärer Titel wie Fortnite, Minecraft, Counter-Strike und Euro Truck Simulator 2. Insgesamt umfasst die Sammlung über 5.000 Stunden Gameplay aus 42 verschiedenen Spielen, was mehr als 5,4 Millionen distinkte Aufgabenanweisungen und nahezu 116 Millionen einzelne Tastatur- und Mausaktionen repräsentiert. Um dies aufzubauen, kombinierten die Forscher Aufzeichnungen von Profispielern aus deren eigenen Studios mit öffentlich verfügbaren Match-Daten aus Online-Communities. Sie setzten dann fortschrittliche Computer-Vision-Werkzeuge ein, um das Gameplay zu beobachten und automatisch zu identifizieren, wann sich das Ziel eines Spielers änderte. Wenn ein Spieler einen Flur entlangging und dann stehen blieb, um einen Gegner zu erschießen, erkannte das System, dass die „Gehen“-Phase beendet war und eine „Kampf“-Phase begonnen hatte. Es beschriftete diese Übergänge als distinkte Stadien und wies jedem Sub-Ziel einen klaren Start- und Endzeitpunkt zu.
Ein entscheidender Teil dieser Arbeit ist die Fähigkeit, diese Stadien mit spezifischen visuellen Orientierungspunkten zu verknüpfen. Wenn ein Spieler zu einem Ziel navigiert, identifiziert das System den Moment, in dem er einen erkennbaren Ort, wie etwa ein Tor, eine Rampe oder ein bestimmtes Zimmer, erreicht, und markiert dies als Wegpunkt. Dies ermöglicht es den Daten zu zeigen, dass ein Spieler sich nicht nur bewegt hat, sondern sich mit einem spezifischen Ziel vor Augen bewegt hat. Die Forscher gruppierten diese Wegpunkte dann in längere Sequenzen, um vollständige Aufgabenbeschreibungen zu bilden. Um sicherzustellen, dass die Daten korrekt waren, setzten sie einen strengen zweistufigen Prüfprozess ein. Zuerst überprüften KI-Modelle jede einzelne Annotation, um zu verifizieren, dass die geschriebene Beschreibung mit dem Video und den aufgezeichneten Steuerungen übereinstimmte. Dann inspizierte ein Team von acht menschlichen Prüfern manuell hunderte von Gameplay-Trajektorien. Dieses menschliche Audit bestätigte, dass die Beschreibungen zu 95,8 Prozent korrekt waren, wodurch sichergestellt wurde, dass die Verbindung zwischen Sprache, Vision und Aktion solide ist.
Das Ergebnis ist ein Datensatz, der einer künstlichen Agentur explizit beibringt, wie sie zwischen verschiedenen Fähigkeiten wechselt, während sich eine Situation verändert. Im Gegensatz zu früheren Sammlungen, die möglicherweise nur das Endergebnis beschreiben oder vage Anweisungen liefern, zeigt AceAction-5M der Maschine genau, wann sie eine Aktivität stoppen und eine andere beginnen muss. Es erfasst das volle Spektrum der Verhaltensweisen, die in einer dynamischen Umgebung erforderlich sind, vom Navigieren auf einer Karte und dem Aufspüren von Feinden bis hin zum Kampf und der Erholung nach einem Rückschlag. Durch die Bereitstellung dieses Detailgrades haben die Forscher ein Fundament für das Training von Agenten geschaffen, die in der Lage sind, komplexe, mehrstufige Anweisungen zu verstehen und diese mit derselben Flexibilität wie ein menschlicher Spieler auszuführen. Die Arbeit zeigt, dass es durch die Organisation von Gameplay in klare, hierarchische Ziele möglich ist, Maschinen nicht nur das Bewegen, sondern auch das Durchdenken einer Sequenz von Aktionen zu lehren, um ein komplexes Ziel zu erreichen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.