Technische Samenvatting: Coachbare Agenten voor Interactieve Gameplay

Probleemstelling

Reinforcement learning (RL) heeft de state-of-the-art prestaties bereikt in domeinen van real-time controle, van robotica tot videogames. Echter, standaard RL-agenten leren doorgaans één enkel, bijna optimaal gedrag om een taak op te lossen. Dit gebrek aan flexibiliteit is een beperking in scenario's waar gebruikers controle willen uitoefenen over hoe een taak wordt uitgevoerd, in plaats van alleen dat deze wordt uitgevoerd. Hoewel gebruikers specifieke stijlen kunnen aanvragen bij generatieve AI (bijv. "schilder in een impressionistische stijl"), is dergelijke real-time stijlcontrole voor agenten die opereren in continue controle-omgevingen tot nu toe onbeschikbaar geweest.

Bestaande benaderingen zoals multi-task, multi-objective of goal-conditioned learning richten zich op het aanleren van meerdere afzonderlijke taken. Dit artikel betoogt dat het framen van "rustig schoonmaken" en "snel schoonmaken" als aparte taken de breedte van gebruikersvoorkeuren maskeert. In plaats daarvan stellen de auteurs Coachbare Agenten voor: agenten die getraind zijn om één kerntaak uit te voeren in een verscheidenheid aan verschillende "stijlen", waardoor gebruikers deze stijlen on-demand tijdens de uitvoering kunnen selecteren en aanpassen.

Methodologie

Het framework bouwt voort op Universal Value Function Approximators (UVFAs) en breidt deze uit naar scenario's waar de kernopdracht vaststaat maar meerdere geldige gedragingen bestaan. De auteurs introduceren Stijl-geconditioneerde UVFAs, waarbij de beloningsfunctie wordt gedecomposeerd in twee componenten:
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$: Een vaste beloning die de primaire doelstelling vastlegt (bijv. een gevecht winnen, een ronde rijden).
• $r_{style}$: Een stijl-afhankelijke beloning die wordt aangestuurd door een meerdimensionale stijlvector $\theta$. Deze vector bevat gewichten voor het lineair combineren van beloningen, drempelwaarden voor gating/ramping, en setpoints die afwijkingen van gewenste bereiken bestraffen.

Belangrijke Technische Innovaties

1. Algoritmische Adaptatie (Cat-RAC): Om de hoogdimensionale controle-domeinen van AAA-videogames (specifiek Horizon Forbidden West) aan te kunnen, hebben de auteurs Categorical Regularized Actor-Critic (Cat-RAC) ontwikkeld, een nieuw lid van de Soft Actor-Critic (SAC) familie. Dit algoritme adresseert de complexiteit van actieruimtes en gedragsvariantie in moderne games.
2. Trainingsinfrastructuur: Het framework maakt gebruik van:
   • Scenario Training: Het creëren van specifieke oefenscenario's om vaardigheden en stijlvariaties aan te leren.
   • Data Augmentatie: Om het leren te versnellen en te stabiliseren.
   • Speciale Replay Buffers: Het opslaan van trajecten met specifieke stijl-tags om het leren van diverse policies te faciliteren.
3. Stijlcompositie: Het systeem staat de combinatie van meerdere stijlverzoeken toe (bijv. een specifiek wapen + een specifiek elementair effect) tijdens runtime, zelfs als de agent die specifieke combinatie zelden tijdens de training heeft gezien.

Experimentele Domeinen

Het framework werd gevalideerd in drie verschillende domeinen:

1. Gran Turismo 7 (GT7): Een racesimulatie. De agent (GT Sophy) werd getraind om rondetijden af te wegen tegen middelenrestricties (brandstofverbruik en bandenslijtage) en om rijgedrag zoals driften te vertonen.
2. Horizon Forbidden West (HFW): Een open-world actie-avonturengame. De agent bestuurt de protagonist, Aloy, in gevechten tegen complexe robotische vijanden. Stijlen omvatten specifieke wapenkeuzes (6 wapens), melee, vallen, 7 elementaire effecten en 3 strategieën voor het verwijderen van onderdelen.
3. DeepMind Control Suite (DMC): Een humanoïde loop-taak. Stijlen controleerden discrete armhoudingen en continue staplengtes, wat de toepasbaarheid van de aanpak op robotica demonstreert.

Resultaten

Gran Turismo 7

• Middelenbeheer: Door UVFA-gewichten aan te passen, kon de agent het tempo afwegen tegen brandstofbereik of bandenlevensduur. Het verhogen van de straffen voor brandstof-/bandengebruik verlengde de tijd tussen pitstops met wel 60%, ten koste van 2–3 seconden per ronde.
• Gedragsvariatie: De agent leerde succesvol driften en kon de schijnbare agressiviteit moduleren via drempelwaarde-gebaseerde stijlparameters.

Horizon Forbidden West

• Stijladherentie: In 57.000 gevechten tegen 19 vijanden en op 3 locaties demonstreerde de agent een sterke correlatie tussen gevraagde stijlen en uitgevoerd gedrag (diagonale dominantie in schade-type matrices).
• Contextuele Adaptatie: De agent volgde stijlverzoeken niet blindelings op, maar contextualiseerde ze. Bijvoorbeeld, wanneer gevraagd werd om een specifieke elementaire stijl te gebruiken, selecteerde de agent een wapen dat in staat is de betreffende status te induceren, en schakelde vervolgens mogelijk over naar een krachtiger wapen om de schade te maximaliseren terwijl de status voortduurde.
• Composabiliteit: De agent voerde gecombineerde stijlen succesvol uit (bijv. specifiek wapen + specifiek element), ondanks dat hij dergelijke specifieke combinaties minder dan één keer per miljoen trainingsscenario's had gezien.
• Generalisatie: De agent behield een hoge prestatie tegen out-of-distribution (OOD) vijanden en scenario's (bijv. vliegende vijanden) die niet aanwezig waren in de trainingsset.
• Trade-off Controle: Pareto-curves toonden aan dat gebruikers een stijl-gewichtparameter tijdens runtime konden afstemmen om de "stijlscore" af te wegen tegen de winrate, wat flexibele controle biedt over het risicovolle gedrag van de agent.

Humanoid (DMC)

• De agent combineerde succesvol discrete armhoudingen met continue stapcontrole. De stijlparameter $\theta$ functioneerde effectief als een setpoint voor de staplengte, zelfs toen armhoudingen invloed hadden op het zwaartepunt en de balans van de robot.

Betekenis en Claims

Het artikel claimt dat Stijl-geconditioneerde UVFAs, wanneer gecombineerd met geschikte learning-algoritmen en trainingsstrategieën, agenten kunnen produceren die succesvol zijn bij complexe real-time taken terwijl ze op commando aanpasbaar blijven.

• Impact op Gaming: Deze technologie biedt directe toepassingen voor de videogame-industrie, waaronder verbeterde Quality Assurance (QA) processen, verbeterde Non-Player Characters (NPC's) en nieuwe toegankelijkheidsfuncties waarbij agenten moeilijke secties van een spel kunnen overnemen terwijl ze voldoen aan de voorkeursstijl van een speler.
• Impact op Robotica: Naarmate algemene robots de echte wereld betreden, biedt deze aanpak gebruikers een mechanisme om robotgedrag vorm te geven via doelmodifiers, wat robots in staat stelt taken uit te voeren met variërende gradaties van "flair" of specifieke beperkingen (bijv. stil schoonmaken versus snel schoonmaken).
• Gedragsencoding: In tegenstelling tot standaard RL-agenten die één gedrag leren, coderen coachbare agenten een "familie van gedragingen", wat een flexibele interface biedt tussen menselijke intentie en machine-executie.

De auteurs benadrukken dat het merendeel van de inspanning in dit framework ligt in het creëren van de prikkels en oefenscenario's (het "coachen") in plaats van enkel de algoritmische architectuur, wat suggereert dat het ontwerp van trainingsomgevingen cruciaal is voor het schalen naar complexe domeinen.