Sintesi Tecnica: Agenti Addestrabili per il Gameplay Interattivo

Definizione del Problema

L'apprendimento per rinforzo (RL) ha raggiunto prestazioni allo stato dell'arte nei domini di controllo in tempo reale, dalla robotica ai videogiochi. Tuttavia, gli agenti RL standard tipicamente apprendono un singolo comportamento quasi ottimale per risolvere un compito. Questa mancanza di flessibilità è un limite in scenari in cui gli utenti desiderano esercitare il controllo su come un compito viene eseguito, piuttosto che solo sul fatto che venga eseguito. Sebbene gli utenti possano richiedere stili specifici all'IA generativa (ad esempio, "dipingi in uno stile impressionista"), un simile controllo dello stile in tempo reale non è stato disponibile per gli agenti operanti in contesti di controllo continuo.

Gli approcci esistenti come l'apprendimento multi-task, multi-obiettivo o condizionato dal raggiungimento di obiettivi si concentrano sull'insegnare agli agenti a completare più compiti distinti. Questo articolo sostiene che inquadrare "pulire silenziosamente" e "pulire rapidamente" come compiti separati offusca lo spettro delle preferenze dell'utente. Pertanto, gli autori propongono gli Agenti Addestrabili (Coachable Agents): agenti addestrati per eseguire un singolo compito principale in una varietà di "stili" differenti, consentendo agli utenti di selezionare e modificare questi stili su richiesta durante l'esecuzione.

La metodologia si basa sugli Approssimatori di Funzione di Valore Universali (UVFAs), estendendoli per gestire scenari in cui l'obiettivo principale è fisso ma esistono molteplici comportamenti validi. Gli autori introducono gli UVFAs Condizionati dallo Stile, dove la funzione di ricompensa è scomposta in due componenti:
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$: Una ricompensa fissa che cattura l'obiettivo primario (ad esempio, vincere una battaglia, completare un giro).
• $r_{style}$: Una ricompensa dipendente dallo stile guidata da un vettore di stile multidimensionale $\theta$. Questo vettore include pesi per combinare linearmente le ricompense, soglie per il gating/ramping e setpoint che penalizzano la deviazione da intervalli desiderati.

Innovazioni Tecniche Chiave

1. Adattamento Algoritmico (Cat-RAC): Per gestire i domini di controllo ad alta dimensionalità dei videogiochi AAA (specificamente Horizon Forbidden West), gli autori hanno sviluppato il Categorical Regularized Actor-Critic (Cat-RAC), un nuovo membro della famiglia Soft Actor-Critic (SAC). Questo algoritmo affronta la complessità degli spazi di azione e la varianza comportamentale presenti nei giochi moderni.
2. Infrastruttura di Addestramento: Il framework utilizza:
   • Scenario Training: Creazione di scenari di pratica specifici per insegnare abilità e variazioni di stile.
   • Data Augmentation: Per accelerare e stabilizzare l'apprendimento.
   • Buffer di Replay Specializzati: Memorizzazione di traiettorie con specifici tag di stile per facilitare l'apprendimento di policy diverse.
3. Composizione dello Stile: Il sistema consente la combinazione di più richieste di stile (ad esempio, un'arma specifica + un effetto elementale specifico) a runtime, anche se l'agente ha visto raramente quella specifica combinazione durante l'addestramento.

Domini Sperimentali

Il framework è stato validato attraverso tre distinti domini:

1. Gran Turismo 7 (GT7): Un simulatore di corse. L'agente (GT Sophy) è stato addestrato per bilanciare i tempi sul giro rispetto ai vincoli di risorse (consumo di carburante e usura degli pneumatici) ed esibire comportamenti di guida come il drifting.
2. Horizon Forbidden West (HFW): Un gioco d'azione e avventura open-world. L'agente controlla la protagonista, Aloy, in combattimento contro complessi nemici robotici. Gli stili includevano la scelta di armi specifiche (6 armi), corpo a corpo, trappole, 7 effetti elementali e 3 strategie di rimozione parti.
3. DeepMind Control Suite (DMC): Un compito di camminata umana (humanoid walking). Gli stili controllavano pose delle braccia discrete e lunghezze del passo continue, dimostrando l'applicabilità dell'approccio alla robotica.

Risultati

Gran Turismo 7

• Gestione delle Risorse: Regolando i pesi dell'UVFA, l'agente poteva scambiare il ritmo con l'autonomia di carburante o la durata degli pneumatici. Aumentare le penalità per l'uso di carburante/pneumatici estendeva il tempo tra i pit stop fino al 60%, a costo di 2–3 secondi per giro.
• Variazione Comportamentale: L'agente ha imparato con successo a driftare e poteva modulare la propria aggressività apparente tramite parametri di stile basati su soglie.

Horizon Forbidden West

• Aderenza allo Stile: In 57.000 battaglie su 19 nemici e 3 posizioni, l'agente ha dimostrato una forte correlazione tra gli stili richiesti e i comportamenti eseguiti (dominanza diagonale nelle matrici del tipo di danno).
• Adattamento Contestuale: L'agente non obbediva ciecamente alle richieste di stile, ma le contestualizzava. Ad esempio, quando gli veniva richiesto uno stile elementale specifico, selezionava un'arma capace di indurre quello stato, per poi potenzialmente passare a un'arma più potente per massimizzare il danno mentre lo stato persisteva.
• Componibilità: L'agente ha eseguito con successo stili combinati (ad esempio, arma specifica + elemento specifico) nonostante avesse visto tali combinazioni specifiche meno di una volta ogni milione di scenari di addestramento.
• Generalizzazione: L'agente ha mantenuto alte prestazioni contro nemici e scenari fuori distribuzione (OOD) (ad esempio, nemici volanti) non presenti nel set di addestramento.
• Controllo del Trade-off: Le curve di Pareto hanno dimostrato che gli utenti potevano regolare un parametro di peso dello stile a runtime per bilanciare il "punteggio di stile" rispetto al tasso di vittoria, permettendo un controllo flessibile sul comportamento di rischio dell'agente.

Humanoid (DMC)

• L'agente ha composto con successo pose delle braccia discrete con il controllo continuo della lunghezza del passo. Il parametro di stile $\theta$ ha funzionato efficacemente come un setpoint per la lunghezza del passo, nonostante le pose delle braccia influenzassero il centro di massa e l'equilibrio del robot.

Significato e Rivendicazioni

Il documento afferma che gli UVFAs Condizionati dallo Stile, se combinati con algoritmi di apprendimento e strategie di addestramento appropriati, possono produrre agenti capaci di avere successo in compiti complessi in tempo reale pur rimanendo modificabili su comando.

• Impatto sul Gaming: La tecnologia offre applicazioni immediate per l'industria dei videogiochi, inclusi processi migliorati di Quality Assurance (QA), NPC (personaggi non giocanti) potenziati e nuove funzionalità di accessibilità dove gli agenti possono subentrare in sezioni difficili di un gioco rispettando lo stile di gioco preferito dal giocatore.
• Impatto sulla Robotica: Man mano che i robot general-purpose entrano in ambienti reali, questo approccio fornisce un meccanismo per gli utenti per modellare i comportamenti dei robot tramite modificatori di obiettivo, consentendo ai robot di eseguire compiti con diversi gradi di "stile" o vincoli specifici (ad esempio, pulizia silenziosa rispetto a pulizia rapida).
• Codifica Comportamentale: A differenza degli agenti RL standard che apprendono un singolo comportamento, gli agenti addestrabili codificano una "famiglia di comportamenti", offrendo un'interfaccia flessibile tra l'intento umano e l'esecuzione della macchina.

Gli autori sottolineano che la maggior parte dello sforzo in questo framework risiede nella creazione degli incentivi e degli scenari di pratica (il "coaching") piuttosto che nell'architettura algoritmica stessa, suggerendo che la progettazione degli ambienti di addestramento è critica per scalare verso domini complessi.