Resumo Técnico: Agentes Treináveis para Jogabilidade Interativa

Declaração do Problema

O aprendizado por reforço (RL) alcançou um desempenho de estado da arte em domínios de controle em tempo real, da robótica aos videogames. No entanto, os agentes de RL padrão normalmente aprendem um comportamento único e quase ótimo para resolver uma tarefa. Essa falta de flexibilidade é uma limitação em cenários onde os usuários desejam exercer controle sobre como uma tarefa é realizada, e não apenas sobre o fato de ela ser realizada. Embora os usuários possam solicitar estilos específicos de IA generativa (ex: "pintar em um estilo impressionista"), tal controle de estilo em tempo real tem estado indisponível para agentes operando em configurações de controle contínuo.

Abordagens existentes, como aprendizado multitarefa, multiobjetivo ou condicionado a objetivos, focam em ensinar agentes a realizar múltiplas tarefas distintas. Este artigo argumenta que enquadrar "limpar silenciosamente" e "limpar rapidamente" como tarefas separadas obscurece o espectro de preferência do usuário. Em vez disso, os autores propõem Agentes Treináveis (Coachable Agents): agentes treinados para realizar uma única tarefa central em uma variedade de "estilos" diferentes, permitindo que os usuários selecionem e modifiquem esses estilos sob demanda durante a execução.

Metodologia

O framework baseia-se em Aproximadores de Função de Valor Universal (UVFAs), estendendo-os para lidar com cenários onde o objetivo central é fixo, mas múltiplos comportamentos válidos existem. Os autores introduzem UVFAs Condicionados por Estilo, onde a função de recompensa é decomposta em dois componentes:
$$r(s, a; \theta) = r_{task}(s, a) + r_{style}(s, a, \theta)$$

• $r_{task}$: Uma recompensa fixa que captura o objetivo primário (ex: vencer uma luta, completar uma volta).
• $r_{style}$: Uma recompensa dependente do estilo impulsionada por um vetor de estilo multidimensional $\theta$. Este vetor inclui pesos para combinar recompensas linearmente, limiares para controle de gatilho/rampa (gating/ramping) e pontos de ajuste (setpoints) que penalizam o desvio de intervalos desejados.

Inovações Técnicas Principais

1. Adaptação Algorítmica (Cat-RAC): Para lidar com os domínios de controle de alta dimensão de jogos AAA (especificamente Horizon Forbidden West), os autores desenvolveram o Ator-Crítico Categorizado Regularizado (Cat-RAC), um novo membro da família Soft Actor-Critic (SAC). Este algoritmo aborda a complexidade dos espaços de ação e a variância comportamental encontrados em jogos modernos.
2. Infraestrutura de Treinamento: O framework utiliza:
   • Treinamento de Cenários: Criação de cenários de prática específicos para ensinar habilidades e variações de estilo.
   • Aumento de Dados (Data Augmentation): Para acelerar e estabilizar o aprendizado.
   • Buffers de Replay de Propósito Especial: Armazenamento de trajetórias com tags de estilo específicas para facilitar o aprendizado de políticas diversas.
3. Composição de Estilo: O sistema permite a combinação de múltiplas solicitações de estilo (ex: uma arma específica + um efeito elemental específico) em tempo de execução, mesmo que o agente tenha visto essa combinação específica raramente durante o treinamento.

Domínios Experimentais

O framework foi validado em três domínios distintos:

1. Gran Turismo 7 (GT7): Uma simulação de corrida. O agente (GT Sophy) foi treinado para equilibrar tempos de volta contra restrições de recursos (consumo de combustível e desgaste de pneus) e para exibir comportamentos de direção como o drift.
2. Horizon Forbidden West (HFW): Um jogo de ação e aventura de mundo aberto. O agente controla a protagonista, Aloy, em combate contra inimigos robóticos complexos. Os estilos incluíram escolhas de armas específicas (6 armas), combate corpo a corpo, armadilhas, 7 efeitos elementais e 3 estratégias de remoção de partes.
3. DeepMind Control Suite (DMC): Uma tarefa de caminhada humanoide. Os estilos controlavam poses discretas dos braços e comprimentos de passada contínuos, demonstrando a aplicabilidade da abordagem à robótica.

Resultados

Gran Turismo 7

• Gestão de Recursos: Ao ajustar os pesos do UVFA, o agente pôde trocar o ritmo contra a autonomia de combustível ou vida dos pneus. Aumentar as penalidades para o uso de combustível/pneus estendeu o tempo entre paradas nos boxes em até 60%, ao custo de 2 a 3 segundos por volta.
• Variação Comportamental: O agente aprendeu com sucesso a fazer drift e pôde modular sua agressividade aparente via parâmetros de estilo baseados em limiares.

Horizon Forbidden West

• Aderência ao Estilo: Em 57.000 batalhas através de 19 inimigos e 3 localizações, o agente demonstrou uma forte correlação entre os estilos solicitados e os comportamentos executados (dominância diagonal em matrizes de tipo de dano).
• Adaptação Contextual: O agente não obedeceu cegamente às solicitações de estilo, mas as contextualizou. Por exemplo, ao ser solicitado a usar um estilo elemental específico, ele selecionaria uma arma capaz de induzir esse estado e, potencialmente, trocaria para uma arma mais poderosa para maximizar o dano enquanto o estado persistisse.
• Componibilidade: O agente executou com sucesso estilos combinados (ex: arma específica + elemento específico), apesar de ter visto tais combinações específicas menos de uma vez por milhão de cenários de treinamento.
• Generalização: O agente manteve alto desempenho contra inimigos e cenários fora da distribuição (OOD) (ex: inimigos voadores) não presentes no conjunto de treinamento.
• Controle de Trade-off: Curvas de Pareto demonstraram que os usuários podem ajustar um parâmetro de peso de estilo em tempo de execução para equilibrar a "pontuação de estilo" contra a taxa de vitória, permitindo controle flexível sobre o comportamento de risco do agente.

Humanoide (DMC)

• O agente conseguiu compor poses discretas de braços com controle de passada contínua. O parâmetro de estilo $\theta$ funcionou efetivamente como um ponto de ajuste para o comprimento da passada, mesmo que as poses dos braços impactassem o centro de massa e o equilíbrio do robô.

Significância e Alegações

O artigo afirma que UVFAs Condicionados por Estilo, quando combinados com algoritmos de aprendizado e estratégias de treinamento apropriados, podem produzir agentes que têm sucesso em tarefas complexas em tempo real enquanto permanecem modificáveis sob comando.

• Impacto em Games: A tecnologia oferece aplicações imediatas para a indústria de videogames, incluindo processos de Garantia de Qualidade (QA) aprimorados, NPCs (Personagens Não Jogáveis) melhorados e novos recursos de acessibilidade onde agentes podem assumir seções difíceis de um jogo enquanto aderem ao estilo de jogo preferido do jogador.
• Impacto na Robótica: À medida que robôs de propósito geral entram em ambientes do mundo real, esta abordagem fornece um mecanismo para usuários moldarem comportamentos de robôs via modificadores de objetivo, permitendo que robôs realizem tarefas com diferentes graus de "estilo" ou restrições específicas (ex: limpeza silenciosa vs. limpeza rápida).
• Codificação Comportamental: Diferente dos agentes de RL padrão que aprendem um comportamento único, agentes treináveis codificam uma "família de comportamentos", oferecendo uma interface flexível entre a intenção humana e a execução da máquina.

Os autores enfatizam que a maior parte do esforço neste framework reside na criação dos incentivos e cenários de prática (o "treinamento/coaching"), e não apenas na arquitetura algorítmica, sugerindo que o design dos ambientes de treinamento é crítico para escalar para domínios complexos.