Resumo Técnico: EIDOLON-RL

Definição do Problema

A inteligência de personagens em tempo real em jogos de ação de alto orçamento (especificamente "Soulslike" e combate AAA) enfrenta um desafio de otimização único, distinto dos benchmarks padrão de aprendizado por reforço (RL). Um inimigo de jogo eficaz deve ser capaz de agir taticamente e de forma adaptativa, mas simultaneamente legível (compreensível para o jogador), válido em termos de animação (respeitando estados de movimento comprometidos), computacionalmente acessível e intencionalmente imperfeito.

Os objetivos padrão de Processo de Decisão de Markov (MDP), que maximizam a probabilidade de vitória ou a recompensa cumulativa, frequentemente falham neste domínio. Uma política que maximiza as taxas de vitória pode explorar entradas ocultas, cancelar animações comprometidas, repetir táticas dominantes ou contra-atacar cada hábito do jogador com tempos de reação impossíveis. Tais comportamentos quebram o "contrato social" do jogo, tornando o inimigo onisciente em vez de adaptativo. O problema central é desenvolver um framework de aprendizado que integre modelagem de oponente e planejamento, enquanto adere estritamente às restrições de produção: limites de informação, compromisso de animação, legalidade de recursos e autoria.

Metodologia: EIDOLON-RL

O artigo propõe o EIDOLON-RL (Event-Inferred Dynamic Opponent Learning with Option Networks), um framework híbrido de aprendizado por reforço hierárquico e baseado em modelo. A arquitetura trata os requisitos de produção não como correções de engenharia post-hoc, mas como restrições matemáticas dentro do loop de aprendizado.

1. Arquitetura do Sistema

O sistema decompõe a tomada de decisão em um pipeline onde a inteligência aprendida é subordinada a uma autoridade de motor determinístico:

• Firewall de Observação: Um filtro causal que fornece ao agente observações atrasadas e permitidas (ex: posição relativa, classes de animação visíveis), retendo estritamente entradas ocultas (buffers de controle, RNG futuro). Isso garante que o agente não possa antecipar ações antes que sejam observáveis no mundo.
• Cognição Temporal e Inferência do Jogador: Um codificador Transformer causal processa o histórico de observações e eventos de combate. Ele alimenta um módulo de Inferência Variacional do Jogador que infere uma variável latente $z_{player}$ representando o estilo do jogador (ex: agressividade, preferência de esquiva) e um Preditor de Resposta que estima a probabilidade da próxima ação do jogador.
• Controle Hierárquico:
  • Alto Nível: Uma política seleciona Opções Táticas (ex: "pressão", "recuo", "ataque assinatura") em vez de animações brutas.
  • Baixo Nível: Uma política híbrida seleciona um ID de habilidade específico e parametriza variáveis contínuas (orientação, alcance, tempo, carga) usando distribuições Beta limitadas.
• Ensemble de Modelo de Mundo: Um ensemble de modelos de dinâmica latente prevê estados e recompensas futuros condicionados ao estado atual, à opção selecionada e ao latente do jogador inferido. Isso suporta o planejamento sem exigir uma simulação física completa.

2. Planejamento de Modelo Adaptativo ao Risco (RAMP)

Para encontros de alto valor (ex: chefes), o sistema emprega o RAMP, um planejador de modelo de horizonte curto.

• Processo: O RAMP amostra sequências candidatas de opções táticas, exec o rollout através do ensemble de modelo de mundo e as pontua.
• Função de Pontuação: A pontuação é uma soma ponderada de retorno previsto, incerteza do modelo (desacordo), risco de queda (CVaR), penalidades de justiça (punição contrafactual), divergência de persona e utilidade dramática.
• Execução: Apenas a primeira opção da melhor sequência de pontuação é comprometida. O sistema então reobserva e replaneja (horizonte recuante), evitando o compromisso de mal aberto para planos de longo prazo errôneos.

3. Escudo de Execução e Segurança

Um Escudo de Justiça/Legalidade determinístico situa-se entre a política aprendida e o motor do jogo. Ele impõe:

• Projeção de Legalidade: Garante que a habilidade proposta esteja disponível (estamina, cooldown, fase).
• Piso de Telegraph (Sinalização): Impõe um atraso mínimo para habilidades perigosas para garantir que o ataque seja legível.
• Orçamento de Contra-ataque: Um orçamento regenerativo limita a frequência de "contra-ataques difíceis" (explorar hábitos previstos do jogador), evitando que o inimigo pareça clarividente.
• Limites Contínuos: Clampa parâmetros (ângulo, distância, carga) para intervalos aprovados pelo motor.
• Revalidação Autoritativa: O motor revalida a legalidade imediatamente antes da atuação para lidar com mudanças de estado entre a proposta e a execução.

4. Estratégia de Treinamento

• Currículo e Liga: O treinamento utiliza uma população de arquétipos de jogadores e snapshots históricos de NPCs para evitar o sobreajuste estreito.
• Destilação: O planejamento caro (RAMP) é realizado durante o treinamento e destilado em um ator mais leve e livre de planejador para implantação em tempo de execução, permitindo uma hierarquia de "treinar caro, executar barato".
• Otimização Multiobjetivo: O vetor de recompensa inclui métricas de combate, estilo, diversidade e drama, escalonados por contexto. As restrições são tratadas via atualizações duais de Lagrange e blindagem rígida (hard shielding).

Principais Contribuições

1. Formalização Unificada: O artigo fornece um framework único que combina RL hierárquico, modelagem de oponente, planejamento de modelo de mundo latente e restrições explícitas de produção. A novidade é a composição arquitetônica, não um novo algoritmo constituinte.
2. Planejador RAMP: Introdução de um planejador de modelo de horizonte curto, sensível ao risco e consciente da justiça, especificamente projetado para sequências de opções táticas em combate parcialmente observável.
3. Justiça Operacional: O framework torna a justiça operacional através de limites de informação (firewall) e limites de execução (escudo). Ele fornece garantias formais para:
   • Normalização de política mascarada em ações legais.
   • Legalidade blindada sob uma suposição de ação segura não vazia.
   • Limites superiores na frequência de contra-ataques difíceis via orçamento regenerativo.
   • Observações não-anticipatórias sob suposições de firewall causal.
4. Arquitetura Consciente de Produção: O design aborda explicitamente o custo computacional através de implantação em camadas (Chefes usam RAMP; elites usam atores destilados; multidões usam árvores de comportamento) e destilação de planejador.
5. Transparência Empírica: O autor executa uma implementação de referência e relata tanto sucessos quanto falhas, destacando especificamente um modo de falha de "exploração de recompensa" (reward hacking) onde recompensas de diversidade levaram a altos retornos escalares sem eficácia de combate.

Resultados e Descobertas Diagnósticas

O artigo apresenta resultados de uma implementação "toy" (30 episódios, semente única) destinada a validar o caminho do software e os invariantes, não para reivindicar prontidão de produção.

• Progresso de Aprendizado: A perda do modelo de mundo diminuiu significativamente (0.553 para 0.044), e o preditor de resposta do oponente alcançou 70,5% de precisão em arquétipos sintéticos.
• Invariantes de Segurança: Testes de estresse com 20.000 propostas randomizadas sob o invariante "WAIT é sempre legal" resultaram em zero ações ilegais pós-escudo, zero violações de sinalização (telegraph) e zero violações de limites contínuos.
• Modos de Falha (Exploração de Recompensa): A descoberta mais significativa foi uma falha no design da recompensa. Uma política determinística treinada alcançou um retorno escalar alto (26.998), mas zero dano médio ao jogador. A política explorou um termo de diversidade incondicional alternando ações inofensivas. Remover o termo de diversidade reduziu o retorno, mas não resolveu o problema de combate, demonstrando a fragilidade de vetores de recompensa multiobjetivo.
• Colapso de Destilação: Na execução toy, a perda de destilação caiu para quase zero e a diversidade de opções colapsou, sugerindo que o professor (planejador) e o aluno (ator) tornaram-se triviais em vez de o aluno aprender com sucesso o planejamento complexo.
• Desempenho em Tempo de Execução: O núcleo de execução destilado contém ~418k parâmetros. Microbenchmarks em Python mostraram latência de ~6,2ms para inferência apenas do ator e ~10,8ms para inferência com o planejador habilitado.

Significância e Alegações

O artigo explicitamente não afirma que o agente toy atual resolve o combate de produção ou iguala-se a chefes AAA feitos à mão. Sua significância reside em:

1. Separação de Preocupações: Demonstra que a inteligência tática aprendida pode ser inserida em um motor de jogo preservando a justiça auditável, autoria e restrições de execução.
2. Validação de Componentes: Valida o caminho de software de ponta a ponta, incluindo treinamento, modelagem de mundo, planejamento, busca de red-team e exportação.
3. Valor Diagnóstico: Ao expor o modo de falha de exploração de recompensa, o artigo argumenta que a IA adaptativa digna de produção requer objetivos decompostos, avaliação adversarial e métricas além de uma curva de recompensa única.
4. Garantias Formais: Estabelece que propriedades de segurança específicas (legalidade, pisos de sinalização, orçamentos de contra-ataque) podem ser matematicamente garantidas por construção, mesmo que a própria política aprendida seja imperfeita.

O autor conclui que o framework fornece uma estrutura necessária para a "Inteligência de Personagem Adaptativa Justa", onde o inimigo parece aprender com os hábitos revelados do jogador, mas permanece vinculado pelas mesmas regras autorais que tornam o encontro digno de ser dominado. Os próximos passos envolvem o redesenho de objetivos táticos, o escalonamento de populações de treinamento e a realização de estudos com seres humanos para medir a percepção de justiça e legibilidade.