Resumo Técnico: DSLE - Um Ambiente de Aprendizado para Encontros de Chefes de Dark Souls

Declaração do Problema

A pesquisa em aprendizado por reforço (RL) e neuroevolução historicamente dependeu de ambientes padronizados (ex: Atari, ViZDoom, StarCraft II) que expõem informações de estado estruturadas através de interfaces criadas para esse fim. No entanto, muitos jogos comerciais modernos carecem de tais interfaces, limitando seu uso como benchmarks reprodutíveis para jogos de RPG de ação em terceira pessoa e tempo real. Embora o trabalho anterior (DSAPI) tenha demonstrado a viabilidade de interagir com Dark Souls: Remastered via captura de tela e visão computacional, esse sistema era limitado a um único encontro de chefe, dependia de estimativa de estado visual e carecia de capacidades de reset automatizado. Permanece uma lacuna para um benchmark reprodutível que suporte combate reativo em tempo real, observações visuais, resets automatizados e episódios repetíveis através de um conjunto diversificado de desafios dentro de um jogo comercial não modificado.

Metodologia

Os autores introduzem o Dark Souls Learning Environment (DSLE), uma plataforma conteinerizada que expõe todos os 22 encontros de chefes de Dark Souls: Remastered através de uma interface estilo Gymnasium.

Arquitetura do Ambiente

• Execução: O DSLE executa o jogo Windows não modificado dentro de um contêiner Docker baseado em Ubuntu usando Wine. A renderização é gerenciada por um display X11 virtual, com o DXVK traduzindo chamadas DirectX para Vulkan para execução via GPU.
• Extração de Estado: Diferente de abordagens anteriores focadas apenas em visão, o DSLE utiliza acesso direto à memória (via /proc/<pid>/mem) para recuperar o estado estruturado do jogo (vida do jogador/chefe, flags de morte, status de trava de mira). Isso garante computação de recompensa e verificações de terminação confiáveis.
• Automação: O sistema automatiza os resets de episódios alternando estados de salvamento de cenários, navegando pelos menus via correspondência de modelos (template matching) e transferindo o controle para o agente. Ele suporta execução sem interface gráfica (headless) e treinamento distribuído em múltiplas instâncias isoladas em uma única máquina.
• Interface:
  • Observação: A entrada padrão é um quadro em tons de cinza (600×800) da perspectiva do jogador, incluindo o HUD.
  • Espaço de Ação: Um conjunto discreto de 14 ações (movimentação, ataques, cura, esquiva, aparagem). As ações são mantidas por uma duração fixa (250ms), desacoplando a taxa de controle da taxa de renderização.
  • Recompensas: Recompensas terminais esparsas (vitória/derrota) combinadas com recompensas intermediárias moldadas (dano causado/recebido).

Protocolo Experimental

Para estabelecer uma linha de base e avaliar a dificuldade, os autores definiram o DSLE-5, um subconjeto representativo de cinco chefes cobrindo distintos desafios de controle:

1. Asylum Demon: Luta de combate corpo a corpo tutorial.
2. Capra Demon: Arena com restrição espacial e múltiplos alvos.
3. Chaos Witch Quelaag: Luta com perigos ambientais.
4. Ornstein e Smough: Luta de múltiplos alvos e duas fases.
5. Gwyn, Lord of Cinder: Chefe final de ritmo acelerado.

Cinco métodos de linha de base foram avaliados no DSLE-5 sob um protocolo fixo (100.000 passos, 5 sementes, sem ajuste por chefe):

1. Política Aleatória (Random Policy): Seleção de ação uniformemente aleatória.
2. Sistema Especialista (Expert System): Um controlador simples baseado em regras (cura quando a vida está baixa, caso contrário, move/ataca).
3. PPO & DQN: Agentes de RL profundo treinados a partir de entrada visual usando arquiteturas padrão (Mnih et al., 2015).
4. SCOPE (Sparse Cosine Optimized Policy Evolution): Uma linha de base neuroevolutiva usando uma abordagem livre de derivadas com esparsificação de transformada de cosseno discreta e otimização CMA-ES.

Principais Contribuições

1. Plataforma DSLE: Um benchmark totalmente conteinerizado e reprodutível para Dark Souls: Remastered que suporta todos os 22 encontros de chefes, resets automatizados e acesso direto à memória para verificação de estado.
2. Suíte de Benchmark DSLE-5: Um subconjeto curado de cinco chefes projetado para representar o espectro de dificuldades do jogo (corpo a corpo, espacial, perigo, múltiplos alvez e combate de alta pressão).
3. Avaliação Abrangente de Linha de Base: A primeira avaliação sistemática de múltiplas famílias de agentes (aleatório, roteirizado, RL profundo e neuroevolução) neste domínio, estabelecendo que os métodos atuais lutam significativamente além do nível tutorial.
4. Análise de Estocasticidade: Demonstração de que, apesar dos estados de salvamento fixos, o ambiente do jogo exibe estocasticidade inerente (ex: trajetórias de vida divergentes após sequências de ações idênticas), necessitando de controle baseado em feedback em vez de planejamento de malha aberta (open-loop).

Resultados

A avaliação revela um gradiente de dificuldade acentuado onde os métodos atuais falham em generalizar além do chefe tutorial:

• Asylum Demon (Tutorial):

  • Sistema Especialista: Alcançou uma taxa de vitória de 63%.
  • SCOPE: Alcançou um pico de 43% de taxa de vitória (melhor geração), superando os resultados anteriores de NEAT (35%).
  • PPO/DQN: Mostraram aprendizado negligenciável, com taxas de vitória ≤0,33%.
  • Aleatório: 0% de taxa de vitória.

• Chefes Mais Difíceis (Capra, Quelaag, O&S, Gwyn):

  • Zero Vitórias: Nenhum dos cinco métodos (incluindo o sistema especialista e o SCOPE) derrotou nenhum dos quatro chefes mais difíceis.
  • Falha de Aprendizado: PPO e DQN não mostraram aprendizado mensurável dentro do orçamento de 100.000 passos (aprox. 9–41 horas de tempo real por execução). As curvas de recompensa permaneceram presas próximo ao piso da penalidade de morte.
  • Modos de Falha: Os agentes falharam em dois regimes distintos:
    1. Apertado/Múltiplos Alvos: Morte imediata (mediana de sobrevivência 7–19s) em arenas como Capra Demon e Gwyn.
    2. Perigo/Alcance: Longa sobrevivência (52–68s), mas zero dano causado em lutas como Quelaag, onde os agentes foram mortos por perigos ambientais ou ataques à distância antes de engajar.

• Estudo Estendido: Um estudo exploratório usando atributos de personagem de nível 50 "vantajosos" permitiu que o SCOPE vencesse alguns chefes iniciais (ex: Capra Demon com 96%), mas a maioria da suíte de 22 chefes permaneceu sem vitórias, confirmando que a dificuldade se estende muito além do escalonamento de equipamentos.

Significância e Alegações

O artigo afirma que o DSLE fornece um benchmark rigoroso e reprodutível para estudar políticas de controle adaptativo em ambientes de tempo real, alta dimensão e recompensa esparsa. Os resultados demonstram que Dark Souls: Remastered possui uma estrutura de dificuldade multinível que os métodos atuais de RL e neuroevolução de modelo livre não conseguem resolver sem mudanças arquitetônicas significativas ou aprendizado por currículo.

Os autores enfatizam que a falha dos agentes não é meramente uma falta de computação, mas uma incapacidade fundamental de lidar com as pressões de controle específicas do jogo (tempo, posicionamento, troca de alvo e evasão de perigos) dentro de orçamentos realistas. O artigo posiciona o DSLE como um degrau para pesquisas futuras em:

• Métodos para controle de tempo real, de longo horizonte e recompensa esparsa.
• Aprendizado por currículo e transferência através da sequência graduada de chefes.
• Aprendizado por imitação a partir de demonstrações humanas ou roteirizadas.
• Aprendizado multitarefa e contínuo através de tarefas distintas, mas relacionadas.

O trabalho conclui que, embora o DSLE abra as portas para essas direções de pesquisa avançadas, o cenário atual de agentes de jogos permanece sem solução para a maioria dos desafios do benchmark.