PCGRLLM: Large Language Model-Driven Reward Design for Procedural Content Generation Reinforcement Learning

Resumo Técnico: PCGRLLM

Declaração do Problema
O design de funções de recompensa é um gargalo crítico no treinamento de agentes de Aprendizado por Reforço Profundo (DRL) para Geração Procedural de Conteúdo (PCG). Tradicionalmente, esse processo depende fortemente de expertise humana, modelagem de recompensas demorada e características ambientais pré-definidas, criando barreiras à escalabilidade e acessibilidade. Embora trabalhos recentes tenham explorado o uso de Modelos de Linguagem (LLMs) para gerar funções de recompensa (por exemplo, ChatPCG), abordagens existentes frequentemente carecem de um processo de refinamento que incorpore os resultados reais dos agentes treinados. Consequentemente, permanece incerto se as políticas geridas refletem com precisão as condições de recompensa pretendidas, limitando a capacidade dos LLMs de conectar efetivamente instruções narrativas de alto nível com código de recompensa de baixo nível.

Metodologia
O artigo propõe PCGRLLM, uma arquitetura estendida projetada para automatizar a geração de recompensas para PCG por meio de um ciclo orientado por feedback. O framework opera através de três etapas sequenciais principais:

1. Refinamento de Recompensa: O LLM refina iterativamente uma função de recompensa com base em instruções textuais (histórias) e feedback de iterações anteriores. O processo distingue entre uma fase inicial de geração (usando um modelo) e fases subsequentes de refinamento, onde o LLM analisa uma função de recompensa pai e seu feedback associado.
2. Auto-alinhamento: Antes de treinar o agente, a função de recompensa gerida passa por uma interação "few-shot" com o ambiente usando um agente aleatório. Esta etapa calcula a média e a variância dos valores de recompensa para garantir que a função produza sinais treináveis dentro de uma faixa apropriada, ajustando pesos ou fórmulas para evitar problemas como faixas excessivamente estreitas ou esparsidade excessiva.
3. Feedback do Conteúdo Gerado: Um agente DRL (treinado via Otimização de Política Proximal) gera conteúdo (níveis de jogo) com base na função de recompensa alinhada. O LLM analisa então o conteúdo resultante em relação às instruções originais para identificar discrepâncias (por exemplo, inimigos ausentes ou layouts espaciais incorretos). Essa análise gera feedback específico para orientar a próxima iteração de refinamento de recompensa.

Para aprimorar a exploração do espaço de recompensas, o framework integra três técnicas de Engenharia de Prompt (PE) baseadas em raciocínio:

• Cadeia de Pensamento (CoT): Uma abordagem de raciocínio linear, passo a passo.
• Árvore de Pensamentos (ToT): Explora múltiplas direções de raciocínio com capacidades de retrocesso, selecionando nós pais com base em pontuações de aptidão.
• Grafo de Pensamentos (GoT): Uma extensão do ToT que utiliza informações auxiliares (nós de recompensa de alto desempenho) para melhorar a eficiência de amostragem e a profundidade do raciocínio.

O sistema foi avaliado em uma tarefa de texto-para-recompensa em um ambiente de masmorra 2D, onde agentes foram treinados para gerar níveis que satisfizessem restrições narrativas específicas (por exemplo, "O Jogador deve encontrar um Morcego para obter uma Chave").

Principais Contribuições
Os autores identificam três contribuições principais:

1. Arquitetura Aprimorada de Geração de Recompensas: A introdução de um mecanismo de feedback que permite que a política se alinhe mais efetivamente às instruções ao observar resultados reais de agentes, abordando as limitações de métodos anteriores baseados apenas em auto-alinhamento.
2. Refinamento de Prompt Baseado em Raciocínio: A aplicação de técnicas de PE de última geração (ToT, GoT) para melhorar a exploração do espaço de recompensas, indo além da geração linear simples.
3. Avaliação Modular Abrangente: Experimentos extensivos, incluindo estudos de ablação, que fornecem insights sobre as capacidades dos LLMs na geração de conteúdo, especificamente no que diz respeito à geração de código, avaliação de conteúdo e raciocínio causal.

Resultados Experimentais
O framework foi avaliado em quatro cenários envolvendo objetivos condicionais variados e restrições espaciais, utilizando o gpt-4o da OpenAI como backend.

• Eficácia do Feedback: A inclusão do mecanismo de feedback melhorou significativamente o desempenho em comparação com a geração zero-shot e as linhas de base de apenas auto-alinhamento. No cenário de Grafo de Pensamentos, o framework completo PCGRLLM alcançou as pontuações mais altas, demonstrando que o feedback é crucial para corrigir falhas em funções de recompensa imperfeitas.
• Qualidade do Feedback: Experimentos comparando feedback "Nenhum", "Genérico" e "Específico" revelaram que feedback específico e adaptado ao conteúdo é essencial para melhoria sustentada do desempenho. Feedback genérico produziu ganhos mínimos, enquanto a ausência de feedback levou ao estagnamento ou declínio do desempenho.
• Engenharia de Prompt: Embora não tenham sido encontradas diferenças estatisticamente significativas em todas as métricas, o método Grafo de Pensamentos (GoT) mostrou uma tendência descritiva de superar CoT e ToT em iterações posteriores. O mecanismo de retrocesso do GoT permitiu que ele se recuperasse de quedas de desempenho causadas por exploração equivocada, alcançando finalmente as pontuações finais mais altas.
• Comparação Humana: Os resultados mostraram um padrão complementar: recompensas projetadas por humanos performaram melhor em tarefas com múltiplos objetivos condicionais, enquanto o PCGRLLM se destacou em tarefas que exigiam raciocínio espacial sob restrições.
• Limitações da Autoavaliação: O estudo constatou que a autoavaliação baseada em LLMs da aptidão (sem oráculos heurísticos) frequentemente levou à degradação do desempenho. A tendência do LLM de alucinar ou carecer de objetividade na pontuação do conteúdo gerido desviou a direção da busca, destacando uma limitação atual na avaliação autônoma.

Significado e Alegações
O artigo alega que o PCGRLLM demonstra o potencial de reduzir a dependência humana no desenvolvimento de IA para jogos, ao mesmo tempo que apoia e aprimora processos criativos. Ao enquadrar a geração de recompensas como um ciclo iterativo de refinamento envolvendo auto-alinhamento e feedback, o sistema alcança desempenho comparável ao humano em tarefas específicas de raciocínio espacial. Os autores enfatizam que o uso de LLMs como designers de funções de recompensa (em vez de geradores diretos de conteúdo) oferece controle explícito e composável sobre o processo de aprendizado, garantindo que as restrições sejam atendidas e que os trade-offs sejam transparentes.

No entanto, os autores permanecem modestos quanto ao estado atual da avaliação autônoma. Eles reconhecem que a dependência de LLMs para autoavaliação da qualidade do conteúdo introduz atualmente ruído e alucinação, o que pode impedir o processo de otimização. Sugere-se que trabalhos futuros se concentrem em melhorar a objetividade desses sinais de autoavaliação por meio de pontos de referência comparativos e raciocínio de autoconsistência.