Resumo Técnico: Destilação da Geração de Modelos de Mundo de Código de Jogos em Grandes Modelos de Linguagem Leves

Declaração do Problema

A construção de Modelos de Mundo—representações internas de um ambiente que permitem a agentes de IA simular consequências de ações—é crítica para sistemas multiagente. Embora trabalhos recentes tenham introduzido Modelos de Mundo de Código (CWMs), onde Grandes Modelos de Linguagem (LLMs) traduzem descrições de jogos em linguagem natural em código Python executável compatível com solucionadores como Busca em Árvore de Monte Carlo (MCTS), as abordagens atuais enfrentam barreiras significativas de escalabilidade.

Os métodos existentes para gerar Modelos de Mundo de Código de Jogos (GameCWMs) dependem fortemente de modelos de "fronteira" (por exemplo, Gemini 2.5 Pro, GPT-4) e de computação em tempo de teste extensa. Essas abordagens utilizam loops iterativos de refinamento onde um LLM gera código, verifica-o contra testes unitários ou trajetórias de verdade fundamental, e regenera o código em caso de falha. Esse processo é computacionalmente caro e limita a acessibilidade. A questão central deste trabalho é se as capacidades necessárias para gerar GameCWMs válidos podem ser destiladas em modelos menores e leves (especificamente modelos de 3 bilhões de parâmetros) por meio de pós-treinamento, eliminando assim a dependência de modelos de fronteira e loops de refinamento em tempo de inferência.

Metodologia

Os autores propõem um pipeline de três componentes para destilar as capacidades de geração de GameCWM no Qwen2.5-3B-Instruct:

1. Curadoria de Conjunto de Dados

Um conjunto de dados de 30 jogos de forma extensiva foi construído, abrangendo:

• Jogos de Informação Perfeita: por exemplo, Jogo da Velha, Connect4, Xadrez Generalizado.
• Jogos de Informação Imperfeita: por exemplo, Blackjack, Poker de Kuhn, Poker de Leduc, Gin Rummy.
• Jogos Fora da Distribuição (OOD): Jogos novos não presentes nos dados de treinamento padrão de LLMs, incluindo um novo jogo chamado Converge.

O conjunto de dados consiste em pares prompt-código $(P_G, C_G)$, onde o prompt inclui a especificação da API, descrição do jogo em linguagem natural, strings de ação explícitas e uma trajetória de exemplo. A saída alvo é o código Python de verdade fundamental que implementa o motor do jogo.

2. Framework de Verificação Hierárquica

Para permitir o treinamento sem motores de jogo de verdade fundamental para jogos novos, os autores desenvolveram um framework de verificação de quatro níveis que avalia o código gerado:

• Nível 1 (Análise Estática): Verifica a validade sintática, completude da API (todos os métodos necessários presentes), assinaturas de tipo e compilação bem-sucedida.
• Nível 2 (Dinâmica/Fuzzing): Executa 100 trajetórias sintéticas aleatórias para verificar determinismo, lógica não terminal, lógica terminal, execução sem falhas e imutabilidade de estado.
• Nível 3 (Adesão a Regras Semânticas): Compara o comportamento do motor gerado contra um pequeno conjunto de "trilhas de cenário" (históricos de jogo) gerados por um LLM de fronteira a partir das regras do jogo. Isso testa condições de limite e jogabilidade típica.
• Nível 4 (Consistência de Informação): Específico para jogos de informação imperfeita, este nível avalia a função resample_history. Simula um passeio aleatório até um estado, extrai uma observação e verifica se o histórico reamostrado produz a mesma observação, garantindo que as fronteiras epistêmicas sejam mantidas.

3. Pipeline de Pós-Treinamento

O processo de treinamento envolve duas etapas:

• Ajuste Fino Supervisionado (SFT): O modelo base Qwen2.5-3B-Instruct é ajustado finamente nos pares prompt-código usando LoRA. Esta etapa visa alinhar o modelo com a estrutura e sintaxe da API requerida.
• Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Após o SFT, o modelo é refinado adicionalmente usando Otimização de Política Relativa em Grupo (GRPO). O sinal de recompensa é uma pontuação composta derivada do framework de verificação de quatro níveis:
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  Onde $S_t$ é a taxa de aprovação no nível $t$, e os pesos ($w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$) priorizam a lógica semântica e o tratamento de informações sobre a mera sintaxe.

Principais Resultados

Os experimentos foram conduzidos em 7 jogos mantidos de fora (incluindo jogos OOD e de informação imperfeita), gerando 25 amostras por jogo.

• Desempenho Geral: O pipeline completo SFT+RLVR produziu o modelo mais forte, alcançando uma pontuação média de verificação de 53,2%, superando significativamente o modelo base (47,3%) e o modelo apenas SFT (49,0%). No entanto, permaneceu abaixo do desempenho de modelos de fronteira como o GPT-4o (66,7%).
• Ganhos Sintáticos e Estruturais: O SFT melhorou significativamente as pontuações Estática (Nível 1) e Fuzz (Nível 2), demonstrando que o ajuste fino ensina efetivamente ao modelo a estrutura da API requerida e a lógica de transição robusta.
• Adesão Semântica: O RLVR forneceu o maior impulso às pontuações Semânticas (Nível 3). O modelo SFT+RLVR alcançou uma pontuação semântica de 14,4% comparado a 8,5% para o modelo base, indicando que o RL ajuda o modelo a aderir às regras do jogo além da sintaxe.
• Desafios de Informação Imperfeita: Todos os modelos, incluindo o GPT-4o, lutaram com a consistência de Informação (Nível 4) em jogos de informação imperfeita. O melhor modelo Qwen (SFT+RLVR) alcançou apenas 5,3%, comparado a 14,0% para o GPT-4o.
• Limitações Observadas:
  • Sobreajuste no SFT: No jogo de distribuição interna Gin Rummy (não presente no conjunto de treinamento), o SFT na verdade reduziu o desempenho (de 49,7% para 31,4%) devido ao modelo aplicar cegamente modelos de compreensão de listas aprendidos durante o treinamento, introduzindo erros de sintaxe.
  • Fronteiras de Raciocínio: Os modelos frequentemente inseriam comentários reconhecendo a dificuldade de implementar a lógica resample_history, optando por stubs simplificados (por exemplo, retornando a última ação) em vez de gerar caminhos de raciocínio complexos. Isso sugere que o espaço latente do modelo base pode carecer das capacidades de raciocínio necessárias de "Teoria da Mente" para essas tarefas.

Significado e Alegações

O artigo afirma que a geração de GameCWM pode ser parcialmente destilada em LLMs leves por meio de pós-treinamento. O significado principal deste trabalho é a demonstração de que:

1. Eficiência de Recursos: É possível reduzir a dependência de modelos de fronteira caros e loops iterativos de refinamento em tempo de teste, deslocando o ônus computacional para o pós-treinamento.
2. Necessidade de Duas Etapas: Uma combinação de SFT (para estrutura/sintaxe) e RLVR (para adesão semântica) é mais eficaz do que qualquer método isolado.
3. Escalabilidade: A abordagem oferece um caminho escalável para a geração automática de ambientes a partir de linguagem natural, tornando os GameCWMs acessíveis para uma gama mais ampla de aplicações.

No entanto, os autores permanecem modestos sobre o estado atual da tecnologia. Eles afirmam explicitamente que o raciocínio semântico complexo e o tratamento de informação imperfeita permanecem desafiadores e excedem a capacidade atual tanto dos modelos leves quanto do pipeline de treinamento. O trabalho não afirma ter resolvido o problema da geração perfeita de GameCWM, mas sim fornece uma alternativa viável e mais eficiente às abordagens atuais dependentes de modelos de fronteira.