Resumo Técnico: Modelos de Mundo Verificados vs. Adequação ao Jogo em Modelos de Mundo de Código Sintetizados por LLM

1. Definição do Problema

O artigo investiga o paradigma do Modelo de Mundo de Código (CWM - Code World Model), onde Grandes Modelos de Linguagem (LLMs) sintetizam código executável que representa a dinâmica de transição de um jogo, o qual é então utilizado por um planejador clássico (ex: MCTS) para jogar. O protocolo de verificação padrão envolve o refinamento do código sintetizado até que ele atinja 100% de precisão de transição em um conjunto de trajetórias amostradas aleatoriamente (o "gate" ou portão).

O problema central é se passar por este portão certifica a adequação do modelo para o planejamento. Os autores argumentam que alta precisão de predição em amostras aleatórias é a métrica errada para adequação ao planejamento. Eles postulam uma lacuna estrutural: um planejador concentra a busca em estados estrategicamente significativos (frequentemente profundos ou raros), enquanto a amostragem aleatória concentra-se em históricos rasos e comuns. Consequentemente, um CWM pode passar pelo portão com 100% de precisão e, ainda assim, falhar sistematicamente no jogo se omitir uma regra "rara-mas-crucial" que o jogo aleatório raramente aciona, mas que o jogo competente explora de forma confiável.

2. Metodologia

O estudo emprega um framework experimental e teórico rigoroso através de jogos de informação perfeita e informação imperfeita:

• Pipeline de Síntese: LLMs (família GPT-5.x: mini, nano, large) são instruídos com regras do jogo e trajetórias aleatórias para sintetizar módulos Python que implementam um contrato padrão de CWM (initial_state, legal_actions, apply_action, etc.).
• O Portão (The Gate): Um loop de refinamento verifica o código sintetizado contra trajetórias de verdade fundamental (ground-truth). O modelo é aceito apenas se atingir 100% de precisão de transição no conjunto amostrado.
• Instrumentação:
  • Informação Perfeita: Os autores construíram uma variante do jogo army5x5a com uma regra de desempate "material-no-cap" (material-at-cap). Esta regra é rara sob jogo aleatório (2,5% de incidência), mas decisiva sob jogo competente (50% de incidência).
  • Informação Imperfeita: Eles introduziram o Beacon, um jogo minimalista com instrumentação manual projetado para isolar erros de inferência. Ele possui uma "região profunda" alcançável apenas por estratégias de sobrevivência ótimas, que o jogo aleatório quase nunca atinge.
• Métricas:
  • Lente do Portão (Gate Lens): Precisão de transição, precisão de estado, taxa de observação e taxa de inferência.
  • Lente de Decisão (Decision Lens): Taxa de vitória em arena contra um oponente de verdade fundamental, medida com intervalos de confiança de Wilson de 95%.
  • Medição da Lacuna (Gap Measurement): A diferença entre a precisão de estado na distribuição do portão versus a distribuição de busca do planejador.
• Tentativas de Reparo: Os autores testaram se fornecer exemplos discriminantes (via DAgger, transições direcionadas ao on-manifold ou estados artificiais) permite que o LLM infira a regra omitida.

3. Contribuições Principais e Resultados

3.1 A Lacuna entre Verificado e Correto

O artigo demonstra que um CWM pode passar pelo portão de transição (100% de precisão) e ser $\ge$98% preciso em estado na distribuição de busca do planejador, mas perder sistematicamente no jogo.

• Evidência: No army5x5a com a regra omitida de material-at-cap, o CWM "cego à regra" obteve uma taxa de vitória de 0,404 (95% CI [0,384, 0,424]) contra uma linha de base justa de 0,495. Os intervalos de Wilson estão separados, confirmando um "custo de jogo" estatisticamente significativo de 0,091.
• Causa: O erro reside nos <1% dos estados onde a regra se aplica. A amostragem aleatória dilui este erro, fazendo a precisão de estado parecer alta, enquanto a busca do planejador concentra-se nesses estados cruciais.

3.2 A Lei do Perigo Quantitativo

Os autores derivam uma lei de forma fechada que governa o dano esperado da verificação por amostragem:
$$\text{perigo} = \text{custo\_de\_jogo} \times (1 - \text{raridade})^N$$

• $(1 - \text{raridade})^N$: A probabilidade exata de que um portão de tamanho $N$ (amostras de Bernoulli i.i.d.) falhe em observar uma regra com raridade $r$.
• $\text{custo\_de\_jogo}$: O déficit de desempenho empírico condicional à omissão da regra.
• Comportamento de Limiar (Threshold Behavior): A lei prevê um limiar: o dano é negligenciável quando as regras são comuns o suficiente para serem capturadas pelo portão, aumenta bruscamente conforme as regras se tornam raras e satura no custo total de jogo quando a regra quase sempre escapa da detecção.

3.3 Tradução, Não Inferência

O artigo investiga se fornecer transições de exemplo pode reparar a regra ausente.

• Descoberta: A síntese de LLM comporta-se como tradução de regras, não inferência de regras.
• Evidência: Em múltiplos regimes de dados (DAgger ingênuo, DAgger adequado, exemplos direcionados ao on-manifold) e tamanhos de modelo, o LLM falhou em inferir a regra omitida mesmo quando transições discriminantes estavam presentes na amostra.
• Núcleo Provável: Uma proposição teórica mostra que, se uma regra está ausente da amostra (probabilidade $(1-r)^N$), nenhum aprendiz pode inferi-la apenas a partir dessas transições. Mesmo quando a regra está presente, os LLMs testados (família GPT-5.x) falharam consistentemente em codificá-la, sugerindo uma limitação em inferir regras a partir de exemplos, em vez de apenas traduzir especificações.

3.4 Informação Imperfeita e a Lacuna de Inferência

O mecanismo estende-se à função de inferência (reconstrução de estados ocultos) em jogos de informação imperfeita.

• Limite de Cobertura (Coverage Bound): Os autores provam que um portão de inferência aleatório é identificador (cobre todos os info-sets relevantes) quando $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$. Isso explica por que jogos rasos como o Poker de Kuhn não apresentam lacuna.
• Experimento Beacon: No jogo construído Beacon, uma função de inferência "verificada-mas-errada" passou pelo portão (0/8156 erros), mas perdeu todas as partidas (taxa de vitória de 0,000 vs. 0,500 da linha de base). O erro estava confinado a uma região profunda, alcançável pelo jogo ótimo, mas invisível à amostragem aleatória.
• Cegueira de Crença (Belief Blindness): Um portão de precisão de transição é estruturalmente cego a modelos de crença incorretos (funções de observação/inferência) porque as partições de crença não aparecem em tuplas de transição $(s, a, s')$.

4. Significância e Alegações

O artigo afirma fornecer uma resposta negativa rigorosa à questão de se a precisão de transição em trajetórias aleatórias certifica a adequação ao planejamento.

• Diagnóstico Estrutural: A falha não é um problema de capacidade do modelo, mas sim um deslocamento de distribuição de alcance (reach-distribution shift). A política de verificação (aleatória uniforme) e a política de implantação (planejador competente) concentram massa em regiões disjuntas do espaço de estados. Isso é análogo ao problema de crenças fora do equilíbrio não restringidas na teoria dos jogos.
• Implicações Práticas:
  1. Verificação: A adequação deve ser medida na distribuição de busca ou por jogo direto, não pela precisão de predição em transições amostradas.
  2. Especificação: Completar a especificação é mais eficaz do que tentar reparar lacunas via exemplos. O modelo traduz o que lhe é dado; ele não infere de forma confiável o que foi omitido.
• Escopo: As descobertas são estabelecidas para a família GPT-5.x sob regimes específicos. Embora o comportamento de "tradução vs. inferência" seja observado em diversos tamanhos de modelo e estratégias de reparo, os autores tratam a afirmação universal ("nenhum modelo pode inferir uma regra omitida") como uma conjectura apoiada pelos seus dados, observando que modelos de raciocínio de código mais fortes ou scaffolds de agentes podem alterar este resultado.

O artigo conclui que a lacuna "verificado-vs-correto" é uma limitação fundamental da verificação baseada em amostragem para modelos de mundo sintetizados para planejamento, impulsionada pela impossibilidade estatística de capturar dinâmicas raras-mas-cruciais através de amostragem aleatória uniforme.