Resumen Técnico: Modelos de Mundo Verificados frente a la Adecuación para el Juego en Modelos de Mundo de Código Sintetizados por LLM

1. Planteamiento del Problema

El artículo investiga el paradigma del Modelo de Mundo de Código (CWM, por sus siglas en inglés), donde los Modelos de Lenguaje Extensos (LLM) sintetizan código ejecutable que representa la dinámica de transición de un juego, el cual es utilizado posteriormente por un planificador clásico (por ejemplo, MCTS) para jugar. El protocolo de verificación estándar consiste en refinar el código sintetizado hasta que alcance una precisión de transición del 100% en un conjunto de trayectorias muestreadas aleatoriamente (la "puerta" o gate).

El problema central es si pasar esta puerta certifica la adecuación del modelo para la planificación. Los autores argumentan que una alta precisión de predicción en muestras aleatorias es la métrica errónea para la adecuación de la planificación. Postulan un desfase estructural: un planificador concentra la búsqueda en estados estratégicamente significativos (a menudo profundos o raros), mientras que el muestreo aleatorio se concentra en historias superficiales y comunes. En consecuencia, un CWM puede pasar la puerta con un 100% de precisión y, sin embargo, fallar sistemáticamente en el juego si omite una regla "rara pero crucial" que el juego aleatorio rara vez activa, pero que el juego competente explota de manera fiable.

2. Metodología

El estudio emplea un marco experimental y teórico riguroso a través de juegos de información perfecta e imperfecta:

• Pipeline de Síntesis: Los LLM (familia GPT-5.x: mini, nano, large) son instados mediante prompts con las reglas del juego y trayectorias aleatorias para sintetizar módulos de Python que implementen un contrato estándar de CWM (initial_state, legal_actions, apply_action, etc.).
• La Puerta (The Gate): Un bucle de refinamiento verifica el código sintetizado contra las trayectorias de verdad fundamental (ground-truth). El modelo es aceptado solo si logra un 100% de precisión de transición en el conjunto muestreado.
• Instrumentación:
  • Información Perfecta: Los autores construyeron una variante del juego army5x5a con una regla de desempate de "material en la punta" (material-at-cap). Esta regla es rara bajo el juego aleatorio (2.5% de incidencia) pero decisiva bajo el juego competente (50% de incidencia).
  • Información Imperfecta: Introdujeron Beacon, un juego mínimo instrumentado manualmente diseñado para aislar errores de inferencia. Presenta una "región profunda" alcanzable solo mediante estrategias de supervivencia óptimas, la cual el juego aleatorio casi nunca alcanza.
• Métricas:
  • Lente de la Puerta (Gate Lens): Precisión de transición, precisión de estado, tasa de observación y tasa de inferencia.
  • Lente de la Decisión (Decision Lens): Tasa de victoria en el juego de arena contra un oponente de verdad fundamental, medida con intervalos de confianza de Wilson del 95%.
  • Medición del Desfase (Gap Measurement): La diferencia entre la precisión de estado en la distribución de la puerta frente a la distribución de búsqueda del planificador.
• Intentos de Reparación: Los autores probaron si proporcionar ejemplos discriminantes (vía DAgger, transiciones dirigidas al manifold o estados artificiales) permite al LLM inferir la regla omitida.

3. Contribuciones Clave y Resultados

3.1 El Desfase entre lo Verificado y lo Correcto

El artículo demuestra que un CWM puede pasar la puerta de transición (100% de precisión) y ser $\ge$98% preciso en estado sobre la distribución de búsqueda del planificador, y aun así perder sistemáticamente en el juego.

• Evidencia: En army5x5a con la regla omitida de "material en la punta", el CWM "ciego a la regla" logró una tasa de victoria de 0.404 (95% CI [0.384, 0.424]) contra una base justa de 0.495. Los intervalos de Wilson están separados, confirmando un "costo de juego" estadísticamente significativo de 0.091.
• Causa: El error reside en el <1% de los estados donde se aplica la regla. El muestreo aleatorio diluye este error, haciendo que la precisión de estado parezca alta, mientras que la búsqueda del planificador se concentra en estos estados cruciales.

3.2 La Ley del Peligro Cuantitativo

Los autores derivan una ley de forma cerrada que gobierna el daño esperado del muestreo de verificación:
$$\text{peligro} = \text{costo\_de\_juego} \times (1 - \text{rareza})^N$$

• $(1 - \text{rareza})^N$: La probabilidad exacta de que una puerta de tamaño $N$ (muestras de Bernoulli i.i.d.) no observe una regla con rareza $r$.
• $\text{costo\_de\_juego}$: El déficit de rendimiento empírico condicional a la omisión de la regla.
• Comportamiento de Umbral: La ley predice un umbral: el daño es insignificante cuando las reglas son lo suficientemente comunes como para ser detectadas por la puerta, aumenta bruscamente a medida que las reglas se vuelven raras y se satura en el costo de juego completo cuando la regla casi siempre escapa a la detección.

3.3 Traducción, No Inferencia

El artículo investiga si proporcionar transiciones de ejemplo puede reparar la regla faltante.

• Hallazgo: La síntesis del LLM se comporta como una traducción de reglas, no como una inferencia de reglas.
• Evidencia: A través de múltiples regímenes de datos (DAgger ingenuo, DAgger adecuado, ejemplos dirigidos al manifold) y tamaños de modelo, el LLM no logró inferir la regla omitida incluso cuando las transiciones discriminantes estaban presentes en la muestra.
• Núcleo Probable: Una proposición teórica muestra que si una regla está ausente de la muestra (probabilidad $(1-r)^N$), ningún aprendiz puede inferirla únicamente a partir de esas transiciones. Incluso cuando la regla está presente, los LLM probados (familia GPT-5.x) fallaron consistentemente en codificarla, lo que sugiere una limitación en la inferencia de reglas a partir de ejemplos en lugar de solo traducir especificaciones.

3.4 Información Imperfecta y el Desfase de Inferencia

El mecanismo se extiende a la función de inferencia (reconstrucción de estados ocultos) en juegos de información imperfecta.

• Límite de Cobertura: Los autores demuestran que una puerta de inferencia aleatoria es identificadora (cubre todos los conjuntos de información relevantes) cuando $N \gtrsim b^{d_{max}} \cdot p_{chance}^{-1} \cdot \log |I|$. Esto explica por qué los juegos superficiales como el póker de Kuhn no muestran desfase.
• Experimento Beacon: En el juego construido Beacon, una función de inferencia "verificada pero errónea" pasó la puerta (0/8156 desajustes) pero perdió cada uno de los juegos (tasa de victoria de 0.000 frente a una base de 0.500). El error se confinó a una región profunda alcanzable mediante el juego óptimo pero invisible para el muestreo aleatorio.
• Ceguera de Creencia: Una puerta de precisión de transición es estructuralmente ciega a modelos de creencia incorrectos (funciones de observación/inferencia) porque las particiones de creencia no aparecen en las tuplas de transición $(s, a, s')$.

4. Significado y Reivindicaciones

El artículo sostiene una respuesta negativa rigurosa a la pregunta de si la precisión de transición en trayectorias aleatorias certifica la adecuación para la planificación.

• Diagnóstico Estructural: El fallo no es un problema de capacidad del modelo, sino un desplazamiento de la distribución de alcance (reach-distribution shift). La política de verificación (aleatoria uniforme) y la política de despliegue (planificador competente) concentran la masa en regiones disjuntas del espacio de estados. Esto es análogo al problema de las creencias fuera de equilibrio en la teoría de juegos.
• Implicaciones Prácticas:
  1. Verificación: La adecuación debe medirse en la distribución de búsqueda o mediante el juego directo, no por la precisión de predicción en transiciones muestreadas.
  2. Especificación: Completar la especificación es más efectivo que intentar reparar las brechas mediante ejemplos. El modelo traduce lo que se le da; no infiere de manera fiable lo que se ha omitido.
• Alcance: Los hallazgos se establecen para la familia GPT-5.x bajo regímenes específicos. Si bien el comportamiento de "traducción vs. inferencia" se observa en diversos tamaños de modelo y estrategias de reparación, los autores presentan la afirmación universal ("ningún modelo puede inferir una regla omitida") como una conjetura apoyada por sus datos, señalando que modelos de razonamiento de código más fuertes o andamiajes agénticos podrían alterar este resultado.

El artículo concluye que el desfase "verificado-vs-correcto" es una limitación fundamental de la verificación basada en muestreo para los modelos de mundo sintetizados en la planificación, impulsada por la imposibilidad estadística de capturar la dinámica rara pero crucial mediante el muestreo aleatorio uniforme.