Resumen Técnico: Destilación de la Generación de Modelos Mundiales de Código de Juego en Modelos de Lenguaje Grande Ligeros

Declaración del Problema

La construcción de Modelos Mundiales—representaciones internas de un entorno que permiten a agentes de IA simular las consecuencias de las acciones—es crítica para los sistemas multiagente. Aunque trabajos recientes han introducido Modelos Mundiales de Código (CWM), donde los Modelos de Lenguaje Grande (LLM) traducen descripciones de juegos en lenguaje natural a código Python ejecutable compatible con solucionadores como Búsqueda en Árbol Monte Carlo (MCTS), los enfoques actuales enfrentan barreras significativas de escalabilidad.

Los métodos existentes para generar Modelos Mundiales de Código de Juego (GameCWM) dependen en gran medida de modelos de "frontera" (por ejemplo, Gemini 2.5 Pro, GPT-4) y de un cómputo extenso en tiempo de prueba. Estos enfoques utilizan bucles de refinamiento iterativo donde un LLM genera código, lo verifica contra pruebas unitarias o trayectorias de verdad fundamental, y regenera el código en caso de fallo. Este proceso es computacionalmente costoso y limita la accesibilidad. La pregunta central de este trabajo es si las capacidades requeridas para generar GameCWMs válidos pueden ser destiladas en modelos más pequeños y ligeros (específicamente modelos de 3 mil millones de parámetros) mediante post-entrenamiento, eliminando así la dependencia de modelos de frontera y bucles de refinamiento en tiempo de inferencia.

Metodología

Los autores proponen una tubería de tres componentes para destilar las capacidades de generación de GameCWM en Qwen2.5-3B-Instruct:

1. Curación del Conjunto de Datos

Se construyó un conjunto de datos de 30 juegos de forma extensiva, que abarcan:

• Juegos de Información Perfecta: por ejemplo, Tres en Raya, Conecta 4, Ajedrez Generalizado.
• Juegos de Información Imperfecta: por ejemplo, Blackjack, Poker de Kuhn, Poker de Leduc, Gin Rummy.
• Juegos Fuera de Distribución (OOD): Juegos novedosos no presentes en los datos de entrenamiento estándar de LLM, incluido un nuevo juego llamado Converge.

El conjunto de datos consiste en pares de prompt-código $(P_G, C_G)$, donde el prompt incluye la especificación de la API, la descripción del juego en lenguaje natural, cadenas de acción explícitas y una trayectoria de ejemplo. La salida objetivo es código Python de verdad fundamental que implementa el motor del juego.

2. Marco de Verificación Jerárquico

Para permitir el entrenamiento sin motores de juego de verdad fundamental para juegos novedosos, los autores desarrollaron un marco de verificación de cuatro niveles que evalúa el código generado:

• Nivel 1 (Análisis Estático): Verifica la validez sintáctica, la completitud de la API (todos los métodos requeridos presentes), las firmas de tipo y la compilación exitosa.
• Nivel 2 (Dinámica/Fuzzing): Ejecuta 100 trayectorias sintéticas aleatorias para verificar la determinación, la lógica no terminal, la lógica terminal, la ejecución sin fallos y la inmutabilidad del estado.
• Nivel 3 (Adherencia a Reglas Semánticas): Compara el comportamiento del motor generado contra un pequeño conjunto de "trazas de escenario" (historias de juego) generadas por un LLM de frontera a partir de las reglas del juego. Esto prueba condiciones límite y el juego típico.
• Nivel 4 (Consistencia de Información): Específico para juegos de información imperfecta, este nivel evalúa la función resample_history. Simula un paseo aleatorio hacia un estado, extrae una observación y verifica que la historia re-muestreada produzca la misma observación, asegurando que se mantengan los límites epistémicos.

3. Tubería de Post-Entrenamiento

El proceso de entrenamiento implica dos etapas:

• Ajuste Fino Supervisado (SFT): El modelo base Qwen2.5-3B-Instruct se ajusta fino en los pares de prompt-código utilizando LoRA. Esta etapa busca alinear el modelo con la estructura de API requerida y la sintaxis.
• Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): Tras el SFT, el modelo se refina aún más utilizando Optimización de Política Relativa de Grupo (GRPO). La señal de recompensa es una puntuación compuesta derivada del marco de verificación de cuatro niveles:
  $$r_i = \sum_{t=1}^{4} w_t S_t$$
  Donde $S_t$ es la tasa de aprobación en el nivel $t$, y los pesos ($w_1=0.15, w_2=0.25, w_3=0.3, w_4=0.3$) priorizan la lógica semántica y el manejo de información sobre la mera sintaxis.

Resultados Clave

Se realizaron experimentos en 7 juegos retenidos (incluyendo juegos OOD y de información imperfecta), generando 25 muestras por juego.

• Rendimiento General: La tubería completa SFT+RLVR produjo el modelo más fuerte, logrando una puntuación media de verificación del 53.2%, superando significativamente al modelo base (47.3%) y al modelo solo SFT (49.0%). Sin embargo, permaneció por debajo del rendimiento de modelos de frontera como GPT-4o (66.7%).
• Ganancias Sintácticas y Estructurales: El SFT mejoró significativamente las puntuaciones Estáticas (Nivel 1) y de Fuzz (Nivel 2), demostrando que el ajuste fino enseña efectivamente al modelo la estructura de API requerida y la lógica de transición robusta.
• Adherencia Semántica: El RLVR proporcionó el impulso más significativo a las puntuaciones Semánticas (Nivel 3). El modelo SFT+RLVR logró una puntuación semántica del 14.4% en comparación con el 8.5% del modelo base, indicando que el RL ayuda al modelo a adherirse a las reglas del juego más allá de la sintaxis.
• Desafíos de Información Imperfecta: Todos los modelos, incluido GPT-4o, tuvieron dificultades con la consistencia de Información (Nivel 4) en juegos de información imperfecta. El mejor modelo Qwen (SFT+RLVR) logró solo un 5.3%, en comparación con el 14.0% de GPT-4o.
• Limitaciones Observadas:
  • Sobreajuste en SFT: En el juego dentro de distribución Gin Rummy (no presente en el conjunto de entrenamiento), el SFT en realidad disminuyó el rendimiento (del 49.7% al 31.4%) debido a que el modelo aplicó ciegamente plantillas de comprensión de listas aprendidas durante el entrenamiento, introduciendo errores de sintaxis.
  • Límites del Razonamiento: Los modelos a menudo insertaron comentarios reconociendo la dificultad de implementar la lógica de resample_history, optando por esqueletos simplificados (por ejemplo, devolver la última acción) en lugar de generar caminos de razonamiento complejos. Esto sugiere que el espacio latente del modelo base puede carecer de las capacidades de razonamiento necesarias de "Teoría de la Mente" para estas tareas.

Significado y Afirmaciones

El artículo afirma que la generación de GameCWM puede ser parcialmente destilada en LLMs ligeros mediante post-entrenamiento. El significado principal de este trabajo es la demostración de que:

1. Eficiencia de Recursos: Es posible reducir la dependencia de modelos de frontera costosos y bucles de refinamiento iterativos en tiempo de prueba desplazando la carga computacional al post-entrenamiento.
2. Necesidad de Dos Etapas: Una combinación de SFT (para estructura/sintaxis) y RLVR (para adherencia semántica) es más efectiva que cualquiera de los métodos por separado.
3. Escalabilidad: El enfoque ofrece un camino escalable hacia la generación automática de entornos a partir de lenguaje natural, haciendo los GameCWM accesibles para un rango más amplio de aplicaciones.

Sin embargo, los autores permanecen modestos sobre el estado actual de la tecnología. Afirman explícitamente que el razonamiento semántico complejo y el manejo de información imperfecta siguen siendo desafiantes y exceden la capacidad actual tanto de los modelos ligeros como de la tubería de entrenamiento. El trabajo no afirma haber resuelto el problema de la generación perfecta de GameCWM, sino que proporciona una alternativa viable y más eficiente a los enfoques actuales dependientes de modelos de frontera.