Resumen Técnico: GENSTRAT

Enunciado del Problema

Los modelos de lenguaje grandes (LLM) se despliegan cada vez más como agentes económicos en mercados, subastas y entornos de puja. Sin embargo, anticipar su comportamiento en despliegues específicos es difícil. Las evaluaciones existentes de razonamiento estratégico se basan en juegos canónicos fijos (por ejemplo, variantes de Poker, Diplomacy, Avalon). Estas evaluaciones enfrentan dos limitaciones principales:

1. Saturación y Contaminación: A medida que mejoran las capacidades de los modelos, el rendimiento en suites fijas puede saturarse. Además, la proximidad de estos juegos canónicos a los datos de entrenamiento dificulta descartar la contaminación del corpus.
2. Generalización Limitada: Reducir la competencia estratégica al rendimiento en un pequeño conjunto de juegos fijos limita la capacidad de un despliegue para generalizar a entornos estratégicos novedosos y desordenados, donde las estructuras de información y las variaciones difieren significativamente de la evaluación.

Metodología

Los autores presentan GENSTRAT, un marco de evaluación basado en entornos estratégicos generados proceduralmente para abordar estas limitaciones.

1. Generación Procedural de Juegos

GENSTRAT utiliza un generador para Juegos de Apuestas Generalizados (GBG), definidos como juegos de forma extensiva de dos jugadores, suma cero, con información imperfecta.

• Estructura: Los juegos consisten en mazos, manos privadas, pilas de cartas, fases estructuradas (apuestas, movimientos simultáneos, subastas, observación) y ramas condicionales.
• Aleatorización: El motor aleatoriza tanto la composición estructural (grafos de fases) como las características superficiales (rangos, palos, tamaños de mano, órdenes de apuesta).
• Control de Calidad: Los juegos generados pasan por simulaciones de Monte Carlo con agentes que juegan al azar para garantizar su jugabilidad. Los criterios de aceptación incluyen límites en el promedio de movimientos por jugador, tasas de activación de fases y la eliminación de ramas muertas.
• Conjunto de Datos: De 12.351 semillas candidatas, se generó un conjunto de 2.000 juegos aceptados.

2. Ejes de Complejidad y Construcción de la Evaluación

Para caracterizar la complejidad del juego y el rendimiento del modelo, los autores definen seis ejes derivados de simulaciones de Monte Carlo:

1. Espacio de Estados: Logaritmo de los estados de información observables distintos.
2. Profundidad Temporal: La medida en que las decisiones tempranas afectan las recompensas posteriores.
3. Sensibilidad a la Información: La fuerza con la que la acción óptima depende de la información privada.
4. Modelado del Oponente: El grado en que la mejor respuesta cambia con variaciones en la política del oponente.
5. Riesgo: La compensación entre el valor esperado y el riesgo de pérdida.
6. Fragilidad: La sensibilidad de las recompensas a pequeñas perturbaciones en la política.

De un conjunto de 2.000 juegos, se seleccionó una evaluación de 50 juegos utilizando Muestreo del Punto Más Lejano (FPS) en el espacio de incrustación de seis ejes para garantizar una cobertura amplia del paisaje de complejidad.

3. Protocolo de Evaluación

• Modelos: Se evaluaron nueve LLM de vanguardia y de peso abierto, incluyendo gpt-5-4-high, gemini-3.1-pro-preview, claude-sonnet-4-6-max y otros.
• Diseño del Torneo: Un torneo cara a cara que involucró más de 36.000 partidas. Para cada tripleta (Modelo A, Modelo B, Juego), se jugaron 40 partidas, ocupando cada modelo cada puesto (Alice/Bob) 20 veces para controlar la asimetría de los puestos.
• Estimación de Fortaleza: La fortaleza del modelo ($\hat{\alpha}$) se estima mediante un modelo aditivo de comparación pareada sobre márgenes de victoria firmados (fichas por juego), restringido a sumar cero a través de los modelos.

4. Métricas Diagnósticas

Más allá de una sola clasificación, el marco introduce:

• Perfiles de Capacidad: Regresiones OLS por modelo de la fortaleza por juego frente a los seis ejes de complejidad. Esto descompone la fortaleza general en competencias estratégicas específicas (por ejemplo, rendimiento en juegos de alto riesgo frente a juegos de alta fragilidad).
• Aserrado Local ($J_m$): Una medida de la suavidad de la superficie de rendimiento de un modelo. Cuantifica cuánto fluctúa el margen de victoria de un modelo entre juegos estratégicamente similares (vecinos más cercanos en el espacio de ejes). Un alto aserrado indica un rendimiento impredecible en juegos ligeramente diferentes a la evaluación.

Resultados Clave

• Clasificación General: Los modelos más nuevos, grandes y con capacidad de razonamiento obtuvieron generalmente puntuaciones más altas. Los tres primeros modelos fueron gpt-5-4-high (+0,85 fichas/partida), gemini-3.1-pro-preview (+0,83) y claude-sonnet-4-6-max (+0,64). La clasificación fue estable en divisiones de exclusión de un juego y de terciles de complejidad.
• Perfiles de Capacidad Divergentes: Modelos con fortaleza general casi idéntica exhibieron perfiles cualitativamente diferentes:
  • gemini-3.1-pro-preview ganó terreno en el conjunto más amplio de ejes, incluido el espacio de estados y el modelado del oponente.
  • claude-sonnet-4-6-max obtuvo la mayor parte de su ventaja específicamente de la fragilidad, mostrando una pendiente pronunciada en juegos de alta fragilidad pero un rendimiento más plano en otros lugares.
  • gpt-5-4-high mostró un rendimiento sólido en el espacio de estados y la sensibilidad a la información, pero fue notablemente localmente aserrado (alta $J_m$), lo que sugiere volatilidad en contextos de juego similares.
• Hallazgos sobre el Aserrado: llama-3.3-70b-together fue el modelo más localmente aserrado (menor suavidad), mientras que deepseek-v3.1-together fue el más suave. Se observó un alto aserrado incluso en modelos de primer nivel, lo que indica que la fortaleza promedio no garantiza un rendimiento consistente a través de la distribución procedural.
• Ablación de Razonamiento: Aumentar el presupuesto de razonamiento (modo de pensamiento) produjo estimaciones puntuales positivas para los retornos del margen de fichas en las cuatro familias de modelos probadas (gpt-5, claude, gemini-3.1-pro, gemini-2.5-pro). Dos familias mostraron ganancias estadísticamente significativas, mientras que las demás carecían de potencia por el tamaño de la muestra en lugar de mostrar efectos nulos.

Significado y Afirmaciones

El artículo argumenta que la clasificación general por sí sola es insuficiente para las decisiones de despliegue. La capacidad estratégica de un modelo se entiende mejor como un perfil completo de rendimiento a través de diferentes regiones del espacio de juegos procedurales, combinado con su nivel de suavidad local (aserrado).

• Relevancia para el Despliegue: El perfil de capacidad y la medida de aserrado proporcionan un diagnóstico que la clasificación general no puede ofrecer. Por ejemplo, un modelo con alta fortaleza general pero alto aserrado puede ser menos fiable en un entorno de despliegue que se encuentra justo fuera de la distribución de la evaluación.
• Evaluación Permanente: Dado que el generador puede extraer juegos frescos bajo demanda desde la misma distribución, la evaluación resiste la saturación y la contaminación. Puede escalar con la frontera de modelos relajando los límites de complejidad.
• Generalización: El marco va más allá de los juegos canónicos fijos para evaluar cómo los modelos generalizan a entornos estratégicos novedosos, abordando la "desorden" de los despliegues reales de agentes económicos.

Los autores concluyen que GENSTRAT replantea la evaluación del razonamiento estratégico en torno a una distribución generada proceduralmente y una descomposición multieje, permitiendo una comprensión más matizada de las fortalezas, debilidades y estabilidad de los modelos.