Resumen Técnico: La Capacidad del Modelo Domina sobre la Optimización en Tiempo de Inferencia

1. Planteamiento del Problema

En el contexto de la competencia de matemáticas AIMO 3 (Olimpiada Matemática de IA), el enfoque estándar para mejorar el razonamiento matemático en Grandes Modelos de Lenguaje (LLM) es el voto mayoritario (Self-Consistency). Este método se basa en el Teorema del Jurado de Condorcet: si la precisión por intento ($p$) es mayor a 0.5 y los errores son independientes, aumentar el número de intentos ($N$) debería converger a la respuesta correcta.

Sin embargo, en la práctica, los errores de los LLM suelen estar correlacionados. Un mismo modelo con el mismo prompt tiende a cometer los mismos errores sistemáticos, independientemente de la semilla aleatoria. Esto reduce drásticamente el tamaño de la muestra efectiva ($N_{eff}$).

• Hipótesis de trabajo: Asignar estrategias de razonamiento estructuralmente diferentes (diversidad de prompts) a diferentes votantes debería descorrelacionar los errores y mejorar el rendimiento.
• Objetivo del estudio: Probar si un "Mezclador de Prompts Diversos" (Diverse Prompt Mixer) puede superar a un sistema base optimizado en un entorno con restricciones estrictas de hardware (una sola GPU H100 80GB) y tiempo (5 horas para 50 problemas de nivel IMO).

2. Metodología y Arquitectura del Sistema

2.1 Configuración Experimental

• Hardware: Una única GPU NVIDIA H100 80 GB.
• Modelo Principal: gpt-oss-120b (116.8B parámetros totales, 5.1B activos vía MoE), servido localmente con vLLM y cuantización FP8.
• Pipeline de Inferencia:
  1. Asignación de Presupuesto: Tiempo dividido equitativamente entre los problemas restantes.
  2. Intentos Paralelos: $N=8$ hilos de inferencia concurrentes.
  3. Razonamiento con Herramientas: Generación y ejecución de código Python (SymPy, NumPy, mpmath) en un entorno sandbox persistente.
  4. Parada Temprana: Si 4 de 8 intentos coinciden en una respuesta no trivial, se cancelan los restantes.
  5. Votación Ponderada por Entropía: La respuesta final se selecciona basándose en la confianza (entropía baja = mayor peso).

2.2 Estrategia de Diversidad (Diverse Prompt Mixer)

Se diseñaron cuatro estrategias de prompts sistémicos distintos para probar la hipótesis de descorrelación:

1. Original: Razonamiento paso a paso estándar (exploración, planificación, verificación).
2. Casos Pequeños Primero: Enumerar $n=1, 2, 3...$, encontrar patrones y conjeturar.
3. Trabajar hacia Atrás: Listar restricciones, reducir el espacio de búsqueda y construir la solución.
4. Clasificar y Resolver: Identificar el tipo de problema y aplicar técnicas canónicas.

Se probaron múltiples configuraciones de mezcla (ej. 5 Original + 1 de cada otra, o mezclas equitativas 2+2+2+2) y estrategias aisladas (8 intentos con la misma estrategia no base).

2.3 Validación Cruzada

El estudio se replicó en dos modelos adicionales para descartar efectos específicos del modelo:

• Qwen3.5-35B-A3B: 35B totales, 3B activos (MoE).
• Nemotron-Super-120B: 120B totales, 12B activos (Híbrido Mamba-2 + MoE).

3. Contribuciones Clave y Hallazgos

3.1 La Diversidad de Prompts No Funciona (y a veces daña)

El resultado central es que la diversidad de prompts estructurales no mejora el rendimiento en este contexto.

• Resultados: Todas las configuraciones de mezcla (Conservadora, Agresiva, Equitativa) obtuvieron puntuaciones iguales o inferiores al sistema base (Original).
• Análisis: Reemplazar prompts originales por estrategias diversas nunca ayudó y, en la mayoría de los casos, redujo la precisión por intento ($\bar{p}$). La estrategia "Code-first" mostró un pico inicial (41/50), pero falló en repeticiones (38 y 34), promediando 37.7, por debajo de la línea base.
• Conclusión: Las estrategias diversas introducen un sesgo que reduce la precisión individual más de lo que reducen la correlación de errores.

3.2 La Muestreo de Alta Temperatura ya Proporciona Diversidad Suficiente

El estudio demuestra que a una temperatura alta ($T=1.0$), el modelo ya explora caminos de razonamiento suficientemente diferentes incluso con el mismo prompt.

• Correlación de Errores: La correlación par a par ($\rho$) medida entre intentos fue negativa o cercana a cero ($\hat{\rho} \approx -0.11$ a $-0.26$). Esto significa que cuando el modelo se equivoca, las respuestas incorrectas tienden a dispersarse en valores distintos en lugar de agruparse.
• Implicación: No hay "margen de correlación" que explotar. Añadir diversidad de prompts sobre una temperatura alta es redundante y contraproducente.

3.3 La Capacidad del Modelo es el Factor Dominante

La brecha de rendimiento entre modelos de diferentes capacidades es órdenes de magnitud mayor que cualquier ganancia obtenida por optimización en tiempo de inferencia.

• Datos:
  • gpt-oss-120b (5.1B activos): ~39.7/50 (Precisión $\hat{p} \approx 0.69$).
  • Nemotron-Super-120B (12B activos) y Qwen3.5 (3B activos): ~23/50 (Precisión $\hat{p} \approx 0.46$).
• Análisis de Brecha: Existe una brecha de capacidad de 17 puntos entre el mejor modelo y los siguientes. Todas las optimizaciones de prompts probadas variaron la puntuación en un rango de $\pm 2$ puntos.
• Conclusión: Ninguna técnica de inferencia puede cerrar la brecha de capacidad fundamental de un modelo.

3.4 La Estrategia Óptima es la "Lotería"

Dado que la optimización de prompts no mejora la media ni la cola de la distribución de puntuaciones de manera significativa, la estrategia óptima para competiciones con límite de tiempo es:

1. Usar el modelo más capaz que quepa en el hardware.
2. Mantener la temperatura alta ($T=1.0$).
3. Gastar el presupuesto de envíos en repetir la configuración base (múltiples intentos de la misma configuración) en lugar de intentar ingeniería de prompts compleja.
   • La probabilidad de alcanzar una puntuación alta (ej. 44/50) es casi idéntica para la línea base y para las mezclas, pero la línea base tiene una media más alta.

4. Significado e Implicaciones

Este trabajo desafía la noción de que la ingeniería de prompts compleja o la mezcla de estrategias es la clave para escalar el razonamiento matemático en LLMs actuales.

1. Límites de la Optimización en Tiempo de Inferencia: Una vez que un sistema está razonablemente configurado (alta temperatura, uso de herramientas), los retornos de la optimización adicional son planos.
2. Importancia del Entrenamiento: La falta de robustez ante cambios de formato de instrucción sugiere que los modelos actuales están sobreajustados a formatos de entrenamiento específicos (CoT, TIR). Para que la diversidad de prompts funcione en el futuro, se requiere una intervención en tiempo de entrenamiento (ej. datos con formatos mixtos o MOF), no en tiempo de inferencia.
3. Guía para Competencias: Para competiciones como AIMO, el éxito depende de la capacidad bruta del modelo y de la gestión eficiente de recursos (enviar múltiples veces la mejor configuración base), no de la sofisticación del prompt.

Conclusión Final: En el umbral de la capacidad actual para problemas de nivel IMO, "la capacidad del modelo domina". Las optimizaciones en tiempo de inferencia no pueden compensar una brecha de capacidad significativa, y la diversidad de prompts, lejos de ayudar, a menudo degrada el rendimiento al introducir ruido en la precisión individual.