Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

Resumen Técnico: Dificultad Matemática Humana vs. Máquina en Project Euler

Planteamiento del Problema
Este artículo investiga cómo el esfuerzo y la probabilidad de éxito de los sistemas de IA de vanguardia escalan en relación con la dificultad humana en problemas de matemáticas computacionales. Motivado por una propuesta de Timothy Gowers sobre el escalado de los algoritmos de búsqueda de pruebas, los autores buscan determinar si los sistemas de IA escalan peor que los humanos a medida que aumenta la dificultad de la tarea. Específicamente, prueban la hipótesis de que, si bien las máquinas pueden ser más rápidas en tareas simples, su tiempo de ejecución esperado crece mucho más rápido que el de los matemáticos humanos a medida que aumenta la complejidad del problema (medida por la longitud de la prueba o la trayectoria de la solución). El estudio utiliza Project Euler, una plataforma de problemas de matemáticas computacionales donde los tiempos de resolución humana están registrados públicamente, y el benchmark MathArena, que proporciona extensos datos de intentos de IA a través de 50 problemas recientes (943–992) y 26 configuraciones de modelos.

Metodología
Los autores operacionalizan la "dificultad humana" ($t_{human}$) como la media geométrica de los cinco tiempos de resolución humana más rápidos para cada problema, sirviendo como un proxy del tiempo de trabajo continuo de un humano fuerte. El "esfuerzo de la máquina" ($t_{machine}$) se define no por el tiempo de reloj, sino por el número total de tokens generados para lograr una respuesta exitosa, calculado como el total de tokens en todos los intentos dividido por el número de intentos exitosos.

El estudio emplea tres marcos analíticos distintos:

1. Hipótesis T (Modelo de Escalamiento de Tiempo): Prueba una relación de ley de potencia $t_{machine} = a \cdot t_{human}^b$. El exponente $b$ indica el comportamiento de escalado: $b > 1$ implica que las máquinas escalan peor que los humanos (el esfuerzo crece superlinealmente con la dificultad), mientras que $b < 1$ implica que las máquinas escalan mejor. Los ajustes se realizan en pares modelo-problema con al menos un 50% de tasas de éxito empíricas para evitar el dominio de los casos de fallo.
2. Hipótesis P (Modelo de Éxito Exponencial): Prueba si la probabilidad de éxito ($p_{success}$) decae exponencialmente con el tiempo de la tarea humana: $p_{success} = p_{model}^{t_{task}}$. Esto se modela como una relación lineal entre $\log p_{success}$ y $t_{human}$, restringida para pasar por $(0, 1)$. Los datos se agregan en conteneds (bins) de cuantiles para ajustar la tasa de decaimiento.
3. Horizontes tipo METR: Ajusta una curva logística a la probabilidad de éxito en función del tiempo humano para extraer horizontes de capacidad específicos: $h_{50}$ (tiempo humano al 50% de éxito) y $h_{80}$ (tiempo humano al 80% de éxito). Este enfoque es una adaptación del benchmark de longitud de tarea de METR [KWB+25].

El conjunto de datos comprende 3,840 intentos a través de 26 configuraciones de modelos (25 incluidas en los ajustes finales tras excluir una configuración no representativa). La incertidumbre estadística se cuantifica mediante un remuestreo bootstrap no paramétrico (1,000 muestras) para generar intervalos de confianza del 90% para los parámetros ajustados.

Resultados Clave

• Reversión de la Predicción de Escalamiento (Hipótesis T): Contrariamente a la predicción inicial de que las máquinas escalarían peor ($b > 1$), el estudio encuentra que para 20 de los 25 modelos con ajustes utilizables, el exponente es $b < 1$. Esto incluye los modelos base más fuertes de alta cobertura: Claude Opus 4.6 ($b=0.722$), GPT-5.4 (xhigh) ($b=0.644$) y Gemini 3.1 Pro Preview ($b=0.467$). Los intervalos de confianza del 90% de bootstrap para estos modelos superiores se sitúan enteramente por debajo de 1. Esto sugiere que, dentro de esta operacionalización, el costo de tokens por respuesta exitosa crece de forma sublineal con la dificultad humana, lo que significa que la eficiencia relativa de las máquinas mejora a medida que los problemas se vuelan más difíciles, al menos para problemas donde el modelo es moderadamente fiable.
• Decaimiento Exponencial del Éxito (Hipótesis P): Los datos muestran un apoyo empírico moderado para el modelo de decaimiento exponencial. La $R^2$ mediana a nivel de contenedor a través de 22 configuraciones bien cubiertas es 0.92, con muchos modelos superiores excediendo 0.95. Las vidas medias ajustadas (el tiempo humano en el que la probabilidad de éxito cae al 50%) oscilan entre 0.12 horas (Gemini 2.5 Pro) y 4.07 horas (GPT-5.4 xhigh).
• Horizontes de Capacidad: Las configuraciones de modelos base más fuertes alcanzan horizontes de éxito del 50% ($h_{50}$) entre aproximadamente 2.5 y 4.3 horas de trabajo humano. Los envoltorios (wrappers) agénticos (por ejemplo, GPT-5 Euler Agent, Grok 4 Fast Euler Agent) demuestran horizontes sustancialmente mayores que sus modelos base, aunque estas comparaciones son observacionales.
• Trayectoria de Progreso: Un ajuste log-lineal a través de la frontera del estado del arte (SOTA) de los modelos base durante el periodo de ~345 días del conjunto de datos implica un tiempo de duplicación de aproximadamente 75 días para el horizonte $h_{50}$, aumentando de 0.09 horas a 4.28 horas.

Significancia y Reivindicaciones
El artículo afirma que sus hallazgos desafían la narrativa específica de "eficiencia de búsqueda" derivada del marco de Gowers, que predecía que los sistemas de IA se quedarían atrás respecto a los humanos en problemas difíciles debido al rápido escalado de los costos de búsqueda. En su lugar, los resultados indican que en Project Euler, los modelos de vanguardia escalan mejor que los resolutores humanos fuertes en términos de costo de tokens por éxito a medida que aumenta la dificultad.

Sin embargo, los autores son cautelosos sobre las implicaciones. Señalan que, si bien el escalado es favorable, la fiabilidad absoluta de estos sistemas sigue siendo limitada; los modelos alcanzan el umbral del 50% de éxito en tiempos de trabajo humano de solo unas pocas horas, muy lejos del esfuerzo sostenido que los humanos pueden aplicar a un solo problema. Los autores proponen cinco explicaciones especulativas para la discrepancia entre el escalado favorable en Project Euler y la falta de aceleración visible en la investigación matemática de alto nivel:

1. Implementación vs. Pensamiento: Los problemas de Project Euler ponderan fuertemente la implementación (codificación), la cual los LLM manejan más rápido que los humanos, lo que podría enmascarar un razonamiento matemático más lento.
2. Degradación de Trayectorias Largas: La probabilidad de éxito decae con el tiempo debido a errores acumulados o "putrefacción del contexto" (context rot), limitando el horizonte de un razonamiento coherente.
3. Límites en la Construcción de Herramientas: Los LLM sobresalen en el uso de herramientas estándar, pero pueden carecer de la capacidad para inventar los nuevos marcos matemáticos requeridos para la investigación.
4. Brechas de Andamiaje (Scaffolding): Las arquitecturas actuales carecen de la memoria persistente y los flujos de trabajo de largo horizonte necesarios para la investigación.
5. Sobrepensamiento: Los modelos pueden incurrir en costos de tokens constantes en problemas fáciles (autoverificación), lo que aplana artificialmente la pendiente de escalado.

El artículo concluye que los tres análisis (escalado, decaimiento y horizontes) proporcionan una imagen coherente: el factor limitante para estos sistemas en este benchmark es la fiabilidad (decaimiento exponencial del éxito) más que la eficiencia de búsqueda (escalado sublineal del esfuerzo). Los hallazgos se presentan como resúmenes descriptivos de las capacidades actuales en un benchmark específico, no como leyes universales del progreso de la IA.