Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

Resumo Técnico: Dificuldade Matemática Humana vs. Máquina no Project Euler

Enunciado do Problema
Este artigo investiga como o esforço e a probabilidade de sucesso dos sistemas de IA de fronteira escalam em relação à dificuldade humana em problemas de matemática computacional. Motivado por uma proposta de Timothy Gowers sobre a escala de algoritmos de busca de provas, os autores buscam determinar se os sistemas de IA escalam pior do que os humanos à medida que a dificuldade da tarefa aumenta. Especificamente, eles testam a hipótesia de que, embora as máquinas possam ser mais rápidas em tarefas simples, seu tempo de execução esperado cresce muito mais rapidamente do que o de matemáticos humanos conforme a complexidade do problema (medida pelo comprimento da prova ou trajetória da solução) aumenta. O estudo utiliza o Project Euler, uma plataforma de problemas de matemática computacional onde os tempos de resolução humana são registrados publicamente, e o benchmark MathArena, que fornece extensos dados de tentativas de IA em 50 problemas recentes (943–992) e 26 configurações de modelos.

Metodologia
Os autores operacionalizam a "dificuldade humana" ($t_{human}$) como a média geométrica dos cinco tempos de resolução humana mais rápidos registrados para cada problema, servindo como um proxy para o tempo de trabalho contínuo de humanos fortes. O "esforço da máquina" ($t_{machine}$) é definido não pelo tempo de relógio de parede, mas pelo número total de tokens gerados para alcançar uma resposta bem-sucedida, calculado como o total de tokens em todas as tentativas dividido pelo número de tentativas bem-sucedidas.

O estudo emprega três estruturas analíticas distintas:

1. Hipótese T (Modelo de Escala de Tempo): Testa uma relação de lei de potência $t_{machine} = a \cdot t_{human}^b$. O expoente $b$ indica o comportamento de escala: $b > 1$ implica que as máquinas escalam pior que os humanos (o esforço cresce superlinearmente com a dificuldade), enquanto $b < 1$ implica que as máquinas escalam melhor. Os ajustes são realizados em pares modelo-problema com pelo menos 50% de taxas de sucesso empíricas para evitar a dominância de casos de falha.
2. Hipótese P (Modelo de Sucesso Exponencial): Testa se a probabilidade de sucesso ($p_{success}$) decai exponencialmente com o tempo de tarefa humana: $p_{success} = p_{model}^{t_{task}}$. Isso é modelado como uma relação linear entre $\log p_{success}$ e $t_{human}$, restrita a passar por $(0, 1)$. Os dados são agregados em bins de quantis para ajustar a taxa de decaimento.
3. Horizontes Estilo METR: Ajusta uma curva logística à probabilidade de sucesso como função do tempo humano para extrair horizontes específicos de capacidade: $h_{50}$ (tempo humano para 50% de sucesso) e $h_{80}$ (tempo humano para 80% de sucesso). Esta abordagem é adaptada do benchmark de comprimento de tarefa METR [KWB+25].

O conjunto de dados compreende 3.840 tentativas em 26 configurações de modelos (25 incluídas nos ajustes finais após a exclusão de uma configuração não representativa). A incerteza estatística é quantificada usando reamostragem bootstrap não paramétrica (1.000 amostras) para gerar intervalos de confiança de 90% para os parâmetros ajustados.

Resultados Principais

• Reversão da Previsão de Escala (Hipótese T): Contrariando a previsão inicial de que as máquinas escalariam pior ($b > 1$), o estudo descobre que, para 20 dos 25 modelos com ajustes utilizáveis, o expoente $b < 1$. Isso inclui os modelos base mais fortes de alta cobertura: Claude Opus 4.6 ($b=0.722$), GPT-5.4 (xhigh) ($b=0.644$) e Gemini 3.1 Pro Preview ($b=0.467$). Os intervalos de confiança de 90% do bootstrap para esses principais modelos situam-se inteiramente abaixo de 1. Isso sugere que, dentro desta operacionalização, o custo de tokens por resposta bem-sucedida cresce de forma sublinear com a dificuldade humana, significando que a eficiência relativa das máquinas melhora à medida que os problemas se tornam mais difíceis, pelo menos para problemas onde o modelo é moderadamente confiável.
• Decaimento Exponencial de Sucesso (Hipótese P): Os dados mostram suporte empírico moderado para o modelo de decaimento exponencial. O $R^2$ mediano por bin através de 22 configurações bem cobertas é 0,92, com muitos modelos de topo excedendo 0,95. As meias-vidas ajustadas (o tempo humano no qual a probabilidade de sucesso cai para 50%) variam de 0,12 horas (Gemini 2.5 Pro) a 4,07 horas (GPT-5.4 xhigh).
• Horizontes de Capacidade: As configurações de modelos base mais fortes atingem horizontes de 50% de sucesso ($h_{50}$) entre aproximadamente 2,5 e 4,3 horas de trabalho humano. Wrappers agentes (ex: GPT-5 Euler Agent, Grok 4 Fast Euler Agent) demonstram horizontes substancialmente maiores do que seus modelos base, embora estas comparações sejam observacionais.
• Trajetória de Progresso: Um ajuste log-linear através da fronteira de estado da arte (SOTA) dos modelos base ao longo do período de ~345 dias do conjunto de dados implica um tempo de duplicação de aproximadamente 75 dias para o horizonte $h_{50}$, aumentando de 0,09 horas para 4,28 horas.

Significância e Alegações
O artigo afirma que suas descobertas desafiam a narrativa específica de "eficiência de busca" derivada do enquadramento de Gowers, que previa que os sistemas de IA ficariam atrás dos humanos em problemas difíceis devido aos custos de escala de busca rapidamente crescentes. Em vez disso, os resultados indicam que, no Project Euler, os modelos de fronteira escalam melhor do que solvers humanos fortes em termos de custo de tokens por sucesso conforme a dificuldade aumenta.

No entanto, os autores são cautelosos quanto às implicações. Eles observam que, embora a escala seja favorável, a confiabilidade absoluta desses sistemas permanece limitada; os modelos atingem o limiar de 50% de sucesso em tempos de trabalho humano de apenas algumas horas, muito aquém do esforço sustentado que humanos podem aplicar a um único problema. Os autores propõem cinco explicações especulativas para a discrepância entre a escala favorável no Project Euler e a falta de aceleração visível na matemática de nível de pesquisa:

1. Implementação vs. Pensamento: Os problemas do Project Euler pesam fortemente a implementação (codificação), que os LLMs lidam de forma mais rápida que os humanos, potencialmente mascarando o raciocínio matemático mais lento.
2. Degradação de Longa Trajetória: A probabilidade de sucesso decai ao longo do tempo devido a erros acumulados ou "deterioração de contexto" (context rot), limitando o horizonte de raciocínio coerente.
3. Limites de Construção de Ferramentas: LLMs são excelentes no uso de ferramentas padrão, mas podem carecer da capacidade de inventar novos frameworks matemáticos necessários para a pesquisa.
4. Lacunas de Andaime (Scaffolding): Arquiteturas atuais carecem da memória persistente e dos fluxos de trabalho de longo horizonte necessários para a pesquisa.
5. Sobrepensamento (Overthinking): Modelos podem incorrer em custos de tokens constantes em problemas fáceis (autoverificação), achatando artificialmente a inclinação da escala.

O artigo conclui que as três análises (escala, decaimento e horizontes) fornecem uma imagem coerente: o fator limitante para estes sistemas neste benchmark é a confiabilidade (decaimento exponencial de sucesso) e não a eficiência de busca (escala sublinear de esforço). As descobertas são apresentadas como resumos descritivos das capacidades atuais em um benchmark específico, não como leis universais do progresso da IA.