💻 computer science

Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis

Cet article analyse 3 840 tentatives de 26 modèles d'IA sur 50 problèmes de Project Euler pour démontrer que l'effort des machines suit une progression sous-linéaire par rapport à la difficulté humaine (contredisant les prédictions d'une dégradation de la mise à l'échelle), tandis que la probabilité de succès suit un modèle de décroissance exponentielle, estimant finalement un temps de doublement de 75 jours pour les horizons de performance de l'état de l'art.

Auteurs originaux : David Holmes, Johannes Schmitt

Publié 2026-06-23

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : David Holmes, Johannes Schmitt

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Une course contre la montre et la complexité

Imaginez Project Euler comme une immense salle de sport publique dédiée aux problèmes mathématiques. Des personnes (et maintenant, des IA) s'inscrivent pour résoudre ces énigmes. La salle de sport déclenche un chronomètre pour les humains les plus rapides, enregistrant exactement le temps qu'ils mettent pour trouver la bonne réponse.

Les auteurs de cet article voulaient répondre à une question simple : À mesure que les problèmes mathématiques deviennent difficiles, est-ce que les systèmes d'IA s'en sortent moins bien à un rythme plus rapide que les humains ?

Il existait une théorie (proposée par le mathématicien Timothy Gowers) qui suggérait que l'IA serait comme un sprinteur qui s'essouffle rapidement. L'idée était : « L'IA est rapide sur les sprints faciles, mais à mesure que la course devient longue et difficile, l'effort de l'IA explose et elle est distancée par les humains. »

Les auteurs ont testé cette théorie en utilisant les données de 50 problèmes mathématiques récents et de 26 modèles d'IA différents. Voici ce qu'ils ont trouvé.

1. Le test de l'« Effort » : L'IA se fatigue-t-elle plus vite ?

La Théorie : Ils pensaient que pour chaque heure passée par un humain à résoudre un problème difficile, une IA aurait besoin de passer beaucoup plus d'une heure (en termes de puissance de calcul informatique, mesurée en « tokens » ou mots générés). Ils s'attendaient à ce que l'effort de l'IA monte en flèche à mesure que le problème devient difficile.

L'Analogie : Imaginez un humain et un robot montant une montagne.

L'Attente : Le robot est excellent au pied de la montagne, mais à mesure que la pente devient raide, le robot doit faire 100 pas pour chaque pas de l'humain.
La Réalité : Les auteurs ont trouvé l'inverse. Pour les modèles d'IA les plus puissants, à mesure que la montagne devenait plus raide, le robot devenait en fait plus efficace par rapport à l'humain.
- Si un humain met 1 heure pour résoudre un problème difficile, l'IA peut mettre 2 heures de travail informatique.
- Si un humain met 10 heures, l'IA ne mettra peut-être que 15 heures de travail informatique.
- Le Résultat : L'écart ne s'est pas creusé ; il s'est en fait réduit. L'IA a mieux progressé (scaled) que les humains sur ces problèmes spécifiques. Les auteurs appellent cette découverte $b < 1$ , ce qui signifie essentiellement que « l'IA gère la difficulté mieux que prévu ».

Pourquoi ? Les auteurs spéculent que ces problèmes mathématiques comportent beaucoup d'étapes de « codage » ou d'« implémentation ». Les humains passent beaucoup de temps à taper du code et à déboguer. L'IA est incroyablement rapide pour taper et déboguer. Ainsi, même si l'IA est lente dans la partie « réflexion », sa super-vitesse dans la partie « exécution » rend le temps total très efficace.

2. Le test de la « Fiabilité » : L'IA abandonne-t-elle simplement ?

La Théorie : Bien que l'IA puisse être efficace, peut-être se perd-elle ou échoue-t-elle plus souvent quand les choses deviennent difficiles. Les auteurs ont testé si la probabilité de succès chute de manière prévisible.

L'Analogie : Imaginez marcher dans une forêt sombre.

La Théorie : Chaque pas que vous faites comporte une petite chance constante de trébucher et de tomber. Plus le chemin est long (plus le problème est difficile), plus vous avez de chances de trébucher.
La Réalité : Les données correspondent parfaitement à ce modèle. Le taux de réussite de l'IA chute selon une courbe fluide et prévisible.
- Si le problème prend 1 heure à un humain, l'IA réussit environ 90 % du temps.
- Si le problème prend 4 heures à un humain, le taux de réussite de l'IA tombe à environ 50 %.
- Le Résultat : L'IA n'échoue pas parce qu'elle « manque d'énergie » ou qu'elle « cherche dans la mauvaise direction ». Elle échoue parce qu'elle est peu fiable sur de longues périodes. C'est comme un coureur qui est rapide, mais qui continue de trébucher sur ses propres lacets si la course dure trop longtemps.

3. Le test de l'« Horizon » : Combien de temps l'IA peut-elle tenir ?

Les auteurs ont calculé un « Horizon à 50 % » ( $h_{50}$ ). Il s'agit du point où l'IA a 50/50 de chances de résoudre le problème.

La Découverte : Les meilleurs modèles d'IA de cette étude atteignent le seuil de réussite de 50 % lorsque le temps humain est d'environ 2,5 à 4,3 heures.
La Métaphore : Pensez à l'IA comme une lampe de poche. Elle brille intensément pendant un certain temps, mais si l'humain doit marcher pendant 10 heures pour résoudre un problème, la lumière de l'IA (sa capacité à rester sur la bonne voie) s'est déjà éteinte à la 4ème heure.
La Tendance : Les auteurs ont suivi la vitesse à laquelle ces « lampes de poche » deviennent plus brillantes. Ils ont constaté que la meilleure IA améliore son « endurance » à un rythme où elle double sa capacité environ tous les 75 jours.

4. Le tournant de l'« Agent » : Donner une équipe à l'IA

L'article examine également les modèles « agentiques ». Ce sont des IA qui ne se contentent pas de répondre une seule fois ; elles disposent d'outils pour décomposer le problème, réessayer et vérifier leur travail (comme un humain utilisant une calculatrice et un brouillon).

Le Résultat : Ces « équipes d'IA » pouvaient résoudre des problèmes qui prennent plus de temps aux humains (jusqu'à 1,7 heure de temps humain pour le seuil de 50 %, contre 0,3 heure pour l'IA de base).
Le Bémol : Même avec ces outils, elles ne pouvaient toujours pas égaler les problèmes les plus difficiles que les meilleurs humains résolvent en plus de 10 heures. Elles ont simplement repoussé un peu plus la « limite d'endurance ».

Résumé : Qu'est-ce que cela signifie ?

L'article conclut que la vieille peur — celle que l'IA va simplement « tomber en panne d'essence » et devenir inefficace à mesure que les problèmes deviennent difficiles — est fausse pour ces puzzles mathématiques spécifiques.

Efficacité : L'IA est en fait plus efficace que les humains sur ces tâches à mesure qu'elles se corsent.
Le vrai problème : Le goulot d'étranglement n'est pas l'efficacité, c'est la fiabilité. L'IA peut faire le travail, mais elle a tendance à faire une erreur et à perdre le fil si la tâche dure trop longtemps.
La Limite : Actuellement, la meilleure IA peut gérer de manière fiable des problèmes qui demandent environ 4 heures de travail humain. Au-delà de cela, l'IA commence à deviner et à échouer.

En bref : L'IA ne se fatigue pas ; elle est juste distraite. C'est un travailleur brillant et rapide qui a besoin d'une tâche courte et concentrée pour réussir. Si vous lui confiez un projet long et complexe, elle risque de trébucher sur ses propres lacets avant d'avoir terminé.

Résumé Technique : Difficulté Mathématique Humaine vs Machine sur Project Euler

Énoncé du Problème
Cet article étudie comment l'effort et la probabilité de succès des systèmes d'IA de pointe évoluent par rapport à la difficulté humaine sur des problèmes de mathématiques computationnelles. Motivés par une proposition de Timothy Gowers concernant la mise à l'échelle des algorithmes de recherche de preuves, les auteurs cherchent à déterminer si les systèmes d'IA évoluent moins bien que les humains à mesure que la difficulté de la tâche augmente. Plus précisément, ils testent l'hypothèse selon laquelle, bien que les machines puissent être plus rapides sur des tâches simples, leur temps d'exécution attendu croît beaucoup plus rapidement que celui des mathématiciens humains à mesure que la complexité du problème (mesurée par la longueur de la preuve ou la trajectoire de la solution) augmente. L'étude utilise Project Euler, une plateforme de problèmes de mathématiques computationnelles où les temps de résolution humains sont enregistrés publuquement, et le benchmark MathArena, qui fournit des données étendues sur les tentatives d'IA à travers 50 problèmes récents (943–992) et 26 configurations de modèles.

Méthodologie
Les auteurs opérationnalisent la « difficulté humaine » ( $t_{human}$ ) comme la moyenne géométrique des cinq temps de résolution humains les plus rapides enregistrés pour chaque problème, servant de proxy pour le temps de travail continu d'un humain fort. L'« effort machine » ( $t_{machine}$ ) est défini non pas par le temps de calcul (wall-clock time), mais par le nombre total de tokens générés pour parvenir à une réponse réussie, calculé comme le total des tokens sur l'ensemble des tentatives divisé par le nombre de tentatives réussies.

L'étude emploie trois cadres analytiques distincts :

Hypothèse T (Modèle de mise à l'échelle du temps) : Teste une relation de loi de puissance $t_{machine} = a \cdot t_{human}^b$ . L'exposant $b$ indique le comportement de mise à l'échelle : $b > 1$ implique que les machines passent moins bien à l'échelle que les humains (l'effort croît de manière super-linéaire avec la difficulté), tandis que $b < 1$ implique que les machines passent mieux à l'échelle. Les ajustements sont effectués sur des paires modèle-problème ayant un taux de succès empirique d'au moins 50 % pour éviter la dominance des cas d'échec.
Hypothèse P (Modèle de succès exponentiel) : Teste si la probabilité de succès ( $p_{success}$ ) décroît exponentiellement avec le temps de tâche humain : $p_{success} = p_{model}^{t_{task}}$ . Cela est modélisé comme une relation linéaire entre $\log p_{success}$ et $t_{human}$ , contrainte de passer par $(0, 1)$ . Les données sont agrégées en bacs de quantiles pour ajuster le taux de décroissance.
Horizons de type METR : Ajuste une courbe logistique à la probabilité de succès en fonction du temps humain pour extraire des horizons de capacités spécifiques : $h_{50}$ (temps humain à 50 % de succès) et $h_{80}$ (temps humain à 80 % de succès). Cette approche est adaptée du benchmark de longueur de tâche METR [KWB+25].

Le jeu de données comprend 3 840 tentatives à travers 26 configurations de modèles (25 incluses dans les ajustements finaux après exclusion d'une configuration non représentative). L'incertitude statistique est quantifiée par rééchantillonnage bootstrap non paramétrique (1 000 échantillons) pour générer des intervalles de confiance à 90 % pour les paramètres ajustés.

Résultats Clés

Renversement de la prédiction de mise à l'échelle (Hypothèse T) : Contrairement à la prédiction initiale selon laquelle les machines passeraient moins bien à l'échelle ( $b > 1$ ), l'étude montre que pour 20 des 25 modèles avec des ajustements utilisables, l'exposant est $b < 1$ . Cela inclut les modèles de base les plus forts à haute couverture : Claude Opus 4.6 ( $b=0.722$ ), GPT-5.4 (xhigh) ( $b=0.644$ ) et Gemini 3.1 Pro Preview ( $b=0.467$ ). Les intervalles de confiance bootstrap à 90 % pour ces meilleurs modèles se situent entièrement en dessous de 1. Cela suggère que, dans cette opérationnalisation, le coût en tokens par réponse réussie croît de manière sous-linéaire avec la difficulté humaine, ce qui signifie que l'efficacité relative des machines s'améliore à mesure que les problèmes deviennent plus difficiles, du moins pour les problèmes où le modèle est modérément fiable.
Décroissance exponentielle du succès (Hypothèse P) : Les données montrent un soutien empirique modéré pour le modèle de décroissance exponentielle. La médiane de $R^2$ par bac à travers 22 configurations bien couvertes est de 0,92, de nombreux modèles de pointe dépassant 0,95. Les demi-vies ajustées (le temps humain auquel la probabilité de succès tombe à 50 %) varient de 0,12 heure (Gemini 2.5 Pro) à 4,07 heures (GPT-5.4 xhigh).
Horizons de capacité : Les configurations de modèles de base les plus fortes atteignent des horizons de succès de 50 % ( $h_{50}$ ) entre environ 2,5 et 4,3 heures de travail humain. Les wrappers agentiques (ex: GPT-5 Euler Agent, Grok 4 Fast Euler Agent) démontrent des horizons substantiellement plus larges que leurs modèles de base, bien que ces comparaisons soient observationnelles.
Trajectoire de progression : Un ajustement log-linéaire à travers la frontière de l'état de l'art (SOTA) des modèles de base sur la période d'environ 345 jours du jeu de données implique un temps de doublement d'environ 75 jours pour l'horizon $h_{50}$ , passant de 0,09 heure à 4,28 heures.

Signification et Revendications
L'article affirme que ses conclusions remettent en question le récit spécifique de l'« efficacité de recherche » dérivé du cadrage de Gowers, qui prédisait que les systèmes d'IA resteraient derrière les humains sur les problèmes difficiles en raison de coûts de recherche croissant rapidement. Au lieu de cela, les résultats indiquent que sur Project Euler, les modèles de pointe passent mieux à l'échelle que les solveurs humains forts en termes de coût en tokens par succès à mesure que la difficulté augmente.

Cependant, les auteurs sont prudents quant aux implications. Ils notent que bien que la mise à l'échelle soit favorable, la fiabilité absolue de ces systèmes reste limitée ; les modèles atteignent le seuil de 50 % de succès à des temps de travail humain de seulement quelques heures, bien loin de l'effort soutenu qu'un humain peut appliquer à un seul problème. Les auteurs proposent cinq explications spéculatives pour la divergence entre la mise à l'échelle favorable sur Project Euler et l'absence d'accélération visible dans les mathématiques de niveau recherche :

Implémentation vs Réflexion : Les problèmes de Project Euler mettent fortement l'accent sur l'implémentation (codage), que les LLM gèrent plus rapidement que les humains, ce qui pourrait masquer un raisonnement mathématique plus lent.
Dégradation des trajectoires longues : La probabilité de succès décroît au fil du temps en raison des erreurs accumulées ou de la « décomposition du contexte » (context rot), limitant l'horizon d'un raisonnement cohérent.
Limites de la construction d'outils : Les LLM excellent dans l'utilisation d'outils standards mais peuvent manquer de la capacité d'inventer les nouveaux cadres mathématiques requis pour la recherche.
Lacunes de l'échafaudage (Scaffolding) : Les architectures actuelles manquent de la mémoire persistante et des flux de travail à long terme nécessaires à la recherche.
Sur-réflexion (Overthinking) : Les modèles peuvent engendrer des frais de tokens constants sur les problèmes faciles (auto-vérification), aplatissant artificiellement la pente de mise à l'échelle.

L'article conclut que les trois analyses (mise à l'échelle, décroissance et horizons) fournissent une image cohérente : le facteur limitant pour ces systèmes sur ce benchmark est la fiabilité (décroissance exponentielle du succès) plutôt que l'efficacité de recherche (mise à l'échelle sous-linéaire de l'effort). Les résultats sont présentés comme des résumés descriptifs des capacités actuelles sur un benchmark spécifique, et non comme des lois universelles du progrès de l'IA.