OEIS Open: How many conjectures can language models turn into theorems?
Ce document présente OEIS Open, un banc d'essai sécurisé de 492 conjectures mathématiques formalisées issues de l'OEIS, démontrant que des modèles de langage dotés d'outils minimaux peuvent résoudre de manière autonome environ 30 % à 44 % de ces problèmes ouverts à un coût modeste, bien que l'accès à une littérature étendue et à des boucles d'agents sophistiquées n'ait pas amélioré significativement les performances.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez une vaste bibliothèque numérique de nombres appelée l'OEIS (Online Encyclopedia of Integer Sequences). C'est comme un immense catalogue où les mathématiciens répertorient les motifs qu'ils ont trouvés dans les nombres, des plus simples (comme 1, 2, 4, 8...) aux plus bizarres et mystérieux. Souvent, après avoir listé un motif, quelqu'un écrit une supposition sur la façon dont il fonctionne pour toujours. Ces suppositions sont appelées des « conjectures ». Pendant longtemps, prouver ces suppositions était un travail réservé aux génies humains avec des tableaux noirs et une patience infinie. Mais récemment, les ordinateurs ont commencé à essayer de résoudre ces énigmes eux aussi. La grande question est : une intelligence artificielle (IA) peut-elle réellement découvrir la vérité par elle-même, ou a-t-elle simplement besoin qu'un humain lui tienne la main ? Ce document explore cette question en mettant en place un test rigoureux où des agents d'IA doivent prouver ou infirmer ces suppositions mathématiques sans méthodes non autorisées ou intervention humaine.
Les chercheurs derrière cette étude, issus d'un groupe appelé Epoch AI, ont créé un nouveau défi nommé OEIS OPEN. Voyez cela comme un gigantesque parcours d'obstacles mathématiques. Ils ont pris 492 suppositions mathématiques ouvertes de l'OEIS et les ont traduites dans un langage informatique strict appelé Lean, qui agit comme un arbitre super strict. Dans ce jeu, un agent d'IA est déposé dans une pièce numérique avec quelques outils de base : un éditeur de texte, une ligne de commande (comme un terminal informatique) et une calculatrice. Le seul objectif de l'IA est d'écrire une preuve que le référent informatique acceptera. Si l'IA ne peut pas prouver que la supposition est vraie, elle doit prouver qu'elle est fausse. Le piège ? L'IA dispose d'un budget strict de 50 $ par supposition pour dépenser en temps informatique. Si elle épuise son argent avant de résoudre le problème, elle perd.
Les résultats étaient étonnamment prometteurs. Les meilleurs modèles d'IA ont réussi à résoudre 147 des 492 suppositions, obtenant environ 30 % au test. Cela signifie qu'ils ont transformé près d'un tiers de ces mystères ouverts en théorèmes confirmés (ou infirmiations) tout seuls. Le modèle le plus performant, Claude Opus 4.8, en a résolu 30 %, tandis que d'autres comme GPT-5.5 et Gemini 3.5 Flash ont également bien performé, avec respectivement 26 % et 22 %. C'est un événement majeur car les chercheurs ont utilisé une configuration d'IA très simple — une boucle de base qui essaie, vérifie, et réessaie à nouveau. Ce n'était pas un robot super complexe doté d'une équipe massive d'assistants humains. En fait, cette approche simple a en réalité mieux réussi qu'un système beaucoup plus complexe appelé AlphaProof Nexus, qui n'a résolu que 9 % des mêmes problèmes.
Les chercheurs ont également testé des « bonus » pour voir s'ils aideraient l'IA à devenir plus intelligente. Ils ont donné à l'IA accès à une immense bibliothèque de 476 000 articles mathématiques provenant d'Internet (arXiv), espérant qu'elle puisse apprendre des travaux humains passés. Ils ont aussi essayé de donner à l'IA un « cerveau » plus complexe capable de déléguer des tâches à des sous-agents et de se souvenir des choses sur une longue période. Étonnamment, ni l'un ni l'autre de ces ajouts n'a aidé. L'IA n'a pas résolu plus de suppositions grâce à la bibliothèque, et le cerveau complexe ne l'a pas rendue plus rapide ou plus précise. Il semble que pour ce type spécifique de problème mathématique, disposer d'un ensemble d'outils simples et ciblés ainsi qu'un bon budget soit plus important que d'avoir une immense bibliothèque ou une personnalité complexe.
Une découverte intéressante est que plus les chercheurs étaient prêts à dépenser d'argent pour une seule supposition, plus l'IA avait de chances de la résoudre. Le taux de réussite augmentait de manière constante et prévisible : pour chaque augmentation de dix fois du budget, le taux de réussite bondissait d'environ dix points de pourcentage. Cela suggère que s'ils avaient donné un budget plus important à l'IA, celle-ci aurait pu en résoudre encore plus. Cependant, l'article prend soin de noter que ces suppositions, bien que mathématiquement valides, sont principalement des « inconnues » dans le monde des mathématiques. Ce ne sont pas des problèmes célèbres et révolutionnaires comme l'Hypothèse de Riemann ; ce sont probablement de petits puzzles obscurs qui n'ont pas reçu beaucoup d'attention de la part des mathématiciens humains.
Alors, que signifie tout cela ? L'article montre que l'IA est désormais capable de résoudre de manière autonome de réels problèmes de recherche mathématique à un coût modeste. Elle ne se contente plus de résoudre des puzzles avec des réponses connues ; elle repousse la frontière de nos connaissances. Mais cela montre aussi des limites : l'IA ne s'est pas intelligent par la simple lecture de livres, et elle lutte toujours avec les problèmes les plus difficiles et les plus obscurs. Les chercheurs concluent que, bien que nous ne soyons pas témoins d'un « saut qualitatif » où l'IA deviendrait soudainement un mathématicien de génie du jour au lendemain, nous voyons un outil puissant et constant capable de grignoter l'inconnu, une séquence numérique à la fois.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.