Imaginez que vous essayez d'apprendre à un robot comment être un mathématicien. Vous ne voulez pas seulement qu'il discute de chiffres ; vous voulez qu'il écrive le code réel qui résout une énigme. C'est le monde de la synthèse de code combinatoire. Considérez la « combinatoire » comme l'étude de la façon dont les choses peuvent être arrangées, mélangées ou comptées — comme déterminer de combien de façons on peut empiler des blocs, disposer un jeu de cartes ou colorier une carte sans que deux couleurs adjacentes ne se touchent. La « synthèse de code » est simplement l'acte pour une IA d'écrire un programme informatique pour faire les mathématiques.

Pendant longtemps, nous avons testé l'IA sur des tâches de codage générales, comme « écrire une fonction pour trier une liste de noms » ou « corriger ce bug dans un site web ». Mais ces tests sont un peu comme demander à un chef de couper des oignons ; ils montrent si le chef sait tenir un couteau, mais pas s'il est capable d'inventer une nouvelle recette à partir de zéro. Cette publication pose une question plus difficile : si vous donnez à une IA une règle mathématique abstraite et stricte ainsi que quelques exemples, peut-elle écrire un programme parfait qui suit cette règle pour n'importe quel entrée possible, même celles qu'elle n'a jamais vues auparavant ? C'est la différence entre un robot qui sait suivre une recette et un robot qui comprend la chimie de la cuisine au point d'inventer un plat qui n'a jamais existé.

Le Grand Défi du Code Mathématique : FindStatBench

Entrez dans FindStatBench, une nouvelle salle de sport ultra-difficile pour les modèles d'IA. Créé par des chercheurs de Scale AI, ce benchmark est conçu pour tester la résistance des modèles de langage (LLM) sur leur capacité à transformer des descriptions mathématiques pures en code Python fonctionnel. Au lieu de demander à l'IA d'écrire un script simple, les chercheurs lui ont donné 2 329 énigmes mathématiques distinctes. Ces énigmes proviennent d'une base de données réelle appelée FindStat, qui est comme une bibliothèque de « recettes mathématiques » pour des choses comme les permutations (mélanger des listes), les graphes (réseaux de points et de lignes) et les partitions (diviser des nombres en sommes).

Les règles du jeu étaient strictes et en « mode fermé ». L'IA recevait la description d'un problème mathématique et jusqu'à cinq exemples d'entrées et de sorties. Elle devait écrire une fonction Python unique appelée solve(obj) capable de gérer n'importe quel objet, pas seulement les exemples vus. L'IA ne pouvait pas utiliser de calculatrice, chercher sur Internet ou demander de l'aide. Elle devait réussir du premier coup. Pour s'assurer que l'IA ne se contentait pas de mémoriser les réponses, les chercheurs ont testé le code contre 5,52 millions de cas de test cachés — des millions de problèmes mathématiques que l'IA n'avait jamais vus auparavant. Si le code échouait ne serait-ce qu'à un seul de ces tests cachés, il était marqué comme faux.

Les Résultats : Une Égalité Surprenante et Quelques Bugs Bizarres

Une fois la poussière retombée, les résultats se sont révélés fascinants et un peu contre-intuitifs.

1. Les modèles « grands » et « petits » sont au coude à coude
On pourrait s'attendre à ce que les modèles « fermés » les plus coûteux et les plus puissants (ceux pour lesquels vous devez payer de grandes entreprises) écrasent les modèles « open-source » (ceux que n'importe qui peut télécharger et exécuter). Mais dans cette arène très mathématique, ils ne l'ont pas fait. Le meilleur modèle open-source, gpt-oss-120b, a obtenu un score presque identique au meilleur modèle fermé, Claude Sonnet 4.6. Ils étaient séparés par moins de 1 %. C'est comme deux coureurs dans un marathon : l'un est sponsorisé par une grande corporation avec une équipe de choc, et l'autre est un héros local avec une chaussure faite maison. Ils ont franchi la ligne d'arrivée exactement au même moment.

Plus surprenant encore, si vous preniez les meilleures réponses de tous les onze modèles testés et les combiniez, vous n'amélioriez le score total que d'environ 10 %. Cela suggère que tous ces modèles atteignent un « plafond » de capacité similaire. Ils sont tous aux prises avec les mêmes parties difficiles du puzzle.

2. Plus d'exemples peuvent en réalité empirer les choses
C'est ici que cela devient bizarre. Dans la plupart des tests d'IA, donner plus d'exemples aide le modèle à apprendre. Mais sur FindStatBench, pour certains types de puzzles mathématiques appelés « bijections » (des façons sophistiquées de dire « règles d'appariement parfait »), donner cinq exemples rendait en fait le modèle moins performant que si on lui en donnait zéro.

Imaginez que vous enseigniez à un élève à plier une grue en origami. Si vous dites simplement « pliez le papier de cette façon », il pourrait se souvenir du pliage classique et parfait. Mais si vous lui montrez cinq exemples où quelqu'un a fait un pliage légèrement maladroit, l'élève pourrait être confus et essayer de copier les plis maladroits, oubliant la règle parfaite. L'article a découvert que pour certaines règles mathématiques classiques, les exemples « évinceaient » les connaissances internes de l'IA, la poussant à écrire un code défectueux qui échouait même face aux exemples qui lui avaient été montrés. C'est un cas de « trop d'informations, trop peu de compréhension ».

3. Le piège de la « réflexion »
Une autre découverte majeure est que certains modèles, en particulier ceux conçus pour « réfléchir » avant de parler, manquaient souvent d'espace. Ces modèles ont une limite sur la quantité de texte qu'ils peuvent générer. Parfois, ils passaient tout leur « budget » à écrire leur raisonnement interne (leur processus de pensée) et n'arrivaient jamais à écrire le code proprement dit. C'est comme un étudiant qui passerait tout le temps de l'examen à écrire un journal sur la difficulté du test, pour finalement manquer de temps pour réellement résoudre les problèmes. Les chercheurs ont constaté que le simple fait de donner à ces modèles plus d'espace pour écrire leurs pensées (et le code) corrigeait une grande partie de ces échecs.

4. Le difficile reste difficile
Bien que l'IA soit devenue très bonne pour certaines tâches (comme compter des choses ou travailler avec des formes simples), elle a complètement échoué pour d'autres. Pour les tâches impliquant des « partitions d'ensembles » (regrouper des éléments de toutes les manières possibles) et des « arbres binaires » (structures hiérarchiques), la précision était proche de zéro pour chaque modèle, qu'il soit open-source ou fermé. Il semble que, peu importe la taille du modèle ou son coût, ces types de puzzles structurels sont actuellement hors de leur portée.

Ce que cela signifie

L'article conclut que, bien que l'IA devienne très douée pour écrire du code mathématique « plausible », elle reste fragile lorsqu'il s'agit de règles symboliques exactes. Les modèles peuvent deviner la bonne réponse souvent, mais ils peinent à dériver systématiquement la logique parfaite pour des structures complexes.

La conclusion principale ? Le coût n'est pas toujours synonyme de capacité. Dans ce test spécifique, un modèle open-source moins cher a performé aussi bien que les plus coûteux et propriétaires. Et parfois, donner plus d'exemples ou plus de « temps de réflexion » à une IA n'aide pas — cela peut même la confondre. Les chercheurs suggèrent que pour véritablement maîtriser les mathématiques, l'IA doit devenir meilleure dans la compréhension des règles du jeu, et non pas seulement dans la mémorisation des mouvements. Pour l'instant, l'IA est un apprenti talentueux qui sait bien suivre des instructions, mais qui se perd encore lorsqu'on lui demande d'inventer un nouveau type de géométrie.