InnoGym: Benchmarking the Innovation Potential of AI Agents

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous organisez un grand concours de cuisine. Jusqu'à présent, les juges ne regardaient que le plat final : « Est-il bon ? Est-il comestible ? ». Si oui, le chef gagnait. Peu importait s'il avait utilisé une recette classique copiée sur un livre ou s'il avait inventé une technique totalement nouvelle en mélangeant des ingrédients de manière inattendue.

C'est exactement le problème que les auteurs de ce papier, InnoGym, veulent résoudre avec l'intelligence artificielle (IA).

Voici une explication simple de leur travail, imagée pour tout le monde :

1. Le Problème : La Cuisine "Copie-Collé"

Aujourd'hui, les agents IA (des robots intelligents capables de résoudre des problèmes) sont excellents pour donner la bonne réponse. Mais ils sont souvent des copieurs.

L'ancien système : Si un robot résout un problème de mathématiques ou de code, on regarde juste si la réponse est juste. C'est comme si un chef gagnait un prix juste parce qu'il a servi une pizza, même s'il a utilisé la même recette que tout le monde depuis 50 ans.
Le manque : On oublie de se demander : « Est-ce que ce robot a trouvé une nouvelle façon de faire la pizza ? ». L'innovation, c'est la créativité, pas juste la justesse.

2. La Solution : Le Gymnase de l'Innovation (InnoGym)

Les chercheurs ont créé InnoGym, qui est un peu comme un nouveau type de gymnase pour tester les robots. Au lieu de juste vérifier si le robot peut soulever une charge (la réponse correcte), ils vérifient deux choses :

La Performance (La force) : Le robot a-t-il fait mieux que les meilleurs humains ? (A-t-il fait une pizza encore plus délicieuse ?)
La Nouveauté (La créativité) : Le robot a-t-il utilisé une méthode différente de tout ce qu'on a déjà vu ? (A-t-il inventé une nouvelle façon de pétrir la pâte ?)

Pour mesurer cela, ils utilisent une jauge imaginaire :

Si le robot trouve une solution parfaite mais identique à celle des humains : C'est bon, mais pas très innovant.
Si le robot trouve une solution bizarre et originale, mais qui ne fonctionne pas : C'est créatif, mais inutile.
Si le robot trouve une solution nouvelle ET meilleure : C'est le Saint Graal de l'innovation.

3. Le Terrain de Jeu : 18 Défis Réels

Pour tester leurs robots, les chercheurs n'ont pas pris des exercices scolaires faciles. Ils ont sélectionné 18 défis complexes tirés du monde réel, comme :

Organiser des livraisons de camions pour économiser du carburant (comme un puzzle géant).
Trouver de nouveaux médicaments.
Optimiser la disposition de cercles dans un carré (un problème mathématique vieux comme le monde).

C'est comme si on envoyait les robots dans une cuisine professionnelle avec des commandes urgentes et des ingrédients difficiles, plutôt que de leur donner un livre de recettes à recopier.

4. Les Résultats : Des Robots "Artistes" mais "Maladroit"

Après avoir fait courir plusieurs robots intelligents sur ce terrain, les chercheurs ont découvert quelque chose de surprenant et d'important :

Le paradoxe : Certains robots sont très créatifs. Ils inventent des méthodes bizarres et originales. Mais souvent, ces méthodes sont fragiles. Elles fonctionnent une fois sur deux, ou elles se cassent dès qu'on change un petit détail.
La leçon : Pour l'instant, les robots sont de bons "artistes" qui peignent des tableaux originaux, mais ils sont de mauvais "artisans" qui ne savent pas encore construire des maisons solides.
Le constat : La créativité seule ne suffit pas. Pour qu'une innovation soit réelle, elle doit être à la fois originale et solide.

5. L'Outil Secret : iGym

Pour que tout cela soit juste et reproductible, ils ont aussi construit iGym. C'est une sorte de "laboratoire virtuel" standardisé.

Imaginez un terrain de jeu où tous les robots ont exactement les mêmes outils, les mêmes règles et les mêmes obstacles.
Cela permet de comparer honnêtement le robot A et le robot B, sans que l'un ait un avantage injuste (comme avoir un ordinateur plus puissant).

En Résumé

InnoGym nous dit : « Arrêtez de juste demander aux robots s'ils ont la bonne réponse. Demandez-leur s'ils ont trouvé une nouvelle façon de répondre, et surtout, si cette nouvelle façon tient la route ! »

C'est un appel à ne pas se contenter de la perfection mécanique, mais à chercher la véritable créativité intelligente, capable de résoudre les vrais problèmes du monde avec des idées neuves et fiables.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique et Contexte

Les modèles de langage (LLM) et les agents autonomes ont réalisé des progrès significatifs dans la génération de code, le raisonnement mathématique et la découverte scientifique. Cependant, les benchmarks existants (comme SWE-Bench ou MATH) se concentrent presque exclusivement sur la correction de la réponse finale.

Ce paradigme présente une lacune majeure : il ignore la diversité des méthodes utilisées pour parvenir à une solution. Deux agents peuvent produire la même réponse correcte en suivant des approches radicalement différentes. L'innovation véritable ne réside pas seulement dans le résultat, mais aussi dans l'originalité de l'approche méthodologique. Le papier identifie le besoin d'un cadre capable d'évaluer simultanément l'efficacité (performance) et la créativité (novauté) des agents, en particulier pour des problèmes complexes où l'optimum n'est pas encore atteint.

2. Méthodologie et Cadre Théorique

Les auteurs proposent un cadre formel pour définir et mesurer l'innovation, structuré autour d'une tâche définie comme un quadruplet $T = (P, S, V, D)$ :

$P$ : Instance du problème (description, contraintes).
$S$ : Espace des solutions (code, algorithmes, preuves).
$V$ : Mesure de performance (qualité de la solution).
$D$ : Mesure de dissimilarité entre deux solutions.

Sur cette base, deux métriques complémentaires sont introduites pour quantifier l'innovation :

Gain de Performance ( $G$ ) : Mesure l'amélioration d'une nouvelle solution par rapport à l'état de l'art connu ( $S_{known}$ ).
$G(s) = V(s) - V^*_{known}$
Une valeur positive indique une percée dépassant les solutions humaines ou précédentes.
Nouveauté ( $N$ ) : Capture la différence méthodologique entre une nouvelle solution et les solutions antérieures connues. Elle est calculée comme la distance minimale entre la solution candidate et l'ensemble des solutions connues, pondérée par la faisabilité ( $C(s)$ ).
$N(s) = C(s) \cdot \min_{h \in S_{known}} D(s, h)$

Typologie des tâches :
Le cadre distingue trois catégories de problèmes :

Problèmes résolus (Solved) : L'optimum est connu. L'innovation se mesure uniquement par la nouveauté méthodologique ( $N$ ).
Problèmes améliorables (Improvable) : Des solutions existent mais ne sont pas optimales. L'innovation peut provenir d'un gain de performance ( $G > 0$ ) ou d'une nouvelle méthode atteignant la performance actuelle ( $N$ élevé).
Problèmes exploratoires (Exploratory) : Aucune solution faisable n'est connue. La première solution valide constitue une innovation majeure.

3. Contributions Clés : InnoGym et iGym

L'article présente InnoGym, un écosystème complet composé de deux éléments :

A. iBench (Le Benchmark)

C'est le premier benchmark spécifiquement conçu pour évaluer le potentiel d'innovation des agents.

Contenu : 18 tâches soigneusement sélectionnées provenant de domaines réels (ingénierie, ROADEF, KDD Cup, problèmes NP-difficiles comme le "Circle Packing" ou le "2D Bin Packing").
Sélection : Les tâches sont filtrées pour être "améliorables" (il existe une marge de progression claire) et disposent de validateurs et d'évaluateurs robustes.
Standardisation : Chaque tâche est normalisée via un processus en deux étapes :
1. Vérification de la disponibilité des ressources (données, évaluateurs).
2. Construction de validateurs (faisabilité) et normalisation des évaluateurs (conversion des scores relatifs en scores absolus pour calculer $G$ ).
Collecte de solutions de référence : Une base de données de solutions humaines et de leaderboards est constituée pour servir de référence ( $S_{known}$ ) au calcul de la nouveauté.

B. iGym (L'Environnement d'Exécution)

Un SDK unifié conçu pour exécuter des agents sur des tâches à long terme (long-horizon).

Fonctionnalités : Gestion robuste des outils, récupération après échec (checkpoint/resume), exécution asynchrone et gestion des dépendances via des conteneurs.
Objectif : Assurer la reproductibilité et permettre des comparaisons équitables entre différents systèmes d'agents, indépendamment de leur infrastructure sous-jacente.

Pipeline d'évaluation :

Soumission : L'agent génère une solution avec les données visibles.
Évaluation de Performance : Le validateur vérifie la faisabilité, l'évaluateur calcule le score.
Évaluation de Nouveauté : Une IA (Codex) extrait la méthodologie de la solution (résumé et pseudocode) et la compare aux solutions connues via un "Agent-as-judge" pour attribuer un score de nouveauté.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs frameworks d'agents (MLAB, CODEACT, AIDE) sur un sous-ensemble de 10 tâches principales.

Écart de Performance Significatif : Aucun agent n'a réussi à surpasser les solutions humaines de pointe sur les tâches complexes. De nombreux agents ont échoué à générer des solutions exécutables sur des tâches aux formats de données complexes (ex: CDML, PTTALC).
Robustesse vs Nouveauté :
- Les agents ont parfois démontré une nouveauté élevée (approches méthodologiques différentes), mais cela ne s'est pas traduit par des gains de performance.
- Le framework MLAB a obtenu les meilleurs résultats globaux, alliant un gain de performance et une nouveauté supérieurs.
- CODEACT et AIDE ont montré des lacunes dans la gestion de structures de fichiers complexes, limitant leur efficacité malgré des idées potentiellement novatrices.
Dilemme Exploration/Exploitation :
- Une analyse sur le problème d'empilement de cercles (Circle Packing) montre que l'augmentation de la température d'échantillonnage favorise la nouveauté mais réduit la performance.
- Un "point idéal" (sweet spot) a été identifié (température 0.5–0.75) permettant d'équilibrer les deux.
Dépendance au Modèle de Base : La performance des agents dépend fortement de la puissance du LLM sous-jacent (ex: Gemini-2.5-Pro et GPT-5 surpassent DeepSeek-v3.1), suggérant que les frameworks d'agents amplifient les capacités du modèle de base mais ne les remplacent pas.

5. Signification et Implications

Ce travail marque un tournant dans l'évaluation des agents IA :

Au-delà de la correction : Il démontre que la simple justesse de la réponse est insuffisante pour mesurer l'intelligence dans des contextes de recherche et d'ingénierie. L'innovation doit être double : efficace et originale.
Le goulot d'étranglement de la robustesse : Le principal obstacle actuel n'est pas le manque d'idées créatives, mais l'incapacité des agents à transformer ces idées en implémentations robustes et correctes.
Nouveau standard : InnoGym fournit une plateforme reproductible et cross-domaine pour guider le développement futur d'agents capables de résoudre des problèmes scientifiques et techniques complexes, en incitant à développer des systèmes qui maîtrisent à la fois la créativité et l'exécution fiable.

En conclusion, InnoGym établit que pour que l'IA soit véritablement innovante, elle doit combiner l'originalité méthodologique avec une rigueur d'exécution capable de dépasser les performances humaines actuelles.