InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis

1. Problématique et Contexte

Les modèles de langage (LLM) sont de plus en plus déployés en tant qu'assistants scientifiques. Cependant, évaluer leur capacité à raisonner à partir de données empiriques reste un défi majeur. Les benchmarks existants, souvent dérivés d'études publiées et d'annotations humaines, souffrent de plusieurs limitations méthodologiques :

• Biais de publication : Les données publiées sont disproportionnément positives et « propres », sous-représentant les cas où la conclusion correcte est qu'une question est inrépondable (données manquantes, définitions opérationnelles incohérentes).
• Biais de connaissances connues : Les modèles peuvent ignorer des conclusions novatrices ou contre-intuitives qui contredisent leurs priors paramétriques, car les benchmarks s'appuient sur des connaissances établies.
• Bruit d'étiquetage : L'annotation humaine introduit du bruit et une vérité terrain ambiguë.
• Coûts de stockage : Distribuer de grands corpus scientifiques réels est coûteux et soumis à des contraintes légales.

Il existe donc un besoin crucial d'outils d'évaluation capables de contrôler la présence (ou l'absence) de phénomènes scientifiques, de fournir une vérité terrain vérifiable pour les questions répondables et non répondables, et de le faire à grande échelle sans stocker de corpus statiques.

2. Méthodologie : InfiniteScienceGym

L'article présente InfiniteScienceGym, un benchmark généré procéduralement composé de trois modules principaux fonctionnant en boucle fermée :

A. Le Simulateur de Dépôts Scientifiques

À partir d'une graine aléatoire (seed), le simulateur génère de manière déterministe un dépôt de fichiers scientifique autonome. La génération suit une approche descendante (top-down) :

1. Contexte Scientifique : Échantillonnage d'un domaine, d'un sous-domaine et d'un champ (ex: Biologie → Biologie des Systèmes → Omiques) dans une taxonomie hiérarchique.
2. Spécification du Projet : Génération par LLM d'un titre, d'une description détaillée (hypothèses, variables indépendantes/dépendantes, facteurs de confusion) et d'un résumé, conditionnés par le contexte.
3. Structure de Répertoires : Création d'une arborescence de fichiers réaliste. Les noms de dossiers et de fichiers encodent des variables (ex: promoter_swap_05_28_2025/tpt_12/2-pH_4.0.jsonl).
4. Structure des Fichiers : Génération de données tabulaires. Les variables indépendantes sont échantillonnées selon des distributions statistiques (Bernoulli, Poisson, Normale, etc.), et les variables dépendantes sont calculées via des fonctions Python générées par LLM (intégrant des relations linéaires/non-linéaires et du bruit).

B. Générateur de Questions Répondables et Non Répondables (QA Generator)

Ce module possède un accès privilégié au processus de génération des données. Il crée des questions templatisées avec une vérité terrain exacte :

• Questions répondables : Requêtes dont la réponse est unique et calculable à partir des données du dépôt (ex: statistiques, agrégations).
• Questions non répondables : Questions construites intentionnellement pour être insolubles en raison de variables manquantes, de facteurs de confusion non observés, d'un manque de puissance statistique ou d'ambiguïté. Le générateur sait a priori si une question est non répondable.

C. Module de Reformulation (Paraphrase Module)

Pour éviter que les modèles ne s'entraînent sur le style artificiel des questions templatisées, un module de paraphrase convertit les paires QA en requêtes de recherche naturelles, tout en préservant la sémantique et la vérifiabilité.

3. Contributions Clés

1. Benchmark Infini et Reproductible : InfiniteScienceGym offre un nombre illimité d'instances d'évaluation sans stockage de corpus statique, garantissant la reproductibilité exacte via la graine (seed).
2. Contrôle de l'Inrépondabilité : Contrairement aux benchmarks réels où l'inrépondabilité est difficile à isoler, ici elle est garantie par construction, permettant d'évaluer directement la capacité d'abstention des modèles.
3. Pipeline de Génération Pratique : Une chaîne de production (Simulateur → QA → Reformulation) qui produit des dépôts et des questions avec vérité terrain sans biais de publication.
4. Évaluation des Agents Scientifiques : Le benchmark teste spécifiquement la navigation dans les fichiers, l'utilisation d'outils (code), l'analyse de données et la reconnaissance des limites des données.

4. Résultats Expérimentaux

Les auteurs ont évalué plusieurs modèles propriétaires (GPT-5.4, Claude Opus 4.6) et open-weight (GPT-OSS 20B, Gemma 3 27B, Qwen3 4B) dans un environnement permettant l'utilisation d'outils (MCP, interpréteur Python).

• Performance Globale Faible : Aucun modèle n'a dépassé 45 % de précision globale. Le meilleur modèle (GPT-5.4) a atteint 44,8 %. Les modèles propriétaires surpassent les modèles open-weight d'au moins 6,4 points de pourcentage.
• Faiblesse sur les Questions Non Répondables : L'identification des questions non répondables est un point critique. Les modèles ont tendance à « deviner » avec confiance même lorsque les données sont insuffisantes. Les modèles propriétaires montrent une meilleure précision et rappel (autour de 80-83 %) que les modèles open-weight, qui ont souvent un rappel très faible (ils ne s'abstiennent presque jamais).
• Stratégies de Résolution :
  • Utilisation des Outils vs Consommation de Tokens : Il existe une corrélation positive entre le nombre d'appels d'outils et la précision. À l'inverse, une consommation élevée de tokens (souvent due au chargement de fichiers entiers dans le contexte) ne corrèle pas avec de meilleures performances et est même une stratégie sous-optimale.
  • Analyse Programmatoire : Les modèles les plus performants utilisent l'interpréteur de code pour analyser les données de manière programmatique plutôt que de tenter de raisonner directement sur le contenu textuel massif.
• Robustesse à la Reformulation : L'accord entre les réponses aux questions templatisées et reformulées est modéré (Alpha de Krippendorff ~0,7), indiquant que la variation de surface affecte la performance.

5. Signification et Conclusion

InfiniteScienceGym comble une lacune critique dans l'évaluation des agents IA pour la science. Il démontre que :

1. L'abstention est un défi majeur : Les modèles actuels peinent à reconnaître quand les données ne suffisent pas pour conclure, un comportement essentiel dans la pratique scientifique réelle.
2. L'efficacité des outils prime sur la puissance brute : La capacité à utiliser des outils de manière stratégique (ex: exécuter du code pour filtrer des données) est un meilleur indicateur de compétence que la simple consommation de tokens ou la taille du contexte.
3. Complémentarité : Ce benchmark ne remplace pas les évaluations sur données réelles, mais il les complète en exposant des angles morts contrôlés (biais de publication, inrépondabilité) impossibles à isoler avec des corpus existants.

En résumé, InfiniteScienceGym propose un cadre d'évaluation rigoureux, contrôlé et évolutif pour mesurer la capacité des LLM à raisonner de manière fondée sur les preuves, en mettant l'accent sur la reconnaissance des limites des données et l'utilisation efficace des outils d'analyse.