HEPTABench: A framework for portable and controlled agentic evaluations in high energy physics

Dans les vastes couloirs silencieux de la physique moderne, les scientifiques ne se contentent plus de chercher de nouvelles particules ; ils cherchent également de nouvelles manières d'accomplir le travail de recherche de celles-ci. Depuis des décennies, le domaine de la physique des hautes énergies s'appuie sur des chercheurs humains pour traduire des théories abstraites en calculs concrets, en écrivant des codes informatiques complexes pour simuler le comportement potentiel des particules dans de gigantesques détecteurs ou pour prédire les résultats de collisions. Aujourd'hui, un nouveau type de travailleur a fait son entrée dans le laboratoire : l'agent d'intelligence artificielle. Il ne s'agit pas de simples programmes suivant une liste rigide d'instructions, mais de systèmes sophistiqués capables de planifier des tâches multi-étapes, d'écrire leur propre code, de lancer des simulations et de corriger leurs propres erreurs lorsque les choses tournent mal. Ils promettent d'accélérer le rythme des découvertes, mais ils introduisent également une nouvelle question : pouvons-nous leur faire confiance pour accomplir le travail délicat et précis de la science ? Pour y répondre, les chercheurs doivent dépasser les tests simples et créer un environnement contrôlé où ils pourront voir exactement comment ces assistants numériques se comportent, de quels outils ils ont besoin et où ils pourraient échouer.

Une équipe de physiciens et d'informaticiens a construit un tel environnement, un cadre qu'ils appellent HEPTABench, conçu pour mettre ces agents d'IA à l'épreuve dans le monde spécifique de la physique des hautes énergies. Leur objectif n'était pas seulement de voir si une IA pouvait résoudre un problème, mais de comprendre comment les outils qu'elle utilise modifient le résultat. Ils ont mis en place une série d'expériences où la même tâche scientifique était confiée à différents systèmes d'IA, mais avec une variable cruciale modifiée : dans certains essais, l'IA devait construire ses propres outils mathématiques à partir de zéro, tandis que dans d'autres, elle recevait une boîte à outils préfabriquée et vérifiée d'instruments spécialisés. Les résultats étaient clairs et cohérents. Lorsque les agents d'IA étaient autorisés à utiliser ces outils spécialisés et spécifiques au domaine, leur travail devenait nettement plus précis et beaucoup plus fiable. Les résultats qu'ils produisaient étaient plus proches de la vérité connue, et les réponses qu'ils donnaient étaient beaucoup plus constantes d'une tentative à l'autre.

Les chercheurs ont testé cette idée avec deux types de problèmes de physique très différents. Le premier était un calcul complexe impliquant une particule hypothétique qui vit longtemps avant de se désintégrer. Ce type de calcul est un incontournable du domaine, nécessitant une chaîne d'étapes qui inclut la prédiction de la création de la particule, de son trajet à travers un détecteur et de sa probabilité d'être observée. L'équipe a demandé à quatre systèmes d'IA avancés différents d'effectuer ce calcul. Dans un premier tour, les systèmes n'ont reçu que les lois fondamentales de la physique et le dispositif expérimental, les forçant à écrire chaque morceau de code nécessaire pour simuler le voyage de la particule. Dans un second tour, les mêmes systèmes ont reçu la même tâche mais se sont également vu fournir un ensemble d'outils spécialisés capables de gérer des parties spécifiques du calcul, telles que la génération de flux de particules ou le calcul des probabilités de désintégration. La différence fut frappante. Chaque système, quelle que soit son architecture sous-jacente, a produit de meilleurs résultats lorsqu'il avait accès aux outils spécialisés. Les nombres qu'ils ont calculés étaient plus proches des valeurs correctes, et la variation entre les différentes tentatives d'un même système a chuté de manière spectaculaire. Les agents d'IA ont également écrit beaucoup moins de code, s'appuyant sur les outils de confiance pour le gros du travail plutôt que de réinventer la roue à chaque essai.

La seconde expérience s'est concentrée sur un autre type de défi : les mathématiques symboliques. Ici, la tâche consistait à dériver des formules pour la désintégration des particules, un processus qui nécessite la manipulation d'expressions algébriques complexes plutôt que la simple exécution de calculs numériques. Les chercheurs ont testé un modèle d'IA spécifique sur huit scénarios de désintégration différents. Sans les outils spécialisés, le modèle éprouvait d'immenses difficultés, ne réussissant qu'une infime fraction de ses tentatives. Il produisait souvent des réponses incomplètes ou des formules qui ne correspondaient pas à la physique. Cependant, lorsque ce même modèle a eu accès à une boîte à outils conçue spécifiquement pour les calculs de physique symbolique, ses performances ont grimpé en flèche. La fraction de tentatives réussies est passée d'un maigre huit pour cent à près de quatre-vingts pour cent. Cela a montré que fournir les bons outils pouvait transformer un système à peine fonctionnel en un système hautement efficace. Curieusement, un autre modèle d'IA, plus puissant, a été capable de résoudre ces problèmes parfaitement en utilisant uniquement ses capacités intrinsèques, suggérant que si les outils sont essentiels pour certains systèmes, les modèles les plus avancés pourraient éventuellement être capables de gérer ces tâches de manière autonome.

L'étude fait plus que démontrer que les outils aident ; elle étab établit une méthode pour le prouver. En maintenant tous les autres facteurs constants — la tâche, le modèle d'IA et l'environnement informatique — les chercheurs ont pu isoler l'effet des outils eux-mêmes. Ils ont constaté que l'amélioration n'était pas seulement une question d'obtenir la bonne réponse une fois ; il s'agissait de cohérence. Les agents d'IA sont devenus plus fiables, produisant des résultats qui restaient proches de la vérité à chaque fois qu'ils lançaient l'expérience. Cette fiabilité est cruciale pour la science, où une seule chance de réussite ne suffit pas ; les chercheurs ont besoin de savoir qu'un résultat tiendra la route face à l'examen. Le cadre qu'ils ont construit permet ce genre d'inspection détaillée, enregistrant chaque étape franchie par l'IA, chaque fichier créé et chaque décision prise. Cette transparence signifie que si un résultat est remis en question, les scientifiques peuvent revenir en arrière et examiner le chemin exact emprunté par l'IA pour y parvenir, plutôt que de simplement accepter un chiffre final.

Les implications de ce travail dépassent les particules ou les calculs spécifiques testés. Cela suggère une nouvelle façon de penser l'utilisation de l'intelligence artificielle dans la science. Plutôt que d'attendre d'une IA unique et omnisciente qu'elle fasse tout, l'avenir pourrait résider dans l'association de ces systèmes intelligents avec des boîtes à outils spécialisées et vérifiées par l'humain. Tout comme un physicien humain s'appuie sur une bibliothèque de formules établies et de progiciels pour accomplir son travail, un agent d'IA peut être rendu plus capable et digne de confiance en lui donnant accès aux mêmes ressources. Les chercheurs ont démontré que cette approche fonctionne à travers différents types d'IA et différents types de problèmes de physique, de la simulation de collisions de particules à la dérivation de formules mathématiques. Elle offre une voie de progression où la vitesse et l'adaptabilité de l'IA sont combinées à la précision et à la fiabilité des outils conçus par l'homme.

En fin de compte, le travail présenté dans cet article porte sur la construction de la confiance. À mesure que l'intelligence artificielle s'intègre dans le processus scientifique, la communauté a besoin d'un moyen de mesurer ses capacités et ses limites avec la même rigueur que pour tout autre instrument scientifique. HEPTABench fournit ce bâton de mesure. Il montre qu'avec la bonne configuration, les agents d'IA peuvent être guidés pour produire un travail scientifique de haute qualité et reproductible. Les conclusions suggèrent que la manière la plus efficace de déployer ces systèmes à l'avenir n'est pas de les laisser errer librement, mais de les équiper des outils spécifiques et vérifiés dont ils ont besoin pour réussir. Cette approche garantit que les résultats qu'ils produisent ne sont pas de simples conjectures intelligentes, mais des contributions fiables à notre compréhension de l'univers.