AI Agents Can Already Autonomously Perform Experimental High Energy Physics

Résumé technique : Les agents IA peuvent déjà effectuer de manière autonome des expériences en physique des hautes énergies

Énoncé du problème
Les analyses en physique expérimentale des hautes énergies (HEP) sont des processus algorithmiques traditionnellement laborieux qui consomment la majeure partie du temps des étudiants de troisième cycle ou des postdoctorants. Le flux de travail implique l'identification des canaux de mesure, l'étude de la littérature, la conception de sélections d'événements, la quantification des incertitudes systématiques, l'inférence statistique et la rédaction de rapports. Une part importante de cet effort est consacrée à l'écriture de milliers de lignes de code structurellement similaires pour traiter les données et appliquer des techniques standards, souvent sans raisonnement physique profond. Ce processus est fréquemment ralenti par l'absence d'une documentation centralisée et actualisée pour l'infrastructure logicielle de base, menant à des flux de travail chronophages et sujets aux erreurs, offrant des retours pédagogiques décroissants après la phase initiale d'apprentissage. Bien que les modèles de langage de grande taille (LLM) aient montré des promesses dans la génération de code, les systèmes agentiques existants en HEP sont souvent limités à des structures d'analyse rigides et prédéfinies ou nécessitent une supervision humaine constante, empêissant une véritable autonomie.

Méthodologie : Le cadre « Just Furnish Context » (JFC)
Les auteurs introduisent le cadre « Just Furnish Context » (JFC), une preuve de concept conçue pour permettre l'exécution entièrement autonome de pipelines d'analyse HEP. Le cadre repose sur le principe qu'un agent IA doit recevoir uniquement un objectif physique de haut niveau (par exemple, « Mesurer la forme de la raie du Z ») et déterminer de manière autonome la stratégie complète, incluant la sélection d'événements, l'estimation du bruit de fond et les méthodes statistiques, sans qu'un modèle ou un squelette de code ne lui soit fourni.

Les composantes clés de l'architecture JFC incluent :

• Orchestrateur et sous-agents : Un orchestrateur central délègue les tâches à des sous-agents spécialisés (Exécuteur, Réviseurs, Rédacteur de notes, Typographe, Arbitre) en utilisant l'environnement Claude Code (modèle Opus 4.8). L'orchestrateur n'écrit jamais de code et ne lit pas l'intégralité des fichiers de données ; il gère le flux de travail via des artefacts écrits.
• Phases séquentielles avec barrières (Gates) : L'analyse est décomposée en phases séquentielles (Stratégie, Exploration, Traitement, Inférence, Documentation). Chaque phase est verrouillée par la production d'un artefact écrit (ex. STRATEGY.md, SELECTION.md) et doit passer une révision indépendante avant de procéder.
• Système de révision multi-agents : Pour remplacer le processus de révision humain distribué des collaborations traditionnelles, JFC emploie un panel de réviseurs IA spécialisés :
  • Réviseur de Physique : Évalue la validité physique (modélisation du signal, estimation du bruit de fond) sans accès à la méthodologie interne du cadre, agissant comme un arbitre externe.
  • Réviseur Critique : Vérifie la conformité aux spécifications méthodologiques et aux conventions.
  • Réviseur Constructif : Suggère des améliorations et des alternatives.
  • Validateur de Graphiques : Effectue des vérifications programmatiques sur les figures (rendements, unités, cohérence) et détecte les signaux d'alerte (ex. rendements négatifs, non-convergence des ajustements).
  • Arbitre : Synthétise les conclusions des réviseurs en un verdict PASS, ITERATE ou ESCALATE.
• *Récupération de connaissances (Knowledge Retrieval) : Le cadre intègre SciTreeRAG pour récupérer des connaissances spécifiques au domaine à partir d'un corpus d'articles publiés (ex. ALEPH, DELPHI, CMS). Cela permet aux agents d'adapter les critères de sélection et les évaluations d'incertitudes systématiques en se basant sur des pratiques expérimentales établies plutôt que de s'appuyer uniquement sur leurs données d'entraînement.
• Protocole d'aveuglement (Blinding) : Le cadre impose un protocole d'aveuglement strict. L'analyse progresse en utilisant des jeux de données Asimov (résultats attendus) jusqu'à une phase de « Déblindage Partiel » (10 % des données de signal) qui est revue et explicitement approuvée par un humain. Ce n'est qu'après l'approbation humaine que l'agent procède au « Déblindage Complet » sur l'ensemble du jeu de données.
• Pile logicielle (Software Stack) : Le système impose une pile purement Python (uproot, awkward-array, hist, pyhf, mplhep) pour garantir la reproductibilité et éviter les dépendances héritées du C++.

Contributions clés

1. Exécution autonome de bout en bout : L'article démontre qu'un agent IA peut planifier, exécuter et documenter de manière autonome une analyse HEP complète — de la sélection d'événements et l'estimation du bruit de fond jusqu'à l'inférence statistique et la rédaction de l'article — à partir d'un simple prompt en langage naturel et de l'accès à des données ouvertes.
2. Nouvelle mesure : Le cadre a produit la première mesure de la densité primaire du plan de Lund dans les désintégrations hadroniques du Z à partir des données ALEPH. À la connaissance des auteurs, il s'agit de la première fois que cet observable est mesuré dans les collisions $e^+e^-$ et la première nouvelle mesure de HEP produite entièrement de manière autonome par un agent IA.
3. Reproduction de résultats établis : Le système a reproduit avec succès une mesure de la force du signal du boson de Higgs de CMS ($H \to \tau^+\tau^-$) dans le canal $\mu\tau_h$ en utilisant les données ouvertes de CMS. Le résultat ($\hat{\mu} = 1,20 \pm 1,13$) est cohérent avec la valeur publiée par CMS ($\mu = 1,01 \pm 0,41$) à $0,16\sigma$ près, validant la capacité du cadre à répliquer des modèles statistiques complexes.
4. Validation par révision multi-agents : L'article établit qu'un système de révision multi-agents peut efficacement détecter les erreurs (ex. priors de bruit de fond incorrects, signification surestimée) et imposer des normes rigoureuses comparables aux révisions de collaborations humaines, réduisant ainsi le besoin d'intervention humaine continue pendant les phases de codage et de débogage.

Résultats
Les auteurs ont appliqué JFC à six analyses distinctes à travers les données ouvertes d'ALEPH, DELPHI et CMS :

• Observables scalaires : L'agent a produit des mesures pour les paramètres de la forme de la raie du Z ($M_Z, \Gamma_Z, \sigma_{had}^0$), les observables de saveur lourde ($R_b, A_{FB}^b$) et les formes d'événements ($\alpha_s$). Huit des neuf comparaisons scalaires se situaient dans un intervalle de $|pull| < 2$ par rapport aux valeurs de référence publiées. Une exception ($\Gamma_Z$) a montré une déviation de $-3,4\sigma$, imputable à un problème résiduel d'efficacité aux points de balayage hors pic.
• Quantification de l'incertitude : Bien que les valeurs centrales soient généralement cohérentes, les incertitudes de l'agent étaient souvent plus larges que les résultats publiés (ex. l'incertitude du $\mu\tau_h$ de CMS était presque trois fois supérieure à la valeur publiée), reflétant les limites de l'utilisation de jeux de données ouverts partiels et de configurations finales uniques plutôt que des jeux de données complets de collaborations.
• Évaluation qualitative : L'agent a systématiquement sélectionné des stratégies d'analyse standards (ex. unfolding bayésien itératif, vraisemblances HistFactory) et a identifié correctement les sources d'incertitude systématique. Les notes d'analyse et les figures générées étaient de qualité publication, bien que certaines aient nécessité un raffinement itératif par les agents de révision pour corriger le formatage ou des erreurs logiques.
• Efficacité : Le pipeline complet pour une seule analyse a pris environ 10 heures de temps réel (incluant le temps d'attente pour les limites de débit), le temps de calcul actif étant nettement plus court.

Signification et revendications
L'article soutient que la communauté expérimentale de la HEP sous-estime les capacités actuelles des systèmes d'IA agentiques. Les auteurs affirment que :

• Capacité actuelle : Les agents IA peuvent déjà gérer la « charge technique répétitive » du développement de code d'analyse, libérant les chercheurs pour qu'ils se concentent sur l'intuition physique, le développement de méthodes novatrices et la validation rigoureuse.
• Non pas un remplacement, mais un délestage : Les auteurs déclarent explicitement qu'ils ne demandent pas à l'IA de remplacer les physiciens. Le résultat final de toute analyse assistée par l'IA doit être minutieusement vérifié et validé par des experts du domaine. Le rôle du physicien passe de celui d'implémenteur à celui d'architecte et de critique.
• Changement de paradigme : Le cadre suggère la nécessité de repenser la formation des étudiants, l'organisation des efforts d'analyse et l'allocation de l'expertise humaine. Si l'implémentation peut être compressée de plusieurs années à quelques mois (ou jours), le goulot d'étranglement en HEP passe de la capacité de codage à l'idée physique et à la bande passante de révision humaine.
• Réanalyse de données héritées (Legacy) : Le cadre offre une voie pour réanalyser systématiquement les vastes archives de données héritées (ex. LEP, Tevatron) en utilisant des logiciels et des techniques modernes, une tâche auparavant impraticable en raison de la perte d'expertise dans les bases de code héritées (ex. FORTRAN, PAW).

L'article conclut que, bien que les agents actuels ne soient pas parfaits et nécessitent une supervision humaine pour la validation et le déblindage, la technologie capable d'effectuer de manière autonome une analyse de niveau doctorat est déjà là, justifiant une expérimentation immédiate et le développement de flux de travail et de benchmarks responsables.