HepScript: A Dual-Use DSL for Human-AI Collaborative Data Analysis Workflows in High-Energy Physics

Ce papier présente HepScript, un langage de domaine spécifique à double usage pour la physique des hautes énergies qui sert d'interface formelle pour abstraire la logique d'analyse complexe, permettant aux experts humains de rédiger un code concis tout en permettant aux agents intelligents de générer de manière fiable des spécifications exécutables à partir de la littérature, réduisant ainsi considérablement l'effort manuel et résolvant des défis d'automatisation auparavant insolubles.

L'essentiel

La Grande Image : Le Problème du « Traducteur »

Imaginez la physique des hautes énergies (HEP) comme une immense compétition de cuisine à haut risque. Chaque année, les chefs (physiciens) de l'expérience Spectromètre III de Pékin (BESIII) génèrent une montagne d'ingrédients (des pétaoctets de données). Pour gagner, ils doivent préparer des plats spécifiques (analyser des données) afin de découvrir de nouvelles saveurs (découvertes scientifiques).

Cependant, il y a un problème :

1. La Recette est Complexe : La « cuisine » (le logiciel informatique) est incroyablement compliquée. Elle utilise un mélange d'outils anciens et de gadgets modernes. Écrire une recette qui fonctionne dans cette cuisine nécessite des connaissances secrètes et profondes que seuls les chefs en chef possèdent.
2. L'Assistant IA est Intelligent mais Ignare : Nous avons un nouvel assistant IA (les Modèles de Langage) capable de lire n'importe quel livre de cuisine et d'écrire une recette. Mais si vous lui demandez de cuisiner dans cette cuisine spécifique, il échoue souvent. Il ne connaît pas les outils secrets, il se perd face aux machines complexes, et s'il fait une toute petite erreur, tout le plat brûle.

Le papier présente HepScript, une solution à ce problème.

La Solution : HepScript (Le « Traducteur Universel »)

Les auteurs ont créé un nouveau langage appelé HepScript. Imaginez-le comme un traducteur universel ou un menu spécialisé qui se situe entre les chefs humains et l'assistant IA.

Au lieu de demander à l'IA d'écrire du code directement dans le langage complexe de la cuisine (ce qui équivaut à lui demander de parler couramment français et allemand simultanément tout en jonglant), vous lui demandez d'écrire un ordre en HepScript.

Comment cela fonctionne :

1. Pour les Humains : HepScript ressemble à une liste d'instructions simple et claire. « Sélectionnez les pommes rouges », « Mélangez avec du sucre », « Cuisez à 180 degrés ». Il dissimule toute la machinerie effrayante et complexe en dessous.
2. Pour l'IA : Parce que HepScript est un langage strict et limité (un « Langage Spécifique au Domaine » ou DSL), il offre à l'IA un petit terrain de jeu sécurisé. L'IA n'a pas à deviner comment utiliser la cuisine ; elle doit simplement remplir les blancs du menu.
3. L'Étape Magique : Une fois le menu HepScript écrit, un « processeur » spécial (un robot traducteur) le lit et écrit automatiquement le code technique complexe nécessaire pour exécuter réellement l'expérience dans la vraie cuisine.

Le Super-Pouvoir « à Double Usage »

Le papier qualifie HepScript de « à double usage » car il fonctionne parfaitement pour deux personnes différentes :

• L'Expert Humain : Il peut lire le HepScript et comprendre la logique physique immédiatement sans se perdre dans les détails techniques.
• L'Agent IA : Parce que le langage est strict et limité, l'IA peut le générer avec une très grande précision. Il est beaucoup plus facile pour une IA de remplir un formulaire strict que d'écrire un roman.

Les Résultats : Ce qui s'est passé dans le Laboratoire

L'équipe a testé ce système avec de vrais articles de physique de l'expérience BESIII. Voici ce qu'ils ont découvert :

• Moins de Travail pour les Humains : En utilisant HepScript, la quantité de code que les humains devaient écrire a chuté de 93 %. C'est comme passer de la rédaction d'un manuel de 100 pages au simple remplissage d'une liste de contrôle de 7 pages.
• L'IA s'est Nettement Améliorée : Lorsqu'ils ont demandé à des modèles d'IA de lire un article de physique publié et d'écrire les instructions HepScript correspondantes :
  • Dès la première tentative, l'IA a réussi environ 47 % du temps.
  • Mais voici l'astuce : Ils ont laissé l'IA réessayer si elle faisait une erreur (en utilisant une « boucle agentique »). L'IA voyait l'erreur, la corrigeait et réessayait.
  • Après seulement trois tentatives, l'IA a réussi 95 % du temps.
• Preuve que cela Fonctionne : Ils ont pris les instructions générées par l'IA, les ont passées dans le système, et l'ordinateur a réussi à recréer exactement les graphiques et les résultats des articles de physique originaux.

L'Analogie des « Barrières de Sécurité »

Pourquoi cela fonctionne-t-il si bien ?
Imaginez que l'IA est une voiture.

• Sans HepScript : L'IA conduit sur une autoroute ouverte sans voies, sans panneaux et sans limites de vitesse. Il est facile de faire un accident ou de se perdre.
• Avec HepScript : L'IA conduit sur un monorail. Les rails (la grammaire de HepScript) forcent la voiture à rester sur la bonne voie. Elle ne peut pas sortir de la route. Elle ne peut pas percuter le paysage. Elle doit simplement avancer le long de la voie. Cela rend le voyage sûr et prévisible.

Résumé

Le papier démontre qu'en créant un « langage intermédiaire » simple et strict (HepScript), nous pouvons apprendre à l'IA à effectuer un travail scientifique complexe qu'elle ne pouvait pas gérer auparavant. Cela transforme un problème de codage chaotique et ouvert en un puzzle structuré et résoluble. Cela permet aux humains et à l'IA de travailler ensemble : l'humain fournit l'intention scientifique, et l'IA gère le gros œuvre de l'écriture du code, le tout guidé par les règles sûres et structurées de HepScript.

Résumé technique

1. Énoncé du problème

La physique des hautes énergies (HEP) fait face à un goulot d'étranglement critique dans l'efficacité de l'analyse des données en raison de la croissance exponentielle des données (du pétaoctet à l'exaoctet). Bien que les modèles de langage à grande échelle (LLM) offrent un potentiel d'automatisation, ils peinent à gérer de manière autonome des workflows scientifiques complexes pour trois raisons principales :

• Écart de connaissances spécialisées : Les LLM manquent des connaissances tacites et approfondies nécessaires pour structurer des workflows physiques complexes et multi-étapes (par exemple, la reconstruction de particules, l'ajustement cinématique).
• Écart sémantique : Il existe une déconnexion entre les objectifs d'analyse de haut niveau (par exemple, « mesurer une fraction de branchement ») et le code de bas niveau, spécifique aux frameworks (par exemple, C++ pour BOSS, scripts ROOT), requis pour les exécuter.
• Espace d'action illimité : La génération de code ouverte par les LLM conduit souvent à des hallucinations, une incohérence logique ou à du code qui échoue à compiler dans des environnements de production, car l'espace des variations de code possibles est trop vaste.

2. Méthodologie : HepScript

Les auteurs proposent HepScript, un Langage Spécifique à un Domaine (DSL) à double usage, conçu pour servir d'interface formelle partagée entre les experts humains et les agents IA.

• Concept central : HepScript abstrait la logique d'analyse HEP en une syntaxe de haut niveau contrainte. Il agit comme un « mécanisme d'ancrage » qui transforme la génération de code ouverte en une tâche de prédiction de séquence gérable.
• Architecture :
  • DSL intégré : Implémenté comme un DSL intégré à Ruby pour tirer parti de la lisibilité de Ruby, de ses capacités de méta-programmation et de ses interfaces fluides.
  • Pipeline de génération de code : HepScript ne s'exécute pas directement. Un Processeur DSL dédié traduit les spécifications HepScript en code cible pour la pile logicielle BESIII :
    • BOSS (C++) : Pour la simulation, la reconstruction et la sélection de base.
    • ROOT (C++/Python) : Pour la sélection avancée, la visualisation et l'inférence statistique.
    • Scripts auxiliaires : Bash/Python pour la configuration des travaux.
  • Stratégie de traduction hybride : Le processeur utilise trois méthodes :
    1. Génération par modèles : Pour les structures statiques.
    2. Génération par traducteur : Pour la syntaxe complexe via des classes Ruby personnalisées.
    3. Génération assistée par LLM : Utilisée spécifiquement pour des tâches ambiguës comme la logique de désintégration en cascade (mapping des particules vers les résonances) et la génération de scripts ROOT spécifiques.
• Principes de conception :
  • Lisibilité : Intuitif pour les physiciens.
  • Modularité : Blocs discrets pour les étapes d'analyse (Préparation des jeux de données, Sélection de base, Sélection avancée, Visualisation, Analyse statistique).
  • Grammaire contrainte : Limite l'espace d'action du LLM pour garantir que le code généré est logiquement cohérent et exécutable.

3. Contributions clés

1. Insight théorique : Démontre qu'un DSL bien conçu peut réduire l'espace d'action illimité du code spécifique aux frameworks, rendant la génération par LLM fiable et vérifiable.
2. Instantiation de HepScript : Un DSL concret, intégré à Ruby, co-conçu avec l'assistance d'un LLM, spécifiquement adapté à l'expérience BESIII (Spectromètre de Pékin III).
3. Validation empirique :
   • Efficacité humaine : Réduction du volume de code écrit par l'humain de 93 % en éliminant les modèles répétitifs et les routines redondantes.
   • Autonomie de l'IA : Permet aux LLM de générer de manière autonome des spécifications HepScript correctes et exécutables à partir de la littérature publiée, avec un taux de réussite de 95 % après des tentatives itératives d'agents.
4. Cadre généralisable : Fournit une méthodologie pour la conception, l'implémentation et l'évaluation de DSL qui peut être adaptée à d'autres domaines scientifiques intensifs en données.

4. Résultats de l'évaluation

Le système a été évalué sur 45 articles BESIII (filtrés parmi les 50 premiers sur arXiv) couvrant la préparation des jeux de données et la sélection de base.

• Performance des LLM :
  • Les taux de réussite initiaux pour les spécifications générées par LLM variaient de 43 % à 47 % (selon le modèle, par exemple GLM-4.7 vs DeepSeek-R1).
  • Les échecs étaient principalement dus à des erreurs de syntaxe (76 %) et à des interprétations erronées de la physique (24 %).
  • Boucle d'agent : En mettant en œuvre une boucle itérative où le LLM reçoit un retour d'erreur du compilateur/processeur, le taux de réussite a bondi à ~95 % après trois tentatives.
• Exécution du code :
  • Le code BOSS généré a compilé sans erreur dans 100 % des cas écrits par l'humain.
  • Les scripts ROOT générés ont reproduit avec succès les figures des articles originaux (par exemple, les distributions de masse invariante) dans des études de cas, validant ainsi le pipeline de bout en bout.
• Efficacité : L'abstraction a réduit le nombre de caractères du code requis d'une moyenne de 93 %, abaissant considérablement la barrière à la fois pour le prototypage humain et la définition de tâches par l'IA.

5. Importance et travaux futurs

• Changement de paradigme : HepScript déplace le goulot d'étranglement de l'automatisation de « comment exécuter une analyse » (codage) vers « quoi spécifier » (intention), permettant un système collaboratif humain-IA évolutif.
• Confiance et sécurité : Le DSL agit comme une barrière de sécurité, garantissant que les agents IA opèrent dans un environnement vérifié et contraint, ce qui est crucial pour la rigueur scientifique.
• Perspectives futures :
  • Mécanisme d'évolution autonome : Développer un système où la grammaire du DSL s'étend de manière autonome en fonction de la nouvelle littérature spécialisée et des lacunes d'utilisation.
  • Récupération consciente de la structure : Aller au-delà de la similarité textuelle sémantique (RAG) vers une récupération basée sur la topologie formelle des chaînes de désintégration de particules pour améliorer l'ancrage des LLM.
  • Mémoire d'agent : Créer une base de connaissances dynamique où les workflows réussis sont stockés sous forme de « compétences » pour les agents futurs.

Conclusion :
L'article établit qu'un DSL à double usage est une stratégie viable et puissante pour automatiser des workflows scientifiques complexes. En comblant le fossé entre l'expertise humaine, la génération par IA et les logiciels de production, HepScript démontre que l'analyse en physique des hautes énergies peut être efficacement automatisée, ouvrant la voie à une collaboration autonome de la recherche par l'IA.