Bridging the Gap on AI-Assisted Scientific Software Development Through Transparency and Traceability

Cet article propose un cadre structuré pour la gouvernance du développement de logiciels scientifiques assisté par l'IA dans le respect de normes strictes d'assurance qualité telles que NQA-1, en utilisant le code d'énergie de fusion TMAP8 pour démontrer comment des processus de vérification et de validation transparents, traçables et auditable peuvent garantir la responsabilité humaine et la fiabilité des logiciels.

L'essentiel

Imaginez que vous construisez une centrale nucléaire. Le logiciel qui pilote les commandes est comme le cerveau de la centrale ; s'il contient un minuscule bug, les conséquences pourraient être catastrophiques. Pendant des décennies, la règle a été : « Seuls des humains écrivent ce code, et d'autres humains doivent vérifier chaque ligne individuellement. » Cela garantit la sécurité, la traçabilité et la responsabilité.

Maintenant, imaginez qu'un nouvel apprenti, incroyablement rapide et talentueux, arrive : un agent de codage par IA. Il peut écrire du code, exécuter des tests et rédiger de la documentation en quelques secondes. Mais voici le hic : cet apprenti fait parfois des « hallucinations ». Il pourrait écrire un code qui semble parfait et s'exécute sans plantage, mais qui en réalité fait la mauvaise chose mathématiquement — comme un chef qui hache parfaitement les légumes mais remplace accidentellement le sel par du sucre.

Cet article, intitulé « Combler le fossé dans le développement de logiciels scientifiques assisté par l'IA grâce à la transparence et à la traçabilité », aborde une grande question : Comment permettre à cet apprenti IA de nous aider à construire des logiciels critiques sans lui laisser glisser des erreurs dangereuses ?

Les auteurs soutiennent que bannir l'IA n'est pas la réponse (elle irait simplement dans la clandestinité et deviendrait encore plus dangereuse). À la place, nous avons besoin d'un cadre de gouvernance — un ensemble de règles strictes — pour gérer comment l'IA aide.

L'idée centrale : Le « terrain d'essai »

Pour tester ces règles, les auteurs ne se sont pas contentés de parler théorie ; ils ont construit un « terrain d'entraînement » en utilisant un outil logiciel scientifique spécifique appelé TMAP8.

Pensez à TMAP8 comme à un simulateur pour le tritium (un combustible radioactif utilisé dans l'énergie de fusion). Le logiciel est déjà célèbre pour être ultra-sûr et strictement réglementé (suivant les normes « NQA-1 », qui sont comme le « Gold Standard » de la sûreté nucléaire).

Les auteurs ont utilisé TMAP8 pour tester deux scénarios, agissant comme un simulateur de vol pour leurs nouvelles règles :

1. Le défi « Copier-Coller » : Ils ont demandé à l'IA de recréer une expérience scientifique connue à partir d'un article publié. L'IA devait traduire un modèle mathématique écrit par un humain en code.
   • Le résultat : L'IA était rapide pour les tâches ennuyeuses (mise en forme des fichiers, création de graphiques). Cependant, elle a manqué un détail subtil dans l'article original (un terme d'« annihilation de défauts »). Si un humain n'avait pas vérifié le travail, la simulation aurait été erronée. L'IA a fidèlement copié l'erreur présente dans l'article.
2. Le défi « Inventeur » : Ils ont demandé à l'IA de résoudre un problème où aucun modèle publié n'existait. L'IA devait deviner la physique, construire une hypothèse et la tester contre des données réelles.
   • Le résultat : L'IA était incroyable pour le brainstorming. Elle a rapidement essayé différentes façons de modéliser une fine couche de rouille (oxyde) sur une surface métallique, quelque chose qui prendrait des semaines à un humain pour prototyper. Elle a trouvé une solution fonctionnelle beaucoup plus vite qu'un humain seul.

Les nouvelles règles : Le contrat « AGENTS.md »

L'article propose une solution simple mais puissante : un fichier nommé AGENTS.md.

Pensez à ce fichier comme à un contrat ou un manuel de vol qui réside à l'intérieur du projet logiciel. Il indique à l'IA exactement comment se comporter. Voici ce que le contrat exige :

• Pas de secrets : Chaque fois que l'IA écrit du code, elle doit laisser une « facture » (métadonnées) disant : « J'ai écrit ceci, et voici ce à quoi je pensais. »
• L'humain est le capitaine : L'IA est le copilote, mais un humain doit toujours être celui qui valide le travail. L'humain est légalement et scientifiquement responsable du produit final.
• La vérification « Équipe Rouge » : L'IA ne peut pas simplement dire : « C'est fini. » Elle doit exécuter une batterie de tests automatisés (comme un crash-test) pour prouver que son code fonctionne. Si elle échoue, elle est renvoyée à la planche à dessin.
• Traçabilité : Vous devez pouvoir examiner le code des années plus tard et voir exactement quel outil IA a été utilisé, quelle version, et ce que l'humain a fait pour le corriger.

Les grandes leçons apprises

Grâce à leurs expériences, les auteurs ont découvert trois points clés :

1. L'IA est un accélérateur de vitesse, pas un remplacement : L'IA peut faire le gros œuvre de la frappe et de la mise en forme, libérant les humains pour la réflexion difficile. Mais l'humain doit toujours tenir le gouvernail.
2. L'hallucination « silencieuse » est le vrai danger : Les erreurs d'IA les plus effrayantes ne sont pas quand elle écrit du charabia ; ce sont quand elle écrit un code qui semble juste mais qui est scientifiquement faux. La seule façon de le détecter est avec un humain qui comprend la physique, pas seulement le code.
3. Les règles doivent être codées en dur : On ne peut pas simplement dire à l'IA : « S'il vous plaît, souvenez-vous d'être prudent. » L'IA oublie. À la place, les règles doivent être intégrées dans le logiciel lui-même (comme une porte qui ne s'ouvre pas tant que l'IA n'a pas attaché sa « facture » et passé les tests).

La conclusion

L'article conclut que nous n'avons pas à choisir entre « uniquement humain » et « uniquement IA ». Nous pouvons avoir une IA gouvernée.

En traitant le développement assisté par l'IA comme un projet nucléaire réglementé — où chaque étape est documentée, chaque sortie est testée, et un humain reste l'autorité ultime — nous pouvons profiter de la vitesse de l'IA sans sacrifier la sécurité et la confiance requises pour la découverte scientifique. Le but n'est pas d'arrêter l'IA ; c'est de s'assurer que son « apprentissage » est sûr, transparent et responsable.

Résumé technique

Résumé technique : Combler le fossé dans le développement de logiciels scientifiques assistés par l'IA grâce à la transparence et à la traçabilité

Énoncé du problème
La communauté des logiciels scientifiques fait face à un risque systémique découlant de l'adoption ad hoc, non guidée et largement non reconnue des modèles de langage de grande taille (LLM) et des systèmes d'IA agentique pour la génération de code, les tests et la documentation. Bien que ces outils accélèrent le développement, leur utilisation dans des domaines critiques pour la sécurité — spécifiquement ceux régis par des normes strictes d'assurance qualité logicielle (SQA) telles que le niveau 1 d'assurance qualité nucléaire (NQA-1) — pose des défis majeurs. Les cadres SQA traditionnels supposent une paternité humaine et une vérification indépendante. L'IA introduit des modes de défaillance corrélés (où le même modèle génère à la fois le code et les tests), augmente le volume et la complexité du code, et produit des « hallucinations » : des implémentations syntaxiquement valides mais sémantiquement incorrectes. Les flux de travail actuels manquent d'un cadre standardisé pour régir l'implication de l'IA, risquant ainsi l'intégrité des outils de modélisation et de simulation pertinents pour la sécurité, où la traçabilité, la vérification indépendante et les procédures documentées sont primordiales.

Méthodologie
Les auteurs proposent un cadre de gouvernance conçu pour intégrer le développement assisté par l'IA dans des environnements SQA rigoureux sans compromettre la qualité ni la responsabilité. Ce cadre est démontré à travers le développement de deux nouveaux cas de validation et vérification (V&V) pour TMAP8, un code de migration du tritium open source conforme à la norme NQA-1 pour l'énergie de fusion.

La méthodologie repose sur un fichier de spécification léger au niveau du dépôt (AGENTS.md) qui encode les exigences de gouvernance directement dans l'infrastructure de développement. Les composants clés de la méthodologie incluent :

• Divulgation structurée : Toutes les contributions doivent inclure des métadonnées au niveau du commit détaillant le degré et la nature de l'implication de l'IA, liées aux problèmes de développement décrivant l'intention et la justification de la conception.
• Traçabilité : Des journaux de session lisibles par machine (.jsonl) des interactions avec l'IA sont stockés dans le contrôle de version, permettant la reconstruction stochastique du processus de développement.
• Responsabilité humaine : Un développeur humain est désigné comme auteur et assume l'entière responsabilité de la contribution. Crucialement, un réviseur humain indépendant est requis pour la vérification ; aucun système agentique, y compris les agents de révision adversariaux, n'est considéré comme suffisant pour satisfaire aux exigences de vérification de la norme NQA-1.
• Application automatisée : Des hooks pré-commit appliquent des exigences de provenance non négociables (par exemple, présence de journaux, complétude des métadonnées) et s'assurent que les contributions passent l'ensemble complet des tests V&V avant la révision.
• Études de cas :
  1. Défi d'implémentation : Reproduire un modèle analytique publié sur la libération du tritium à partir de Li₂TiO₃ irradié par des neutrons (Kobayashi et al.). L'agent a traduit un modèle existant en TMAP8 et a effectué une optimisation bayésienne des paramètres.
  2. Défi axé sur l'hypothèse : Modéliser la libération du deutérium à partir de tungstène auto-irradié avec des films d'oxyde minces (Kremer et al.) où aucun modèle publié n'existait. L'agent s'est engagé dans une construction de modèle axée sur l'hypothèse, proposant et testant des mécanismes physiques concurrents.

Contributions clés

1. Cadre de gouvernance : Un cadre pratique et déployable pour le développement assisté par l'IA qui s'aligne sur les exigences de la norme NQA-1. Il fait passer le paradigme de « humain uniquement » à « assistance par l'IA gouvernée », garantissant que l'implication de l'IA est visible, traçable et soumise à des contrôles de qualité.
2. Spécification AGENTS.md : Une implémentation concrète de la gouvernance en tant que code, définissant les normes d'exécution des tâches, de validation, de documentation et de révision, qui sont contrôlées en version parallèlement à la base de code.
3. Validation empirique : Le développement réussi de deux cas V&V distincts démontre que les agents IA peuvent accélérer à la fois l'implémentation de modèles établis et l'exploration d'hypothèses scientifiques novatrices, à condition qu'ils opèrent dans des limites strictes.
4. Identification des modes de défaillance : L'étude documente des modes de défaillance spécifiques, notamment la reproduction fidèle d'erreurs provenant de documents sources (par exemple, l'omission d'un terme d'annihilation de défauts) et la génération de code excessivement complexe ou halluciné, soulignant la nécessité d'une surveillance humaine.

Résultats
L'application du cadre a produit les résultats suivants :

• Gains de productivité : Le flux de travail assisté par l'agent a réduit le temps de développement d'un cas de validation d'environ 4 à 5 jours à environ 6 heures. Dans le cas axé sur l'hypothèse, l'agent a permis un prototypage rapide de formulations de modèles concurrentes qui auraient été trop coûteuses dans un flux de travail purement humain.
• Exactitude et erreurs :
  • Dans le cas 1, l'agent a traduit avec succès le modèle et optimisé les paramètres, réduisant l'erreur quadratique moyenne en pourcentage (RMSPE) de 23,1 % à 9,2 %. Cependant, il a initialement omis un terme critique d'annihilation de défauts du document source, une erreur détectée uniquement grâce à une révision humaine adversariale.
  • Dans le cas 2, l'agent a construit un modèle phénoménologique capturant l'influence des couches d'oxyde sur la libération du deutérium. Bien qu'il ait réussi à reproduire les tendances expérimentales principales à travers différentes épaisseurs d'oxyde, une intervention humaine a été nécessaire pour corriger la numérisation de données hallucinées et simplifier des structures de modèles trop complexes.
• Efficacité de la gouvernance : Les contraintes AGENTS.md et les hooks pré-commit ont efficacement imposé la traçabilité et empêché l'entrée de contributions sans provenance dans le processus de révision. Cependant, l'étude a noté que les agents peuvent toujours ignorer des instructions si elles tombent en dehors de leur fenêtre d'attention, nécessitant des contre-mesures structurelles comme des hooks automatisés plutôt que de compter uniquement sur les instructions de l'agent.

Portée et affirmations
L'article affirme que la transition vers le développement agentique est déjà une réalité, et que le choix critique pour la communauté scientifique n'est pas de savoir s'il faut permettre l'IA, mais comment la gouverner de manière responsable. Les auteurs affirment que :

• Compatibilité avec les normes : Les exigences SQA et NQA-1 existantes (traçabilité, vérification indépendante, responsabilité) sont compatibles avec le développement assisté par l'IA lorsqu'elles sont interprétées pour inclure des flux de travail d'IA dirigés par l'humain, à condition que l'humain reste l'auteur et le vérificateur responsable.
• Atténuation des risques systémiques : L'utilisation non réglementée de l'IA risque un « effondrement des modèles » à long terme, où les erreurs générées par l'IA se propagent à travers les données d'entraînement. Le cadre de provenance proposé permet aux conservateurs en aval de filtrer les contributions synthétiques, préservant ainsi l'intégrité de l'écosystème des logiciels scientifiques.
• V&V comme terrain d'essai : Les cas V&V, avec leurs critères d'exactitude objectifs et leur portée limitée, servent d'environnement idéal pour établir et itérer sur les pratiques de gouvernance de l'IA avant de les étendre au développement plus large de logiciels scientifiques.
• Évolution du rôle humain : Le rôle du développeur passe de la rédaction directe de code à l'ingénierie de prompts, à la révision des résultats et à la surveillance scientifique active. Bien que les coûts cognitifs pour les tâches individuelles diminuent, la charge de maintenir la surveillance scientifique et d'assurer la simplicité du modèle reste une responsabilité humaine critique.

L'article conclut qu'une gouvernance responsable des logiciels scientifiques assistés par l'IA est réalisable aujourd'hui dans le cadre des normes d'assurance qualité existantes, sans sacrifier les gains de productivité qui motivent l'adoption de l'IA.