SciFi: A Safe, Lightweight, User-Friendly, and Fully Autonomous Agentic AI Workflow for Scientific Applications

Ce papier présente SciFi, un cadre d'IA agentique léger, sécurisé et convivial conçu pour exécuter de manière autonome des tâches scientifiques bien définies grâce à un environnement isolé et un mécanisme d'auto-évaluation, permettant ainsi aux chercheurs de se concentrer sur l'innovation.

L'essentiel

🚀 SciFi : Le Robot de Laboratoire qui ne dort jamais

Imaginez que vous êtes un scientifique. Vous avez une idée géniale, mais pour la vérifier, vous devez faire des centaines de tâches répétitives : installer des logiciels complexes, nettoyer des données, écrire du code, lancer des simulations et vérifier les résultats. C'est comme si vous deviez construire une maison brique par brique, seul, pendant des mois.

Les auteurs de ce papier, du laboratoire SLAC (aux États-Unis), ont créé SciFi. Ce n'est pas un robot physique, mais un système d'intelligence artificielle (IA) autonome conçu spécifiquement pour faire ce travail répétitif à votre place, en toute sécurité.

Voici comment cela fonctionne, avec quelques analogies amusantes :

1. La "Boîte de Sable" (Sécurité) 🛡️

Imaginez que vous donnez un marteau à un enfant dans un salon rempli de vases fragiles. C'est risqué !
Pour éviter que l'IA ne casse quelque chose d'important (comme effacer des données de tout le laboratoire), SciFi fait travailler l'IA dans une "boîte de sable" (un conteneur isolé).

• L'analogie : C'est comme un laboratoire de chimie virtuel. L'IA peut mélanger des produits, faire exploser des choses ou créer du chaos, mais tout reste enfermé dans la boîte. Si elle fait une erreur, elle ne touche jamais à votre ordinateur principal ou aux autres chercheurs. C'est sûr, propre et reproductible.

2. Le Chef, l'Ouvrier et l'Inspecteur (Le Cycle en 3 Couches) 🔄

Au lieu de donner un seul ordre à l'IA et d'espérer qu'elle réussit du premier coup, SciFi utilise une équipe de trois "agents" qui travaillent en boucle :

1. Le Chef (Planification) : Il lit votre demande et prépare le plan.
2. L'Ouvrier (Action) : Il exécute le code, installe les logiciels et lance les expériences.
3. L'Inspecteur (Vérification) : Il regarde le résultat. "Est-ce que ça marche ? Est-ce que le fichier est là ?".

• L'analogie : Imaginez un restaurant. Le chef donne la commande, le cuisinier prépare le plat, et le maître d'hôtel goûte avant de servir. Si le plat est trop salé (l'inspecteur dit "Non"), le cuisinier ne jette pas tout : il retourne en cuisine, ajuste la recette, et réessaie. Il continue de boucler jusqu'à ce que le plat soit parfait.

3. Le "Fais-le jusqu'à ce que..." (Auto-évaluation) ⏳

C'est la partie la plus intelligente. L'IA ne s'arrête pas quand elle est fatiguée, mais quand elle a réussi.

• L'analogie : C'est comme un jeu vidéo où vous devez atteindre un niveau précis pour gagner. L'IA va essayer, échouer, apprendre de ses erreurs, réessayer, et continuer ainsi jusqu'à ce qu'elle obtienne le score parfait. Elle ne vous dérange pas pour demander de l'aide à chaque petit problème. Elle résout les bugs toute seule.

4. Des Outils pour Tous les Gouts (Flexibilité) 🧰

Le système est conçu pour être léger et adaptable.

• L'analogie : C'est comme une boîte à outils modulaire. Si vous avez une tâche simple (comme faire un graphique), vous pouvez utiliser un petit marteau (un modèle d'IA simple et peu coûteux). Si vous avez une tâche très complexe (comme concevoir un circuit électronique), vous pouvez utiliser un marteau-piqueur puissant (un modèle d'IA très intelligent). Le système choisit automatiquement le bon outil pour le bon travail.

🧪 Ce qu'ils ont testé (Les Expériences)

Les chercheurs ont mis SciFi à l'épreuve avec quatre types de défis, du plus simple au plus fou :

1. Les tâches quotidiennes : Installer un logiciel, faire un graphique.
   • Résultat : SciFi a réussi rapidement, même avec des instructions très simples en langage naturel.
2. La reproduction d'un article scientifique : Recréer exactement les résultats d'une étude publiée (comme refaire une expérience de physique).
   • Résultat : En 15 minutes, SciFi a tout installé, fait tourner les calculs et produit les graphiques, là où un humain aurait pris des heures.
3. La conception de matériel (Firmware) : C'est le plus dur. Il fallait écrire du code pour des puces électroniques (FPGA) qui n'existait pas encore.
   • Résultat : Avec un peu d'aide humaine pour guider le début, SciFi a réussi à écrire le code complet et à le faire fonctionner. C'est comme si l'IA avait appris à être ingénieur en électronique.
4. Le défi ouvert (LHC Olympics) : Trouver une nouvelle particule dans des données complexes sans savoir exactement quoi chercher.
   • Résultat : Seul, l'IA a eu du mal (c'est trop ouvert). Mais quand un humain lui a donné une petite piste ("Regarde ici, utilise cette méthode"), l'IA a trouvé la solution très vite. Cela montre que l'IA est un super assistant, mais qu'elle a encore besoin de l'intuition humaine pour les grandes découvertes.

💡 En résumé

SciFi, c'est comme avoir un stagiaire robotique infatigable, ultra-sûr et très intelligent.

• Il ne casse rien (sécurité).
• Il ne se plaint pas (autonomie).
• Il apprend de ses erreurs (boucle de vérification).
• Il vous libère de la paperasse pour que vous puissiez vous concentrer sur la vraie créativité et les grandes questions scientifiques.

L'objectif n'est pas de remplacer les scientifiques, mais de leur enlever le travail ennuyeux pour qu'ils puissent passer plus de temps à rêver et à découvrir l'inconnu. C'est l'avenir de la recherche : l'humain dirige, la machine exécute.

Résumé technique

1. Problématique

Les avancées récentes en matière d'IA agentique (systèmes capables de planifier, agir, observer et réviser de manière itérative) ont permis des flux de travail plus autonomes. Cependant, leur déploiement fiable dans la recherche scientifique réelle fait face à plusieurs défis majeurs :

• Manque de fiabilité et de sécurité : Les systèmes existants sont souvent des prototypes de recherche ou des architectures opaques qui ne garantissent pas une exécution sans surveillance sur des infrastructures partagées.
• Complexité de l'exécution : Une grande partie du travail scientifique est chronophage non pas parce que les objectifs sont flous, mais parce que l'exécution est hautement personnalisée (débogage de firmware, visualisation de données, optimisation de code). Ces tâches sont faciles à spécifier haut niveau mais difficiles à convertir en procédures exécutables réutilisables.
• Limites des systèmes actuels : Les agents actuels dépendent souvent d'une génération « en un seul coup » (one-shot) de étapes détaillées ou nécessitent une supervision humaine fréquente, ce qui limite leur valeur comme infrastructure de recherche économisant du temps.

L'objectif est de créer un système capable de gérer des tâches scientifiques en boucle fermée (objectifs clairs, contraintes explicites, critères d'arrêt vérifiables) avec une intervention humaine minimale, tout en assurant la sécurité et la reproductibilité.

2. Méthodologie : Le Framework SciFi

Les auteurs proposent SciFi, un framework agentique conçu spécifiquement pour les tâches scientifiques en boucle fermée. Il repose sur trois principes directeurs : la sécurité, l'utilisabilité et l'extensibilité.

A. Architecture et Principes de Conception

1. Sécurité et Isolation des Ressources :

   • L'exécution se déroule entièrement dans un conteneur isolé (utilisant Apptainer/Singularity), empêchant tout effet secondaire sur l'infrastructure partagée.
   • L'accès aux ressources (GPU, réseau, stockage) est régi par des règles explicites et un principe de « déni par défaut » : si une ressource n'est pas explicitement autorisée, elle n'est pas accessible.
   • Cela garantit la reproductibilité et la sécurité lors d'une exécution sans surveillance.

2. Boucle Agentique à Trois Couches (Three-Layer Agent Loop) :

   • Le système fonctionne selon une boucle infinie de trois étapes : Pré-analyse (Pre-scan) → Travail (Work) → Révision (Review).
   • Pré-analyse : Analyse la description de la tâche, détermine la structure des sous-tâches, les dépendances et sélectionne le modèle LLM approprié.
   • Travail : Exécute les actions (utilisation d'outils, écriture de code) jusqu'à ce que l'objectif soit atteint.
   • Révision : Un agent indépendant vérifie si les critères d'attente (expectations) sont satisfaits. En cas d'échec, la boucle se relance avec des corrections basées sur l'historique.
   • Ce mécanisme « faire jusqu'à vérification » (do-until) assure que la tâche n'est considérée comme terminée que lorsque tous les critères sont validés.

3. Description de Tâche Auto-Évaluée (SAM - Self-Assessed Module) :

   • Les tâches sont définies sous forme de modules SAM en Markdown, contenant un Contexte, une To-do (actions requises) et une Expectation (critère de succès vérifiable).
   • La partie "Expectation" est extraite de manière déterministe et ne peut pas être modifiée par l'agent, garantissant l'intégrité de la boucle fermée.

4. Portail LLM et Classement des Modèles (LLM Gateway & Ranking) :

   • Le système utilise une passerelle (basée sur LiteLLM) pour unifier différents fournisseurs de modèles (open-weight et commerciaux).
   • Un mécanisme de classement (ranking) attribue des modèles de différentes capacités et coûts à différentes sous-tâches (ex: un modèle plus faible pour le travail d'exécution, un modèle plus fort pour la révision et la planification). Cela optimise les coûts tout en maintenant la performance.

5. Mémoire, Historique et Évolution :

   • Mémoire : Stocke les connaissances récurrentes (échecs, chemins explorés) pour éviter de répéter les mêmes erreurs.
   • Historique : Enregistre la trajectoire complète de chaque itération (tape-like) pour le débogage et l'audit.
   • Bibliothèque de Compétences (Skill Library) : Permet d'injecter des connaissances expertes (ex: configuration d'environnements spécifiques) pour accélérer la convergence.

3. Contributions Clés

• Framework Scientifique Sécurisé : Première implémentation d'un système agentique entièrement autonome conçu pour fonctionner sans surveillance sur des infrastructures scientifiques partagées grâce à l'isolation par conteneur.
• Mécanisme de Vérification Rigoureux : Introduction d'une boucle à trois agents avec un critère d'arrêt déterministe (SAM), réduisant les faux positifs et assurant la fiabilité des résultats.
• Flexibilité des Modèles : Capacité à utiliser une gamme de modèles LLM (du moins cher au plus performant) de manière dynamique, rendant le système économiquement viable et robuste.
• Interface Utilisateur Naturelle : Possibilité de lancer des tâches complexes via du langage naturel, tout en permettant une définition structurée pour les tâches critiques.

4. Résultats Expérimentaux

Les auteurs ont évalué SciFi sur une série de tâches en physique des hautes énergies (HEP) et d'autres domaines scientifiques :

• Tâches Scientifiques de Base : (I/O de fichiers, visualisation, analyse de données).

  • Les entrées en langage naturel simple (NL) ont souvent suffi pour les tâches simples, nécessitant moins d'itérations que des descriptions structurées complexes.
  • Tous les tests unitaires (15 familles de tâches) ont été réussis de manière autonome.

• Reproduction de Résultats de Recherche (Boucle Fermée) :

  • Reproduction autonome d'un article sur la simulation de calorimètres (Calo-VQ).
  • Le système a réussi à configurer l'environnement, exécuter l'inférence et générer les graphiques en 69 itérations (~15 minutes), en résolvant automatiquement des problèmes d'incompatibilité d'environnement (GLIBC, git-lfs) sans intervention humaine.

• Conception de Firmware et Intégration (Boucle Semi-Fermée) :

  • Débogage RTL : Identification et correction de bugs dans du code Verilog en moins de 30 itérations.
  • Complétion de Code : Complétion réussie d'une implémentation partielle de firmware.
  • Création de Zéro (From-Scratch) : Développement d'un wrapper RTL et d'une interface C++ à partir de zéro. Les résultats montrent que pour les tâches complexes, des instructions détaillées (Expert/Exhaustif) réduisent considérablement le nombre d'itérations par rapport à des indications vagues.

• Tâches Ouvertes (LHC Olympics 2020) :

  • Défi de Détection d'Anomalies : Le système a réussi à trouver une solution performante (AUC > 0.83) en combinant des méthodes existantes (CWoLa + VAE) lorsqu'il a été guidé par des connaissances humaines ou des instructions structurées.
  • Limites : En mode purement ouvert (sans guidance), le système a échoué à converger vers une solution optimale, soulignant que l'IA agentique actuelle nécessite encore une interaction humaine pour les tâches de recherche créative très ouvertes.

5. Signification et Conclusion

Le framework SciFi démontre qu'il est possible de déléguer des tâches scientifiques répétitives et bien définies à des agents autonomes, libérant ainsi les chercheurs pour des activités plus créatives.

• Impact : Le système offre une voie pratique pour automatiser les flux de travail scientifiques en boucle fermée, réduisant le temps de mise en œuvre et augmentant la reproductibilité.
• Futur : Bien que le système excelle dans les tâches structurées, il met en évidence la nécessité d'une boucle humaine (Human-in-the-Loop) pour les tâches de recherche ouvertes et créatives. L'avenir réside dans l'hybridation entre l'autonomie agentique et l'expertise humaine, soutenue par des modèles de fondation de plus en plus performants et un post-entraînement spécifique aux domaines scientifiques.

En résumé, SciFi pose les bases d'une nouvelle infrastructure de recherche où l'IA gère l'exécution technique, permettant aux scientifiques de se concentrer sur la conception et l'innovation.