Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

Ce document présente DUNE-GPT, un cadre prototype qui utilise des modèles de langage étendus et la génération augmentée par récupération pour permettre l'interrogation sécurisée en langage naturel de la documentation étendue et des ressources techniques de l'expérience Deep Underground Neutrino, améliorant ainsi la productivité de la collaboration et l'intégration des nouveaux membres.

L'essentiel

Imaginez l'expérience DUNE comme une immense bibliothèque animée, dédiée à la compréhension des particules les plus insaisissables de l'univers (les neutrinos). Cette bibliothèque est si vaste qu'elle contient des millions de livres, de notes, de plans et de comptes rendus de réunions éparpillés sur différentes étagères, certains sous formats numériques et d'autres dans des classeurs physiques. Pour un nouveau bibliothécaire (ou un scientifique) essayant de trouver un détail spécifique sur le fonctionnement d'un détecteur, fouiller dans ce labyrinthe peut prendre des heures ou des jours.

Le document présente DUNE-GPT, un nouveau « super-bibliothécaire » conçu pour résoudre ce problème. Voici comment il fonctionne, décomposé en concepts simples :

1. Le Problème : Une bibliothèque trop grande pour être fouillée

La collaboration DUNE possède tellement d'informations stockées à différents endroits (comme DocDB et Indico) qu'il est difficile de trouver une réponse technique spécifique. C'est comme essayer de trouver une phrase précise dans une bibliothèque où les livres sont désorganisés et le catalogue défectueux.

2. La Solution : Un assistant intelligent et interne

L'équipe a construit DUNE-GPT, un prototype d'outil qui agit comme un guide expérimenté. Au lieu de vous faire chercher dans des dossiers, vous pouvez simplement lui poser une question en langage courant, comme : « Comment l'algorithme de reconstruction gère-t-il le bruit ? » ou « Où sont les notes de réunion de mardi dernier ? ».

3. Comment cela fonctionne : Le « Détective en trois étapes »

Le système ne se contente pas de deviner ; il suit un processus strict en trois étapes pour garantir l'exactitude :

• Étape 1 : Lecture et indexation (Le cerveau du bibliothécaire) :
  D'abord, le système lit tous les documents autorisés (rapports techniques, notes de réunion, etc.). Il les décompose en minuscules morceaux et crée une « carte mentale » (appelée embedding) de ce que contient chaque morceau. Considérez cela comme le bibliothécaire lisant chaque livre et écrivant une fiche de résumé pour chaque page.

  • Note : Ils font très attention à ne lire que les documents qui sont sûrs et consultables par tous, en laissant de côté les fichiers secrets ou restreints.

• Étape 2 : La recherche rapide (La base de données vectorielle) :
  Lorsque vous posez une question, le système ne relit pas toute la bibliothèque. À la place, il utilise un moteur de recherche ultra-rapide (appelé FAISS) pour trouver instantanément les pages spécifiques de sa « carte mentale » qui correspondent à votre question. C'est comme si le bibliothécaire sortait instantanément les trois livres les plus pertinents de l'étagère en fonction de votre requête.

• Étape 3 : La réponse (L'écrivain IA) :
  Le système prend ces pages spécifiques qu'il a trouvées et les remet à un grand modèle de langage (l'« écrivain IA »). L'IA lit uniquement ces pages et rédige une réponse pour vous.

  • Fonctionnalité de sécurité cruciale : L'IA reçoit l'instruction suivante : « Tu dois répondre en te basant uniquement sur ces pages. » Cela empêche l'IA d'inventer des choses (un problème appelé « hallucination ») et garantit que la réponse est ancrée dans les faits réels de DUNE.

4. Sécurité et Confidentialité : Le « Jardin clos »

L'une des plus grandes inquiétudes concernant l'IA est la fuite de données privées vers l'internet public. Pour y remédier, l'équipe de DUNE a construit ce système entièrement à l'intérieur de son propre réseau informatique sécurisé (à Fermilab et Argonne).

• C'est comme construire la bibliothèque à l'intérieur d'une forteresse sécurisée.
• Seules les personnes possédant une clé (les collaborateurs DUNE authentifiés) peuvent y entrer.
• Aucune donnée ne quitte la forteresse pour aller vers des entreprises d'IA publiques.

5. Ce qu'ils ont trouvé jusqu'à présent

L'équipe a testé ce prototype et a constaté qu'il est très performant dans son travail.

• Précision : Lors des premiers tests, il a trouvé avec succès les bons documents environ 70 % du temps, même pour des questions complexes sur les détails des détecteurs ou les flux de travail de la physique.
• Interface : Ils ont construit un site web simple où les scientifiques peuvent taper des questions et obtenir des réponses incluant des liens vers les documents originaux, afin de pouvoir vérifier la source.

6. Quelles sont les prochaines étapes ?

L'outil est encore un prototype (une version « bêta »). L'équipe prévoit de :

• Lui apprendre à lire d'autres types de fichiers, comme du code et des journaux de bord de détecteurs.
• Lui faire comprendre des graphiques et des diagrammes complexes (images).
• Le déployer auprès de l'ensemble de la collaboration pour que tout le monde puisse l'utiliser.

En résumé : DUNE-GPT est un moteur de recherche interne sécurisé qui utilise l'IA pour aider les scientifiques à trouver des réponses dans leur immense bibliothèque de documents rapidement et avec précision, sans jamais quitter leur réseau sécurisé ni risquer la confidentialité de leurs données.

Résumé technique

Résumé technique : DUNE-GPT – Intégration de modèles de langage de grande taille pour la recherche de connaissances et l'interaction

Énoncé du problème
L'expérience DUNE (Deep Underground Neutrino Experiment) est confrontée à des défis importants en matière de gestion des connaissances en raison du volume sans précédent et de l'hétérogénéité de ses données. L'information est répartie sur plusieurs plateformes, notamment DocDB, Indico et des wikis internes, englobant la documentation, les notes techniques, les données expérimentales et les pipelines de reconstruction. À mesure que la collaboration s'étend, naviguer dans ce paysage distribué pour accéder à des détails techniques spécifiques concernant la reconstruction, la simulation et les opérations du détecteur devient de plus en plus chronophage, particulièrement pour les nouveaux collaborateurs. De plus, le déploiement direct de modèles de langage de grande taille (LLM) commerciaux ou ouverts au sein des collaborations de physique des hautes énergies (HEP) soulève des préoccupations critiques concernant la confidentialité des données, la reproductibilité et l'accessibilité réseau, nécessitant une solution interne sécurisée.

Méthodologie
Pour répondre à ces défis, les auteurs ont développé DUNE-GPT, un cadre prototype opérant au sein de l'environnement informatique de Fermilab. Le système utilise une architecture de Génération Augmentée par Récupération (RAG), composée de trois éléments principaux :

1. Traitement des documents et génération d'embeddings : Le système ingère la documentation DUNE accessible au public et interne (par exemple, les rapports de conception technique, les notes de réunion, les documents de groupes de travail) provenant de DocDB et d'Indico. Le prétraitement du texte consiste à analyser divers formats (PDF, DOCX, TXT, PNG), à extraire les métadonnées et à effectuer une segmentation au niveau des tokens. Les contenus sensibles ou restreints sont exclus pour se conformer aux politiques de la collaboration. Les documents traités sont convertis en vecteurs (embeddings) à l'aide d'encodeurs basés sur les transformers (spécifiquement multi-qa-mpnet-base-dot-v1), optimisés pour le texte scientifique.
2. Base de données vectorielle et moteur de recherche : Les embeddings générés sont stockés dans une base de données vectorielle utilisant la recherche de similarité Facebook AI Similarity Search (FAISS). Lors de la réception d'une requête utilisateur, le système effectue une recherche de similarité par cosinus pour récupérer les segments de texte les plus pertinents.
3. Interface LLM pour la génération de réponses : Les extraits de contexte récupérés sont transmis à des LLM préexistants hébergés sur des machines d'Argonne (Argo) et de Fermilab (Ollama). Le LLM est conditionné par ces extraits de sources vérifiées pour générer des réponses. Cette approche garantit que les sorties restent ancrées dans les sources spécifiques à DUNE, minimisant le risque d'« hallucination » tout en préservant la confidentialité des données grâce au maintien de toutes les opérations au sein de l'environnement informatique interne.

Contributions clés et mise en œuvre

• Architecture interne sécurisée : Contrairement aux outils d'IA externes, DUNE-GPT est conçu pour fonctionner entièrement dans les ressources informatiques de Fermilab et d'Argonne, garantissant que seuls les collaborateurs authentifiés de DUNE peuvent accéder à l'outil et qu'aucune donnée sensible ne quitte le réseau interne.
• Interface avec citations : Le système propose une interface web légère où les utilisateurs peuvent soumettre des requêtes en langage naturel. Les réponses générées sont formatées pour inclure des citations faisant référence aux documents spécifiques extraits des bases de données internes de DUNE, renforçant ainsi la traçabilité.
• Déploiement du prototype : Le prototype a été initialement développé sur le supercalculateur Aurora de l'Argonne Leadership Computing Facility (ALCF) avec un backend Python intégrant des bibliothèques open-source. Le plan à long terme prévoit la migration de l'infrastructure vers Fermilab pour un hébergement à l'échelle de la collaboration.

Résultats préliminaires
Les premiers tests de performance indiquent que le système basé sur la RAG atteint une précision d'environ 70 % dans la récupération de la documentation pertinente à travers divers types de requêtes, incluant les spécificités du détecteur, les algorithmes de reconstruction et les flux de travail d'analyse physique. Le frontend actuel démontre la capacité d'afficher une question d'exemple, la réponse générée et les trois références principales utilisées dans le processus de génération.

Signification et perspectives d'avenir
L'article positionne DUNE-GPT comme une étape critique vers l'amélioration de la productivité et de l'efficacité de l'intégration au sein de la collaboration en permettant l'interrogation en langage naturel de ressources techniques complexes. Les auteurs maintiennent un champ d'action modeste, notant que l'outil est actuellement en développement actif. Les travaux futurs se concentrent sur :

• L'extension du corpus d'embeddings pour inclure les journaux d'exploitation du détecteur et la documentation du code.
• Le développement d'un LLM adapté au domaine, spécifiquement pour la compréhension du langage de la physique des hautes énergies (HEP).
• L'intégration de contenus multimodaux (par exemple, des graphiques et des figures).
• L'établissement de l'hébergement web à Fermilab pour faciliter un accès sécurisé à l'échelle de la collaboration.
• L'incorporation des retours utilisateurs pour affiner la qualité de la recherche et l'utilisabilité de l'interface.

Ce travail représente une approche contrôlée et explicable de l'intégration de l'IA dans les flux de travail de la physique des hautes énergies, privilégiant la sécurité des données et la vérification des sources plutôt que le déploiement de modèles externes non vérifiés.