Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

Questo articolo presenta DUNE-GPT, un framework prototipale che utilizza modelli linguistici di grandi dimensioni e la generazione aumentata dal recupero per consentire l'interrogazione sicura, in linguaggio naturale, dell'estesa documentazione e delle risorse tecniche del Deep Underground Neutrino Experiment, migliorando così la produttività della collaborazione e l'onboarding.

L'essenziale

Immaginate l'esperimento DUNE come una biblioteca enorme e frenetica, dedicata a comprendere le particelle più elusive dell'universo (i neutrini). Questa biblioteca è così vasta che contiene milioni di libri, note, progetti e verbali di riunioni sparsi su diversi scaffali, alcuni in formato digitale e altri in raccoglitori cartacei. Per un nuovo bibliotecario (o uno scienziato) che cerca di trovare un dettaglio specifico su come funziona un rilevatore, cercare in questo labirinto può richiedere ore o giorni.

Il documento presenta DUNE-GPT, un nuovo "super-bibliotecario" progettato per risolvere questo problema. Ecco come funziona, suddiviso in concetti semplici:

1. Il Problema: Una Biblioteca Troppo Grande da Cercare

La collaborazione DUNE possiede così tante informazioni archiviate in posti diversi (come DocDB e Indico) che trovare risposte tecniche specifiche è difficile. È come cercare di trovare una singola frase in una biblioteca dove i libri sono disorganizzati e il catalogo è rotto.

2. La Soluzione: Un Assistente Intelligente e Interno

Il team ha costruito DUNE-GPT, un prototipo di strumento che agisce come una guida esperta. Invece di costringervi a cercare tra le cartelle, potete semplicemente porre una domanda in linguaggio naturale, come: "Come gestisce il rumore l'algoritmo di ricostruzione?" oppure "Dove sono i verbali della riunione di martedì scorso?".

3. Come Funziona: Il "Detective in Tre Fasi"

Il sistema non si limita a indovinare; segue un processo rigoroso in tre fasi per garantire l'accuratezza:

• Fase 1: Lettura e Indicizzazione (Il Cervello del Bibliotecario):
  Per prima cosa, il sistema legge tutti i documenti consentiti (rapporti tecnici, verbali di riunione, ecc.). Li suddivide in piccoli pezzi e crea una "mappa mentale" (chiamata embedding) di ciò di cui tratta ogni pezzo. Immaginate il bibliotecario che legge ogni libro e scrive una scheda riassuntiva per ogni pagina.

  • Nota: Sono molto cauti nel leggere solo i documenti che sono sicuri per tutti, escludendo file segreti o riservati.

• Fase 2: La Ricerca Rapida (Il Database Vettoriale):
  Quando ponete una domanda, il sistema non rilegge l'intera biblioteca. Utilizza invece un motore di ricerca ad alta velocità (chiamato FAISS) per trovare istantaneamente le pagine specifiche nella sua "maola mappa mentale" che corrispondono alla vostra domanda. È come se il bibliotecario estraesse istantaneamente i tre libri più rilevanti dallo scaffale in base alla vostra richiesta.

• Fase 3: La Risposta (Lo Scrittore AI):
  Il sistema prende quelle pagine specifiche che ha trovato e le consegna a un Modello di Linguaggio di Grandi Dimensioni (lo "scrittore AI"). L'AI legge solo quelle pagine e scrive una risposta per voi.

  • Funzione di Sicurezza Cruciale: All'AI viene ordinato: "Devi rispondere basandoti solo su queste pagine". Questo evita che l'AI inventi cose (un problema chiamato "allucinazione") e assicura che la risposta sia fondata su fatti reali di DUNE.

4. Sicurezza e Privacy: Il "Giardino Recintato"

Una delle maggiori preoccupazioni relative all'IA è la fuga di dati privati su internet pubblico. Per risolvere questo problema, il team DUNE ha costruito questo sistema interamente all'interno della propria rete informatica sicura (presso il Fermilab e l'Argonne).

• È come costruire la biblioteca all'interno di una fortezza sicura.
• Solo le persone con una chiave (collaboratori DUNE autenticati) possono entrare.
• Nessun dato esce dalla fortezza per andare verso società di IA pubbliche.

5. Cosa Hanno Scoperto Finora

Il team ha testato questo prototipo e ha scoperto che è piuttosto bravo nel suo lavoro.

• Accuratezza: Nei primi test, ha trovato correttamente i documenti circa il 70% delle volte, anche per domande difficili riguardanti dettagli dei rilevatori o flussi di lavoro della fisica.
• Interfaccia: Hanno costruito un sito web semplice dove gli scienziati possono digitare domande e ottenere risposte che includono link ai documenti originali, in modo da poter verificare la fonte.

6. Cosa C'è in Seguito?

Questo strumento è ancora un prototipo (una versione "beta"). Il team prevede di:

• Insegnargli a leggere altri tipi di file, come codice e log dei rilevatori.
• Renderlo capace di comprendere grafici e diagrammi complessi (immagini).
• Implementarlo nell'intera collaborazione affinché tutti possano usarlo.

In sintesi: DUNE-GPT è un motore di ricerca interno e sicuro che utilizza l'IA per aiutare gli scienziati a trovare risposte nella loro enorme biblioteca di documenti in modo rapido e accurato, senza mai lasciare la loro rete sicura o rischiare la privacy dei dati.

Sommario tecnico

Sintesi Tecnica: DUNE-GPT – Integrazione di Modelli Linguistici di Grandi Dimensioni per il Recupero della Conoscenza e l'Interazione

Problematica
L'esperimento DUNE (Deep Underground Neutrino Experiment) affronta sfide significative nella gestione della conoscenza a causa del volume senza precedenti e dell'eterogeneità dei suoi dati. Le informazioni sono distribuite su molteplici piattaforme, tra cui DocDB, Indico e wiki interne, comprendendo documentazione, note tecniche, dati sperimentali e pipeline di ricostruzione. Con la crescita della collaborazione, navigare in questo panorama distribuito per accedere a dettagli tecnici specifici riguardanti la ricostruzione, la simulazione e le operazioni del rivelatore diventa sempre più dispendioso in termini di tempo, specialmente per i nuovi collaboratori. Inoltre, l'impiego diretto di modelli linguistici di grandi dimensioni (LLM) commerciali o open-source in collaborazioni di Fisica delle Alte Energie (HEP) solleva critiche preoccupazioni riguardanti la privacy dei dati, la riproducibilità e l'accessibilità della rete, rendendo necessario una soluzione interna sicura.

Metodologia
Per affrontare queste sfide, gli autori hanno sviluppato DUNE-GPT, un framework prototipo che opera all'interno dell'ambiente computazionale di Fermilab. Il sistema utilizza un'architettura di Generazione Aumentata dal Recupero (RAG), composta da tre componenti primarie:

1. Elaborazione dei Documenti e Generazione degli Embedding: Il sistema ingerisce la documentazione DUNE pubblica e interna (ad esempio, report di progettazione tecnica, note di riunione, materiali dei gruppi di lavoro) da DocDB e Indico. La pre-elaborazione del testo prevede il parsing di vari formati (PDF, DOCX, TXT, PNG), l'estrazione dei metadati e la segmentazione a livello di token. I contenuti sensibili o riservati sono esclusi per conformarsi alle politiche della collaborazione. I documenti elaborati vengono trasformati in embedding tramite encoder basati su transformer (specificamente multi-qa-mpnet-base-dot-v1), ottimizzati per il testo scientifico.
2. Database Vettoriale e Motore di Recupero: Gli embedding generati sono memorizzati in un database vettoriale utilizzando Facebook AI Similarity Search (FAISS). Al ricevimento di una query dell'utente, il sistema esegue una ricerca di similarità tramite similarità del coseno per recuperare i segmenti di testo più rilevanti.
3. Interfaccia LLM per la Generazione delle Risposte: Gli snippet di contesto recuperati vengono inoltrati a LLM preesistenti ospitati su macchine di Argonne (Argo) e Fermilab (Ollama). L'LLM è condizionato su questi snippet di origine verificati per generare risposte. Questo approccio assicura che gli output rimangano radicati in fonti specifiche di DUNE, minimizzando il rischio di "allucinazione" pur mantenendo la privacy dei dati attraverso il mantenimento di tutte le operazioni all'interno dell'ambiente computazionale interno.

Contributi Chiave e Implementazione

• Architettura Interna Sicura: A differenza degli strumenti AI esterni, DUNE-GPT è progettato per operare interamente all'interno delle risorse computazionali di Fermilab e Argonne, garantendo che solo i collaboratori autenticati DUNE possano accedere allo strumento e che nessun dato sensibile lasci la rete interna.
• Interfaccia con Citazioni: Il sistema fornisce un'interfaccia web leggera dove gli utenti possono inviare query in linguaggio naturale. Le risposte generate sono formattate per includere citazioni che fanno riferimento ai documenti specifici recuperati dai database interni di DUNE, migliorando la tracciabilità.
• Deployment del Prototipo: Il prototipo è stato inizialmente sviluppato utilizzando il supercomputer Aurora presso l'Argonne Leadership Computing Facility (ALCF) con un backend Python che integra librerie open-source. Il piano a lungo termine prevede la migrazione dell'infrastruttura presso Fermilab per l'hosting a livello di collaborazione.

Risultati Preliminari
I benchmark iniziali indicano che il sistema basato su RAG raggiunge un'accuratezza di circa il 70% nel recupero della documentazione pertinente attraverso diverse tipologie di query, inclusi dettagli sui rivelatori, algoritmi di ricostruzione e workflow di analisi fisica. L'attuale frontend dimostra la capacità di visualizzare una domanda di esempio, la risposta generata e i tre riferimenti principali recuperati durante il processo di generazione.

Significatività e Prospettive Future
Il documento posiziona DUNE-GPT come un passo critico verso il miglioramento della produttività della collaborazione e dell'efficienza nell'onboarding, consentendo l'interrogazione in linguaggio naturale di risorse tecniche complesse. Gli autori mantengono un ambito modesto, sottolineando che lo strumento è attualmente in fase di attivo sviluppo. Il lavoro futuro si concentra su:

• Espandere il corpus di embedding per includere log di operazione del rivelatore e documentazione del codice.
• Sviluppare un LLM adattato al dominio specificamente per la comprensione del linguaggio HEP.
• Integrare contenuti multi-modali (ad esempio, grafici e figure).
• Stabilire l'hosting web presso Fermilab per facilitare l'accesso sicuro a tutta la collaborazione.
• Incorporare il feedback degli utenti per raffinare la qualità del recupero e l'usabilità dell'interfaccia.

Il lavoro rappresenta un approccio controllato e spiegabile all'integrazione dell'IA nei flussi di lavoro HEP, dando priorità alla sicurezza dei dati e alla verifica delle fonti rispetto al deployment di modelli esterni non verificati.