Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

Dit artikel introduceert DUNE-GPT, een prototype framework dat gebruikmaakt van grote taalmodellen en retrieval-augmented generation om veilige, natuurlijke taal-gebaseerde queries op de uitgebreide documentatie en technische middelen van het Deep Underground Neutrino Experiment mogelijk te maken, waardoor de productiviteit van de samenwerking en het onboardingproces worden verbeterd.

De kern

Stel je het DUNE-experiment voor als een enorme, bruisende bibliotheek die gewijd is aan het begrijpen van de meest ongrijpbare deeltjes in het universum (neutrino's). Deze bibliotheek is zo groot dat deze miljoenen boeken, aantekeningen, blauwdrukken en vergaderverslagen bevat die verspreid liggen over verschillende planken, sommige in digitale formaten en andere in fysieke mappen. Voor een nieuwe bibliothecaris (of een wetenschapper) kan het zoeken naar een specifiek detail over hoe een detector werkt, uren of zelfs dagen duren.

Het paper presenteert DUNE-GPT, een nieuwe "super-bibliothecaris" die dit probleem moet oplossen. Dit is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: Een Bibliotheek die Te Groot is om te Doorzoeken

De DUNE-collaboratie heeft zoveel informatie opgeslagen op verschillende plaatsen (zoals DocDB en Indico) dat het vinden van specifieke technische antwoorden moeilijk is. Het is alsof je probeert een enkele zin te vinden in een bibliotheek waar de boeken ongeorganiseerd zijn en de catalogus kapot is.

2. De Oplossing: Een Slimme, Interne Assistent

Het team heeft DUNE-GPT gebouwd, een prototype tool die fungeert als een deskundige gids. In plaats van dat je door mappen moet zoeken, kun je het simpelweg in gewoon Engels vragen, zoals: "Hoe gaat het reconstructie-algoritme om met ruis?" of "Waar zijn de vergaderverslagen van afgelopen dinsdag?".

3. Hoe het Werkt: De "Driestaps-Detective"

Het systeem raadt niet zomaar wat; het volgt een strikt driestappenproces om nauwkeurigheid te garanderen:

• Stap 1: Lezen en Indexeren (Het Brein van de Bibliothecaris):
  Eerst leest het systeem alle toegestane documenten (technische rapporten, vergaderverslagen, etc.). Het breekt deze af in kleine stukjes en maakt een "mentale kaart" (een embedding genoemd) van waar elk stukje over gaat. Denk hierbij aan de bibliothecaris die elk boek leest en voor elke pagina een samenvattingskaartje schrijft.

  • Opmerking: Ze zijn zeer voorzichtig om alleen documenten te lezen die veilig voor iedereen inzichtelijk zijn, waarbij ze geheime of beperkte bestanden buiten beschouwing laten.

• Stap 2: De Snelle Zoekopdracht (De Vector Database):
  Wanneer je een vraag stelt, leest het systeem niet de hele bibliotheek opnieuw door. In plaats daarvan gebruikt het een supersnelle zoekmachine (genaamd FAISS) om direct de specifieke pagina's in zijn "mentale kaart" te vinden die bij jouw vraag passen. Het is alsof de bibliothecaris op basis van jouw zoekopdracht direct de drie meest relevante boeken uit de plank trekt.

• Stap 3: Het Antwoord (De AI-Schrijver):
  Het systeem neemt die specifieke pagina's die het gevonden heeft en geeft ze aan een Large Language Model (de "AI-schrijver"). De AI leest alleen die pagina's en schrijft een antwoord voor je.

  • Cruciale Veiligheidsfunctie: De AI krijgt de instructie: "Je moet antwoorden op basis van alleen deze pagina's." Dit voorkomt dat de AI dingen verzint (een probleem dat "hallucinatie" wordt genoemd) en zorgt ervoor dat het antwoord geworteld is in echte DUNE-feiten.

4. Veiligheid en Privacy: De "Ommuurde Tuin"

Een van de grootste zorgen bij AI is het lekken van privédata naar het publieke internet. Om dit op te lossen, heeft het DUNE-team dit systeem volledig binnen hun eigen beveiligde computernetwerk gebouwd (bij Fermilab en Argonne).

• Het is alsof je de bibliotheek binnen een veilig fort bouwt.
• Alleen mensen met een sleutel (geauthenticeerde DUNE-collaborateurs) kunnen naar binnen.
• Geen enkele data verlaat het fort om naar publieke AI-bedrijven te gaan.

5. Wat Ze Tot Nu Toe Hebben Ontdekt

Het team heeft deze prototype getest en heeft vastgesteld dat deze erg goed is in zijn werk.

• Nauwkeurigheid: In vroege tests vond het systeem de juiste documenten in ongeveer 70% van de gevallen, zelfs bij lastige vragen over detectordetails of physics-workflows.
• Interface: Ze hebben een eenvoudige website gebouwd waar wetenschappers vragen kunnen typen en antwoorden kunnen krijgen die inclusief links naar de originele documenten zijn, zodat je de bron kunt verifiëren.

6. Wat Volgt Er Nu?

Het instrument is nog een prototype (een "bèta-versie"). Het team is van plan om:

• Het te leren om meer soorten bestanden te lezen, zoals code en detectorlogs.
• Het complexe grafieken en diagrammen (afbeeldingen) te laten begrijpen.
• Het uit te rollen naar de gehele collaboratie zodat iedereen het kan gebruiken.

Samenvattend: DUNE-GPT is een beveiligde, interne zoekmachine die AI gebruikt om wetenschappers te helpen snel en nauwkeurig antwoorden te vinden in hun enorme bibliotheek met documenten, zonder ooit hun beveiligde netwerk te verlaten of de privacy van gegevens in gevaar te brengen.

Technische samenvatting

Technische Samenvatting: DUNE-GPT – Integratie van Large Language Models voor Kennisretrieval en Interactie

Probleemstelling
Het Deep Underground Neutrino Experiment (DUNE) staat voor aanzienlijke uitdagingen op het gebied van kennisbeheer vanwege de ongekende omvang en heterogeniteit van de data. Informatie is verspreid over meerdere platforms, waaronder DocDB, Indico en interne wiki's, bestaande uit documentatie, technische nota's, experimentele data en reconstructie-pipelines. Naarmate de samenwerking groeit, wordt het navigeren door dit gedistribueerde landschap om specifieke technische details met betrekking tot reconstructie, simulatie en detectoroperaties te ontsluiten, steeds tijdrovender, met name voor nieuwe medewerkers. Bovendien roept de directe inzet van commerciële of open Large Language Models (LLM's) binnen High-Energy Physics (HEP) samenwerkingen kritische zorgen op over dataprivacy, reproduceerbaarheid en netwerktoegankelijkheid, wat een veilige, interne oplossing noodzakelijk maakt.

Methodologie
Om deze uitdagingen aan te pakken, hebben de auteurs DUNE-GPT ontwikkeld, een prototype framework dat opereert binnen de computingomgeving van Fermilab. Het systeem maakt gebruik van een Retrieval-Augmented Generation (RAG) architectuur, bestaande uit drie primaire componenten:

1. Documentverwerking en Embedding Generatie: Het systeem importeert publiek toegankelijke en interne DUNE-documentatie (bijv. technische ontwerprapporten, vergaderverslagen, werkgroepmateriaal) van DocDB en Indico. Tekstpre-processing omvat het parsen van diverse formaten (PDF, DOCX, TXT, PNG), het extraheren van metadata en het uitvoeren van segmentatie op tokenniveau. Gevoelige of beperkte inhoud wordt uitgesloten om te voldoen aan de beleidsregels van de samenwerking. Verwerkte documenten worden ge-embedded met behulp van transformer-gebaseerde encoders (specifiek multi-qa-mpnet-base-dot-v1), geoptimaliseerd voor wetenschappelijke tekst.
2. Vector Database en Retrieval Engine: De gegenereerde embeddings worden opgeslagen in een vector database met behulp van Facebook AI Similarity Search (FAISS). Bij ontvangst van een gebruikersquery voert het systeem een gelijkeniszoekopdracht uit met behulp van cosine similarity om de meest relevante tekstsegmenten te extraheren.
3. LLM Interface voor Responsgeneratie: De opgehaalde contextfragmenten worden doorgegeven aan reeds bestaande LLM's die gehost worden op machines van Argonne (Argo) en Fermilab (Ollama). De LLM wordt geconditioneerd op deze geverifieerde bronfragmenten om responsen te genereren. Deze aanpak zorgt ervoor dat de outputs geworteld blijven in DUNE-specifieke bronnen, wat het risico op "hallucinaties" minimaliseert terwijl de dataprivacy behouden blijft door alle operaties binnen de interne computingomgeving te houden.

Kernbijdragen en Implementatie

• Veilige Interne Architectuur: In tegen tegenstelling tot externe AI-tools is DUNE-GPT ontworpen om volledig binnen de computingresources van Fermilab en Argonne te opereren, wat garandeert dat alleen geauthenticeerde DUNE-medewerkers toegang hebben tot de tool en dat geen gevoelige data het interne netwerk verlaat.
• Citatie-ondersteunde Interface: Het systeem biedt een lichtgewicht webinterface waar gebruikers natuurlijke taalvragen kunnen indienen. De gegenereerde responsen worden geformatteerd inclusief citaties die refereren aan de specifieke documenten die uit de interne DUNE-databases zijn opgehaald, wat de traceerbaarheid bevordert.
• Prototype Deployment: Het prototype werd initieel ontwikkeld met de Aurora supercomputer bij de Argonne Leadership Computing Facility (ALCF) met een Python backend die gebruikmaakt van open-source bibliotheken. Het langetermijnplan behelst de migratie van de infrastructuur naar Fermilab voor hosting voor de gehele samenwerking.

Voorlopige Resultaten
Initiële benchmarks geven aan dat het RAG-gebaseerde systeem een nauwkeurigheid van ongeveer 70% bereikt bij het ophalen van relevante documentatie over diverse soorten queries, waaronder detector-specificaties, reconstructie-algoritmen en physics analyse-workflows. De huidige frontend demonstreert het vermogen om een voorbeeldvraag, de gegenereerde respons en de top drie opgehaalde referenties die gebruikt zijn in het generatieproces weer te geven.

Betekenis en Toekomstverwachting
Het artikel positioneert DUNE-GPT als een cruciale stap naar het verbeteren van de productiviteit en het onboardingsproces binnen de samenwerking door natuurlijke taalvragen mogelijk te maken op complexe technische bronnen. De auteurs hanteren een bescheiden reikwijdte en merken op dat de tool momenteel onder actieve ontwikkeling is. Toekomstig werk richt zich op:

• Het uitbreiden van de embedding corpus om detector-logboeken en code-documentatie te bevatten.
• Het ontwikkelen van een domein-adaptieve LLM specifiek voor begrip van de HEP-taal.
• Het integreren van multi-modale content (bijv. plots en figuren).
• Het vestigen van webhosting bij Fermilab om veilige, samenwerkingsbrede toegang te faciliteren.
• Het incorporeren van gebruikersfeedback om de kwaliteit van de retrieval en de bruikbaarheid van de interface te verfijnen.

Het werk vertegenwoordigt een gecontroleerde, verklaarbare aanpak voor de integratie van AI in HP-workflows, waarbij de prioriteit ligt bij datasecurity en bronverificatie boven de inzet van ongeverifieerde externe modellen.