Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

Dieses Paper stellt DUNE-GPT vor, ein Prototyp-Framework, das große Sprachmodelle und Retrieval-Augmented Generation nutzt, um eine sichere Abfrage der umfangreichen Dokumentation und der technischen Ressourcen des Deep Underground Neutrino Experiments mittels natürlicher Sprache zu ermöglichen und dadurch die Produktivität der Zusammenarbeit sowie das Onboarding zu verbessern.

Das Wesentliche

Stellen Sie sich das DUNE-Experiment als eine riesige, geschäftige Bibliothek vor, die dem Verständnis der rätselhaftesten Teilchen des Universums (Neutrinos) gewidmet ist. Diese Bibliothek ist so groß, dass sie Millionen von Büchern, Notizen, Blaupausen und Sitzungsprotokollen enthält, die über verschiedene Regale verstreut sind, teils in digitalen Formaten und teils in physischen Ordnern. Für einen neuen Bibliothekar (oder Wissenschaftler), der versucht, ein spezifisches Detail über die Funktionsweise eines Detektors zu finden, kann die Suche durch dieses Labyrinth Stunden oder sogar Tage dauern.

Das Paper stellt DUNE-GPT vor, einen neuen „Super-Bibliothekar“, der genau dieses Problem lösen soll. Hier ist die Funktionsweise, unterteilt in einfache Konzepte:

1. Das Problem: Eine Bibliothek, die zu groß zum Durchsuchen ist

Die DUNE-Kollaboration verfügt über so viele Informationen, die an verschiedenen Orten gespeichert sind (wie DocDB und Indico), dass es schwierig ist, spezifische technische Antworten zu finden. Es ist, als versuche man, einen einzelnen Satz in einer Bibliothek zu finden, in der die Bücher unorganisiert sind und der Katalog defekt ist.

2. Die Lösung: Ein intelligenter, interner Assistent

Das Team hat DUNE-GPT entwickelt, einen Prototyp eines Werkzeugs, das wie ein wissender Wegweiser fungiert. Anstatt Sie suchen zu lassen, durch Ordner zu wühlen, können Sie ihm einfach eine Frage in natürlicher Sprache stellen, wie zum Beispiel: „Wie geht der Rekonstruktionsalgorithmus mit Rauschen um?“ oder „Wo sind die Sitzungsprotokolle vom letzten Dienstag?“

3. Wie es funktioniert: Der „Dreischritt-Detektiv“

Das System rät nicht einfach; es folgt einem strengen dreistufigen Prozess, um Genauigkeit zu gewährleisten:

• Schritt 1: Lesen und Indexieren (Das Gehirn des Bibliothekars):
  Zuerst liest das System alle erlaubten Dokumente (technische Berichte, Sitzungsprotokolle usw.). Es zerlegt sie in winzige Stücke und erstellt eine „mentale Landkarte“ (genannt Embedding) davon, worum es in jedem Stück geht. Stellen Sie sich das so vor, als würde der Bibliothekar jedes Buch lesen und für jede Seite eine Zusammenfassungskarte schreiben.

  • Hinweis: Sie achten sehr genau darauf, nur Dokumente zu lesen, die für alle einsehbar sind, und lassen geheime oder eingeschränkte Dateien außen vor.

• Schritt 2: Die schnelle Suche (Die Vektordatenbank):
  Wenn Sie eine Frage stellen, liest das System nicht die ganze Bibliothek erneut. Stattdessen nutzt es eine Hochgeschwindigkeits-Suchmaschine (genannt FAISS), um augenblicklich die spezifischen Seiten in seiner „mentalen Landkarte“ zu finden, die zu Ihrer Frage passen. Es ist, als würde der Bibliothekar basierend auf Ihrer Anfrage sofort die drei relevantesten Bücher aus dem Regal ziehen.

• Schritt 3: Die Antwort (Der KI-Schreiber):
  Das System nimmt diese spezifischen Seiten, die es gefunden hat, und übergibt sie an ein großes Sprachmodell (den „KI-Schreiber“). Die KI liest nur diese Seiten und schreibt eine Antwort für Sie.

  • Wichtiges Sicherheitsmerkmal: Der KI wird der Befehl gegeben: „Du musst ausschließlich auf Basis dieser Seiten antworten.“ Dies verhindert, dass die KI Dinge erfindet (ein Problem, das als „Halluzination“ bezeichnet wird) und stellt sicher, dass die Antwort auf echten DUNE-Fakten basiert.

4. Sicherheit und Privatsphäre: Der „eingezäunte Garten“

Eine der größten Sorgen bei KI ist das Abfließen privater Daten ins öffentliche Internet. Um dies zu verhindern, hat das DUNE-Team dieses System vollständig innerhalb ihres eigenen sicheren Computernetzwerks (bei Fermilab und Argonne) aufgebaut.

• Es ist, als würde man die Bibliothek innerhalb einer sicheren Festung bauen.
• Nur Personen mit einem Schlüssel (authentifizierte DUNE-Kollaborationsmitglieder) können eintreten.
• Keine Daten verlassen die Festung zu öffentlichen KI-Unternehmen.

5. Was sie bisher herausgefunden haben

Das Team hat diesen Prototyp getestet und festgestellt, dass er seinen Job recht gut erledigt.

• Genauigkeit: In frühen Tests fand das System etwa 70 % der Zeit die richtigen Dokumente, selbst bei schwierigen Fragen über Detektordetails oder Physik-Workflows.
• Schnittstelle: Sie haben eine einfache Website erstellt, auf der Wissenschaftler Fragen eintippen und Antworten erhalten können, die Links zurück zu den Originaldokumenten enthalten, damit man die Quelle überprüfen kann.

6. Was als Nächstes kommt

Das Werkzeug ist noch ein Prototyp (eine „Beta“-Version). Das Team plant:

• Dem System beizubringen, mehr Arten von Dateien zu lesen, wie z. B. Code und Detektor-Logs.
• Es dazu zu bringen, komplexe Diagramme und Grafiken (Bilder) zu verstehen.
• Es der gesamten Kollaboration zur Verfügung zu stellen, damit jeder es nutzen kann.

Zusammenfassend lässt sich sagen: DUNE-GPT ist eine sichere, interne Suchmaschine, die KI nutzt, um Wissenschaftlern dabei zu helfen, Antworten in ihrer riesigen Bibliothek von Dokumenten schnell und präzise zu finden, ohne jemals ihr sicheres Netzwerk zu verlassen oder die Datensicherheit zu gefährden.

Technische Zusammenfassung

Technische Zusammenfassung: DUNE-GPT – Integration eines Large Language Models zur Wissensabfrage und Interaktion

Problemstellung
Das Deep Underground Neutrino Experiment (DUNE) steht aufgrund des beispiellosen Volumens und der Heterogenität seiner Daten vor erheblichen Herausforderungen im Wissensmanagement. Informationen sind über mehrere Plattformen verteilt, darunter DocDB, Indico und interne Wikis, welche Dokumentationen, technische Notizen, experimentelle Daten und Rekonstruktions-Pipelines umfassen. Da die Kollaboration stetig wächst, wird das Navigieren durch diese verteilte Landschaft, um spezifische technische Details bezüglich Rekonstruktion, Simulation und Detektorbetrieb zu finden, zunehmend zeitaufwendiger – insbesondere für neue Kollaborationsmitglieder. Darüber hinaus wirft der direkte Einsatz kommerzieller oder offener Large Language Models (LLMs) in High-Energy-Physics-Kollaborationen (HEP) kritische Fragen hinsichtlich Datenschutz, Reproduzierbarkeit und Netzwerkzugänglichkeit auf, was eine sichere, interne Lösung erforderlich macht.

Methodik
Um diese Herausforderungen zu adressieren, haben die Autoren DUNE-GPT entwickelt, ein Prototyp-Framework, das innerhalb der Fermilab-Computing-Umgebung operiert. Das System nutzt eine Retrieval-Augmented Generation (RAG)-Architektur, die aus drei primären Komponenten besteht:

1. Dokumentenverarbeitung und Generierung von Embeddings: Das System verarbeitet öffentlich zugängliche sowie interne DUNE-Dokumentationen (z. B. technische Entwurfsberichte, Sitzungsprotokolle, Arbeitsgruppenmaterialien) aus DocDB und Indico. Die Textvorverarbeitung umfasst das Parsen verschiedener Formate (PDF, DOCX, TXT, PNG), das Extrahieren von Metadaten und die Durchführung einer Token-basierten Segmentierung. Sensible oder eingeschränkte Inhalte werden ausgeschlossen, um die Richtlinien der Kollaboration einzuhalten. Die verarbeiteten Dokumente werden mittels Transformer-basierter Encoder (speziell multi-qa-mpnet-base-dot-v1) eingebettet, die für wissenschaftliche Texte optimiert sind.
2. Vektordatenbank und Retrieval-Engine: Die generierten Embeddings werden in einer Vektordatenbank unter Verwendung von Facebook AI Similarity Search (FAISS) gespeichert. Bei Erhalt einer Benutzeranfrage führt das System eine Ähnlichkeitssuche mittels Cosinus-Ähnlichkeit durch, um die relevantesten Textsegmente abzurufen.
3. LLM-Schnittstelle zur Antwortgenerierung: Die abgerufenen Kontext-Snippets werden an bereits existierende LLMs weitergeleitet, die auf Maschinen bei Argonne (Argo) und Fermilab (Ollama) gehostet werden. Das LLM wird auf Basis dieser verifizierten Quellen-Snippets konditioniert, um Antworten zu generieren. Dieser Ansatz stellt sicher, dass die Ausgaben in den DUNE-spezifischen Quellen verwurzelt bleiben, was das Risiko von „Halluzinationen“ minimiert und gleichzeitig den Datenschutz wahrt, da alle Operationen innerhalb der internen Computing-Umgebung verbleiben.

Wesentliche Beiträge und Implementierung

• Sichere interne Architektur: Im Gegensatz zu externen KI-Tools ist DUNE-GPT so konzipiert, dass es vollständig innerhalb der Rechenressourcen von Fermilab und Argonne operiert. Dies stellt sicher, dass nur authentifizierte DUNE-Kollaborationsmitglieder Zugriff auf das Tool haben und keine sensiblen Daten das interne Netzwerk verlassen.
• Zitationsfähige Schnittstelle: Das System bietet eine leichtgewichtige Web-Oberfläche, über die Benutzer Anfragen in natürlicher Sprache stellen können. Die generierten Antworten sind so formatiert, dass sie Zitate enthalten, die auf die spezifischen Dokumente verweisen, die aus den internen DUNE-Datenbanken abgerufen wurden, was die Rückverfolgbarkeit erhöht.
• Prototypische Bereitstellung: Der Prototyp wurde initial unter Verwendung des Aurora-Supercomputers am Argonne Leadership Computing Facility (ALCF) mit einem Python-Backend entwickelt, das Open-Source-Bibliotheken integriert. Der langfristige Plan sieht vor, die Infrastruktur zu Fermilab zu migrieren, um ein Hosting für die gesamte Kollaboration zu ermöglichen.

Vorläufige Ergebnisse
Erste Benchmarks deuten darauf darauf hin, dass das RAG-basierte System eine Genauigkeit von etwa 70 % bei der Abfrage relevanter Dokumentationen über diverse Abfragetypen hinweg erreicht, einschließlich Detektorspezifika, Rekonstruktionsalgorithmen und physikalischer Analyse-Workflows. Das aktuelle Frontend demonstriert die Fähigkeit, eine Beispielfrage, die generierte Antwort und die obersten drei verwendeten Referenzen des Abrufprozesses anzuzeigen.

Bedeutung und Ausblick
Die Arbeit positioniert DUNE-GPT als einen entscheidenden Schritt zur Verbesserung der Produktivität und der Onboarding-Effizienz innerhalb der Kollaboration, indem sie die Abfrage komplexer technischer Ressourcen in natürlicher Sprache ermöglicht. Die Autoren halten den Umfang moderat und merken an, dass das Tool sich derzeit in aktiver Entwicklung befindet. Zukünftige Arbeiten konzentrieren sich auf:

• Die Erweiterung des Embedding-Korpus um Detektor-Logdateien und Code-Dokumentationen.
• Die Entwicklung eines domänenspezifisch angepassten LLMs für das Verständnis der HEP-Sprache.
• Die Integration multimodaler Inhalte (z. B. Plots und Abbildungen).
• Den Aufbau des Web-Hostings bei Fermilab, um einen sicheren, kollaborationsweiten Zugriff zu erleichtern.
• Die Einbeziehung von Nutzerfeedback zur Verfeinerung der Retrieval-Qualität und der Benutzeroberfläche.

Die Arbeit stellt einen kontrollierten, erklärbaren Ansatz zur Integration von KI in HEP-Workflows dar, wobei der Fokus auf Datensicherheit und Quellenverifizierung liegt, statt auf dem Einsatz unverifizierter externer Modelle.