MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

Das Paper stellt MITRA vor, ein auf On-Premise-RAG basierendes KI-System für physikalische Kollaborationen wie CMS, das durch eine automatisierte Dokumentenextraktion und eine zweistufige Vektordatenbank-Architektur präzise kontextbezogene Antworten auf Forschungsfragen liefert, während sensible Daten vollständig privat bleiben.

Das Wesentliche

Stellen Sie sich vor, Sie treten in eine riesige, jahrzehntealte Bibliothek ein. Diese Bibliothek gehört einem Team von Tausenden von Wissenschaftlern, die gemeinsam am größten Teilchenbeschleuniger der Welt (dem CERN) forschen. Das Problem: Die Bücher in dieser Bibliothek werden nicht nur jeden Tag neu geschrieben, sondern sie füllen sich mit Terabytes an Informationen. Ein neuer Doktorand, der gerade hereinkommt, fühlt sich wie ein kleiner Fisch in einem Ozean aus Wissen. Wo findet er die Antwort auf seine Frage? Wenn er nach einem Stichwort sucht, findet er oft nichts, weil die Wissenschaftler ihre Gedanken anders formuliert haben als er.

Genau hier kommt MITRA ins Spiel. Der Name kommt aus dem Sanskrit und bedeutet „Freund". MITRA ist ein künstlicher Intelligenz-Assistent, der wie ein superkluger Bibliothekar fungiert, der die gesamte Bibliothek auswendig kennt und Ihnen sofort die richtige Seite zeigt.

Hier ist die Geschichte von MITRA, einfach erklärt:

1. Das Problem: Der Berg an Papier

In großen Forschungsprojekten wie dem CMS-Experiment am CERN entsteht eine unvorstellbare Menge an Dokumenten: Analyse-Notizen, interne Wikis und Anleitungen.

• Das alte Problem: Wenn Sie nach etwas suchen, müssen Sie das exakte Wort kennen, das im Dokument steht. Wenn Sie nach „Bremse" fragen, das Dokument aber von „Verzögerung" spricht, findet der alte Suchroboter nichts.
• Die Lösung: MITRA versteht die Bedeutung hinter den Worten, nicht nur die Buchstaben.

2. Wie MITRA lernt: Der digitale Scanner

Bevor MITRA Ihnen helfen kann, muss er die Bibliothek erst einmal „lesen".

• Der Roboter-Arbeiter: MITRA nutzt einen automatisierten Bot (einen digitalen Roboter), der sich durch die internen Datenbanken klickt und die PDF-Dokumente herunterlädt.
• Der scharfe Blick: Viele Dokumente haben komplexe Layouts mit Tabellen und Bildern. Normale Scanner würden hier durcheinanderkommen. MITRA nutzt jedoch eine hochmoderne „Augen"-Technologie (OCR), die wie ein sehr scharfes menschliches Auge funktioniert. Sie kann Text, Bildunterschriften und Tabellen perfekt trennen und verstehen, was wohin gehört.
• Der Gedächtnis-Trick: Statt alles wortwörtlich auswendig zu lernen, wandelt MITRA den Text in eine Art „Gedanken-Code" (Vektoren) um. So kann er Zusammenhänge erkennen, auch wenn die Wörter anders sind.

3. Das Geheimnis der Privatsphäre: Die Festung

Ein ganz wichtiger Punkt: Die Daten dieser Wissenschaftler sind streng geheim. Sie dürfen nicht ins Internet hochgeladen werden, wo sie von großen Tech-Firmen (wie OpenAI) gelesen werden könnten.

• Die Lösung: MITRA lebt komplett lokal. Er wohnt auf den eigenen Servern des Forschungslabors. Stellen Sie sich vor, MITRA ist ein Bibliothekar, der in einem abgeschirmten, sicheren Bunker arbeitet. Niemand von außen darf hineinschauen. Das spart auch noch viel Geld, da keine teuren Gebühren pro Frage anfallen.

4. Der Zwei-Ebenen-Plan: Wie MITRA nicht verwirrt wird

Das ist der cleverste Teil des Systems. Stellen Sie sich vor, Sie fragen: „Was ist der wichtigste Hintergrund?"

• Das Problem: In einem Experiment sucht man nach dem Higgs-Boson, in einem anderen nach Dunkler Materie. Die Antwort auf „Hintergrund" ist in beiden Fällen völlig unterschiedlich! Wenn MITRA alles durcheinanderwürfelt, gibt er eine falsche Antwort.
• Die Lösung (Die zwei Ebenen):
  1. Ebene 1 (Der Portier): Zuerst fragt MITRA nur die kurzen Zusammenfassungen (Abstracts) aller Dokumente. Er fragt Sie: „Meinen Sie das Dokument über das Higgs-Boson oder das über Dunkle Materie?" Er lässt Sie wählen.
  2. Ebene 2 (Der Spezialist): Sobald Sie gewählt haben, schließt MITRA die Tür zu allen anderen Themen. Er konzentriert sich nur noch auf das eine gewählte Dokument. Er wird zum Spezialisten für genau dieses eine Thema und ignoriert alles andere. So vermeidet er, dass Informationen aus verschiedenen Experimenten vermischt werden.

5. Warum MITRA besser ist als die alte Suche

Die Autoren haben MITRA getestet und verglichen mit der alten Suchmethode (die nur nach exakten Wörtern sucht).

• Das Ergebnis: Wenn Sie die exakten Fachbegriffe kennen, funktioniert die alte Suche gut. Aber im echten Leben fragen Menschen oft anders. Wenn Sie nach „wie schnell sich etwas bewegt" fragen, statt nach dem Fachbegriff „Impuls", findet die alte Suche nichts.
• MITRA hingegen: Versteht, dass „wie schnell" und „Impuls" in diesem Kontext dasselbe meinen. Er findet die richtige Antwort, auch wenn Sie die Fachsprache nicht perfekt beherrschen.

Fazit: Der Freund, der hilft

MITRA ist mehr als nur ein Suchtool. Es ist ein Werkzeug, das neue Wissenschaftler schneller an den Start bringt und Experten Zeit spart, indem es ihnen hilft, das riesige Wissen des Teams zu nutzen, ohne sich in einem Papierberg zu verlieren. Und das alles passiert sicher, privat und direkt im eigenen Labor.

Kurz gesagt: MITRA verwandelt einen undurchdringlichen Dschungel aus Dokumenten in einen gut beschilderten Weg, den jeder leicht finden kann.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations" auf Deutsch:

Problemstellung

Großwissenschaftliche Kollaborationen wie das Compact Muon Solenoid (CMS) am CERN produzieren ein riesiges und ständig wachsendes Korpus an interner Dokumentation (Analyse-Notizen, Wikis, Verfahrensrichtlinien). Für neue und erfahrene Forscher stellt die Navigation in dieser komplexen Informationslandschaft eine erhebliche Herausforderung dar.

• Herausforderung: Herkömmliche Suchwerkzeuge basieren oft auf reinen Stichwörtern (Keyword-basiert) und scheitern daran, den semantischen Kontext zu verstehen. Dies führt zu ineffizientem Informationsabruf und behindert den Wissensaustausch.
• Datenschutzbedenken: Bestehende Lösungen anderer Kollaborationen (z. B. ATLAS) nutzen oft externe API-Dienste (wie OpenAI), was bei Tausenden von Mitgliedern über Jahre hinweg zu hohen Kosten führt und sensible, unveröffentlichte Forschungsdaten aus dem lokalen Netzwerk herausleitet.

Methodik: Eine automatisierte und private Pipeline

MITRA ist ein Prototyp für ein Retrieval-Augmented Generation (RAG) System, das speziell für physikalische Analysen entwickelt wurde. Der gesamte Framework ist on-premise (lokal) gehostet, um die Privatsphäre zu gewährleisten.

1. Automatisierte Dokumentenerfassung und Extraktion:

   • Erfassung: Selenium wird verwendet, um automatisiert in interne Datenbanken einzuloggen und PDF-Dokumente herunterzuladen.
   • Extraktion: Anstatt einfacher PDF-to-Text-Bibliotheken (die bei komplexen Layouts versagen), werden fortschrittliche OCR-Engines (Surya, Tesseract) eingesetzt. Diese ermöglichen eine hochpräzise Textextraktion, die Haupttexte, Bildunterschriften, Tabellen und Seitenzahlen korrekt unterscheidet.

2. Embedding, Retrieval und Reranking:

   • Chunking: Texte werden in sinnvolle Abschnitte (Paragraphen) unterteilt.
   • Embedding: Ein DPR-Modell (facebook/dpr-question_encoder-multiset-base) kodiert die Textabschnitte in einen 768-dimensionalen Vektorraum.
   • Zweistufiger Retrieval-Prozess:
     1. Initial Search: Ähnlichkeitssuche (Cosine Similarity) in einer Vektordatenbank (Chroma DB) zur Auswahl der Top-k Kandidaten.
     2. Reranking: Ein Cross-Encoder-Modell (cross-encoder/ms-marco-MiniLM-L-6-v2) bewertet die Relevanz der Kandidaten genauer, um die beste Reihenfolge zu bestimmen.
   • Halluzinationsvermeidung: Das LLM wird explizit angewiesen, Antworten strikt auf den bereitgestellten Kontext zu stützen.

3. On-Premise LLM für Privatsphäre:

   • Alle Komponenten, einschließlich des Embedding-Modells und des LLMs, laufen auf lokalen GPU-Servern (z. B. NVIDIA Tesla T4).
   • Es wird eine 4-bit quantisierte Version des Mistral-7B-Modells verwendet, die über Ollama und LangChain bereitgestellt wird. Dies vermeidet Token-Kosten externer APIs und garantiert, dass keine proprietären Daten das lokale Netzwerk verlassen.

Systemdesign: Zwei-Ebenen-Datenbank-Architektur

Ein zentrales Problem bei physikalischen Analysen ist die Kontextabhängigkeit von Antworten (z. B. kann die Frage nach dem „wichtigsten Hintergrund" je nach Analyse unterschiedlich beantwortet werden). MITRA löst dies durch ein zweistufiges Datenbank-System:

1. Abstracts-Datenbank: Enthält nur die Zusammenfassungen aller Analysen. Die erste Benutzeranfrage dient dazu, die relevanteste Analyse zu identifizieren. Der Nutzer bestätigt diese Auswahl (Human-in-the-Loop), um den Kontext festzulegen.
2. Volltext-Datenbank: Sobald eine Analyse ausgewählt ist, „sperren" sich alle weiteren Anfragen und RAG-Operationen auf eine dedizierte Datenbank, die nur den Volltext dieser spezifischen Analyse enthält. Dies verhindert, dass Informationen verschiedener Analysen vermischt werden.

Ergebnisse und Evaluation

Die Leistung von MITRA wurde gegen einen Standard-Baseline (Okapi BM25, keyword-basiert) getestet, wobei zwei Datensätze verwendet wurden:

• Set 1 (Exakte Keywords): Beide Systeme performen gut. BM25 ist hier leicht überlegen, da es exakte Wortübereinstimmungen perfekt handhabt.
• Set 2 (Paraphrasen/Synonyme): Hier zeigt MITRA einen deutlichen Vorteil.
  • Precision@1: MITRA erreicht 0,75, während BM25 nur 0,13 erreicht.
  • Mean Reciprocal Rank (MRR): Für komplexe konzeptionelle Fragen liegt MITRA bei 0,81 gegenüber 0,35 bei BM25.
  • NDCG@5: MITRA erreicht 0,88 gegenüber 0,59 bei BM25.

Qualitative Ergebnisse: Das System zeigt Robustheit gegenüber kontextfremden Fragen. Wenn ein Nutzer eine Frage zu Higgs-Bosonen stellt, während das System auf eine Dunkle-Materie-Analyse „gesperrt" ist, generiert MITRA keine falsche Antwort (Halluzination), sondern erkennt, dass der Kontext nicht passt, und informiert den Nutzer darüber.

Bedeutung und Ausblick

• Datenschutz & Kosten: MITRA bietet eine nachhaltige, kosteneffiziente Alternative zu API-basierten Diensten, die keine sensiblen Forschungsdaten verlässt.
• Effizienz: Die Architektur ermöglicht ein schnelles Onboarding neuer Mitarbeiter und beschleunigt die wissenschaftliche Entdeckung durch effizienten Wissenszugriff.
• Zukunft: Geplante Arbeiten umfassen die Erweiterung auf weitere Dokumententypen, die Einführung von Multi-Turn-Konversationen, die Skalierung auf Produktions-GPU-Cluster und die Entwicklung eines proaktiven Forschungsagents, der nicht nur Informationen sucht, sondern auch Analysen vergleicht und Strategien vorschlägt.

Zusammenfassend stellt MITRA einen vielversprechenden, datenschutzkonformen Ansatz dar, um die Wissensflut in großen wissenschaftlichen Kollaborationen durch moderne RAG-Technologien und eine kontextbewusste Architektur zu bewältigen.