MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

Dit paper introduceert MITRA, een lokaal gehoste RAG-gebaseerde AI-assistent die gebruikmaakt van een geautomatiseerde documentpypeline en een tweelaagse vectordatabase om veilig en nauwkeurig contextbewuste vragen te beantwoorden over fysicanalyses binnen grote wetenschappelijke samenwerkingen zoals CMS.

De kern

Stel je voor dat je werkt in een gigantische, wereldwijde bibliotheek. Deze bibliotheek is zo groot dat er duizenden mensen tegelijk aan werken, en elke seconde worden er nieuwe boeken, notities en blauwdrukken geschreven. Dit is wat er gebeurt bij grote natuurkunde-experimenten, zoals die bij CERN.

Het probleem? De stapel papier is zo hoog geworden, dat zelfs de ervaren bibliothecarissen (de onderzoekers) niet meer weten waar ze moeten zoeken. Als een nieuwe student iets wil weten over een specifieke meting, kan het uren duren om het juiste document te vinden. En als ze het verkeerde boek pakken, kunnen ze de verkeerde conclusies trekken.

Hier komt MITRA om de hoek kijken.

Wat is MITRA?

MITRA is een slimme, digitale assistent (een "vriend", want mitra betekent vriend in het Sanskriet) die is gebouwd om deze chaos te ordenen. Het is geen gewone zoekmachine die alleen zoekt op exacte woorden. Het is een slimme vertaler die begrijpt wat je bedoelt, zelfs als je de woorden niet precies zo gebruikt als in de boeken.

Hoe werkt het? (De Magie in 3 Stappen)

1. De Slimme Verzamelaar (De Robot-Bibliothecaris)
Stel je voor dat MITRA een robot is die 24/7 werkt. Hij gaat naar de interne databases, logt in, en haalt duizenden PDF-bestanden op. Maar hij is niet dom; hij gebruikt een speciale bril (OCR-technologie) om zelfs de moeilijkste tabellen en figuren in de documenten perfect te lezen en te begrijpen. Hij zet alles netjes op een rijtje, klaar voor gebruik.

2. De Twee-Lagen Bibliotheek (De "Voorverkeers" Check)
Dit is het slimste deel. Stel je voor dat je vraagt: "Wat is het grootste gevaar?"

• In een boek over Higgs-deeltjes is het antwoord misschien "straling".
• In een boek over donkere materie is het antwoord misschien "ruis in de detector".

Als je een gewone zoekmachine gebruikt, krijgt hij dit door elkaar. MITRA gebruikt een twee-traps systeem:

• Trap 1: Hij kijkt eerst alleen naar de samenvattingen van alle boeken. Hij vraagt jou: "Bedoel je het boek over Higgs of het boek over donkere materie?" (Dit is een menselijke check om zeker te zijn).
• Trap 2: Zodra je kiest, "slot" hij zich op in alleen dat ene boek. Alle volgende vragen worden alleen beantwoord op basis van die specifieke context. Zo voorkomt hij dat hij informatie uit het verkeerde boek haalt.

3. De Privé-Denker (Geen Internet Nodig)
Veel slimme AI's werken door je vragen naar een grote server in het buitenland te sturen (zoals naar een fabriek in de VS of China). Dat is duur en kan gevaarlijk zijn voor geheime onderzoeksgegevens.
MITRA doet het anders: Alles gebeurt in huis. De "hersenen" van MITRA zitten op eigen servers binnen het laboratorium. Niemand buiten de groep ziet de vragen of de antwoorden. Het is alsof je een privé-bibliothecaris hebt die in je eigen kelder werkt, in plaats van iemand die je brieven naar een postkantoor stuurt.

Waarom is dit beter dan de oude manier?

De onderzoekers hebben het getest.

• De oude manier (Zoeken op woorden): Als je vraagt "Hoe hard moet de deeltjesstraal gaan?" en in het boek staat "pT-cut", dan vindt de oude zoekmachine niets. Hij zoekt alleen op exacte woorden.
• MITRA: Hij begrijpt dat "hard gaan" en "pT-cut" hetzelfde betekenen in de natuurkunde. Hij vindt het juiste antwoord, zelfs als je de vakjargon-woorden niet kent.

Wat is het doel?

Het doel is niet alleen om vragen te beantwoorden, maar om nieuwe onderzoekers sneller te laten starten en ervaren onderzoekers tijd te besparen. In de toekomst wil MITRA nog slimmer worden: hij zou niet alleen antwoorden kunnen geven, maar ook zelf samenvattingen kunnen maken van nieuwe ontdekkingen, of zelfs helpen om fouten in de data te vinden.

Kortom: MITRA is de slimme, discrete, en super-snelle assistent die zorgt dat de enorme berg kennis van de natuurkunde-equipe eindelijk bruikbaar wordt voor iedereen, zonder dat er geheimen lekken of dat je urenlang hoeft te zoeken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations" in het Nederlands.

Titel: MITRA: Een AI-assistent voor Kennisretrieval in Fysica-samenwerkingen

1. Het Probleem

Grote wetenschappelijke samenwerkingen, zoals de Compact Muon Solenoid (CMS) bij CERN, genereren een enorme en voortdurend groeiende hoeveelheid interne documentatie (analyse-notities, wiki's, procedures). Voor zowel nieuwe als ervaren onderzoekers vormt het navigeren door deze complexe informatieberg een aanzienlijke uitdaging.

• Uitdaging: Traditionele zoekopdrachten op basis van trefwoorden (keyword-based) falen vaak omdat ze geen semantische context begrijpen en afhankelijk zijn van exacte woordkeuze.
• Gevolg: Waardevolle expertise blijft onderbenut, kennisuitwisseling wordt vertraagd en de snelheid van wetenschappelijke ontdekkingen wordt belemmerd.
• Privacyrisico: Bestaande oplossingen van andere samenwerkingen (zoals ATLAS) maken vaak gebruik van externe API-services (bijv. OpenAI), wat leidt tot hoge operationele kosten op lange termijn en risico's op het lekken van gevoelige, niet-gepubliceerde onderzoeksdata.

2. Methodologie: Een Geautomatiseerd en Privé Kanaal

MITRA is een prototype voor een Retrieval-Augmented Generation (RAG)-systeem dat volledig lokaal (on-premise) wordt gehost om data-integriteit en privacy te waarborgen.

• Documentacquisitie en Extractie:
  • Selenium: Wordt gebruikt voor geautomatiseerde browserinteractie om documenten (vaak PDF's) uit interne databases te downloaden.
  • OCR en Layout Parsing: In plaats van standaard PDF-converters, worden geavanceerde OCR-engineën (zoals Surya en Tesseract) ingezet. Dit zorgt voor een hoge precisie bij het scheiden van hoofdtekst, figuurbijschriften, paginanummers en tabellen, wat essentieel is voor kwalitatieve data.
• Embedding en Retrieval:
  • Tekst wordt opgedeeld in logische blokken (paragrafen).
  • Een Dense Passage Retrieval (DPR) model (facebook/dpr-question_encoder-multiset-base) encodeert deze blokken in een vectorruimte.
  • Twee-staps zoekproces: Eerst een snelle zoekopdracht op basis van cosijn-achtigheid (similarity search) om top-k kandidaten te vinden, gevolgd door een nauwkeurigere reranking met een cross-encoder model (cross-encoder/ms-marco-MiniLM-L-6-v2).
• On-Premise LLM:
  • Alle componenten, inclusief de Large Language Model (LLM), draaien op lokale GPU-servers (bijv. NVIDIA Tesla T4).
  • Gebruikt wordt een 4-bit gekwantiseerd versie van Mistral-7B, geserveerd via Ollama en geïntegreerd met LangChain.
  • Voordeel: Geen kosten per token en gegarandeerde privacy; geen data verlaat het lokale netwerk.

3. Kernbijdragen en Systeemontwerp

Het paper introduceert drie belangrijke technische innovaties:

1. Modulaire Ingestie-pijplijn: Een geautomatiseerd proces voor het verwerken en updaten van documenten zonder het hele model opnieuw te hoeven trainen.
2. Twee-laags Database Architectuur: Dit is cruciaal om verwarring tussen verschillende analyses te voorkomen.
   • Laag 1 (Abstracten): De eerste zoekvraag wordt verwerkt tegen een database met alleen abstracten om de relevante analyse te identificeren. De gebruiker bevestigt deze keuze (human-in-the-loop).
   • Laag 2 (Volledige Tekst): Zodra de analyse is geselecteerd, "vergrendelt" het systeem zich op een specifieke database met de volledige tekst van alleen die analyse. Alle daaropvolgende vragen worden uitsluitend binnen deze context beantwoord.
3. Privacy-First Implementatie: Een volledig lokaal deployment-model dat de cumulatieve kosten van API's elimineert en proprietary data veilig houdt.

4. Resultaten en Evaluatie

De prestaties van MITRA werden vergeleken met een traditionele trefwoord-baselines (Okapi BM25) aan de hand van twee query-sets:

• Set 1: Exacte formuleringen uit de bronnen.
• Set 2: Realistische, geherformuleerde queries (synoniemen, parafraseren).

Kernbevindingen:

• Semantisch Begrip: Bij Set 2 (realistische queries) presteerde BM25 slecht (Precision@1 van 0,13), terwijl MITRA een Precision@1 van 0,75 behaalde. Dit toont aan dat MITRA semantische equivalenties begrijpt waar trefwoord-zoekopdrachten falen.
• Ranking Kwaliteit: Op basis van Mean Reciprocal Rank (MRR) en NDCG scoorde MITRA aanzienlijk hoger bij conceptuele queries (MRR 0,81 vs. 0,35 voor BM25). Dit betekent dat het juiste antwoord vaak op de eerste positie staat, wat hallucinaties in de LLM reduceert.
• Robuustheid: Het systeem hallucineert niet bij vragen die buiten de context vallen (bijv. vragen naar Higgs-bosonen tijdens een zoektocht naar donkere materie). Het herkent dat de context niet relevant is en geeft een correct antwoord.

5. Betekenis en Toekomstperspectief

MITRA demonstreert de haalbaarheid van een privacy-bewust, lokaal RAG-systeem voor grote wetenschappelijke samenwerkingen.

• Efficiëntie: Versnelt het onboarding-proces voor nieuwe leden en maakt kennisuitwisseling efficiënter.
• Schaalbaarheid: Het huidige prototype heeft lage latentie en kan schalen door meer compute-capaciteit toe te voegen zonder architecturale wijzigingen.
• Visie: De langetermijnvisie is om MITRA te ontwikkelen tot een proactieve "onderzoeksagent" die niet alleen informatie ophaalt, maar ook taken uitvoert zoals het samenvatten van updates, het vergelijken van methodologieën en het identificeren van gaten in zoekruimtes.

Kortom, MITRA biedt een duurzame, veilige en semantisch krachtige oplossing voor het beheer van de enorme kennisbasis binnen moderne deeltjesfysica-samenwerkingen.