AOP-Smart: A RAG-Enhanced Large Language Model Framework for Adverse Outcome Pathway Analysis

Dit paper introduceert AOP-Smart, een RAG-gebaseerd framework dat hallucinaties in grote taalmodellen voor toxicologisch onderzoek aanzienlijk vermindert en de nauwkeurigheid bij het beantwoorden van vragen over Adverse Outcome Pathways van ongeveer 15-35% naar 95-100% brengt.

De kern

🧪 De Probleemstelling: De "Alwetende" maar "Hallucinerende" Expert

Stel je voor dat je een zeer slimme, goed opgeleide expert hebt (een Groot Taalmodel of AI) die alles over toxicologie weet. Deze expert heeft duizenden boeken gelezen en kan prachtige zinnen maken.

Maar er is een groot probleem: deze expert heeft een slechte gewoonte. Soms, als hij een vraag krijgt waar hij het antwoord niet precies weet, verzonnt hij een antwoord. Hij klinkt dan heel overtuigend en beleefd, maar wat hij zegt is gewoon niet waar. In de wetenschap noemen we dit "hallucineren".

In het veld van Toxicologie (het bestuderen van hoe chemicaliën schadelijk zijn) is dit gevaarlijk. Hier gebruiken wetenschappers een soort "stroomdiagram" genaamd AOP (Adverse Outcome Pathway). Dit diagram laat zien hoe een kleine chemische reactie in een cel begint en uiteindelijk leidt tot een ziekte bij een dier of mens. Als de AI hierin een foutje maakt, kan dat leiden tot verkeerde conclusies over veiligheid.

💡 De Oplossing: AOP-Smart (De "Bibliotheek-Assistent")

De onderzoekers van deze studie hebben een oplossing bedacht, genaamd AOP-Smart.

Stel je voor dat je die slimme expert niet alleen laat werken, maar hem een persoonlijke assistent geeft die direct bij de officiële bibliotheek (de AOP-Wiki) kan kijken.

Dit is hoe het werkt, stap voor stap:

1. De Vraag: Jij stelt een vraag aan de AI (bijvoorbeeld: "Wat gebeurt er in het lichaam als stof X wordt ingenomen?").
2. De Zoektocht (RAG): In plaats van dat de AI direct probeert het antwoord uit zijn hoofd te halen, kijkt hij eerst in zijn "handboek". Dit handboek is een digitale versie van de officiële AOP-Wiki.
3. De Zoekstrategie: De AI zoekt niet zomaar. Hij zoekt eerst naar de belangrijkste schakels in het proces (de Key Events of sleutelhappen). Vervolgens kijkt hij naar de verbindingen tussen die schakels en de volledige stroomdiagrammen.
4. Het Antwoord: Pas nadat de AI de feiten uit het handboek heeft gelezen en samengevat, geeft hij zijn antwoord. Hij zegt dan eigenlijk: "Ik heb net in het boek gekeken, en daar staat dat..."

🛠️ Hoe werkt het technisch? (In simpele taal)

De onderzoekers hebben een systeem gebouwd dat als een slimme filter werkt:

• Indexeren: Ze hebben alle gegevens van de AOP-Wiki omgezet in een soort digitale kaart (een index). Dit is heel lichtgewicht, alsof je een telefoonboek hebt in plaats van de hele bibliotheek.
• Top-N Selectie: Als je een vraag stelt, zoekt de AI eerst naar de 5 meest relevante "sleutelhappen" (Top-N) die bij je vraag passen.
• Uitbreiden: Vervolgens kijkt de AI niet alleen naar die 5 happen, maar ook naar wat er daarvoor en daarna gebeurt. Het is alsof je niet alleen naar één spoor in een treinnetwerk kijkt, maar het hele traject van vertrek tot aankomst.
• Samenvoegen: Alleze informatie wordt aan de AI gegeven als "context" voordat hij antwoordt.

📊 De Resultaten: Een Duidelijke Verbetering

De onderzoekers hebben dit getest met drie bekende AI-modellen (Gemini, DeepSeek en ChatGPT) en 20 moeilijke vragen over toxicologie.

• Zonder de assistent (zonder RAG): De AI's waren behoorlijk onzeker. Ze hadden slechts 15% tot 35% van de vragen goed. Ze verzonnen vaak details of misten belangrijke stappen.
• Met de assistent (met AOP-Smart): Zodra de AI toegang kreeg tot de feitelijke gegevens, schoot het resultaat omhoog naar 95% tot 100%.

Het is alsof je een student die net geslaagd is voor een examen, laat werken met een open boek. Plotseling maakt hij geen fouten meer.

⚠️ De Kijk in de Kristallen Bol (Beperkingen)

De onderzoekers zijn eerlijk over wat er nog niet perfect is:

• Ze kijken nu alleen naar of iets waar is, maar niet naar hoe sterk het bewijs is (sommige AOP's zijn beter onderzocht dan andere).
• De testset was klein (slechts 20 vragen). In de echte wereld zijn er duizenden vragen.
• Soms moet de AI lange teksten samenvatten, waardoor er misschien kleine details verloren gaan.

🚀 Conclusie

AOP-Smart is een briljante manier om AI's veiliger en betrouwbaarder te maken voor wetenschappelijk onderzoek. Door de AI niet alleen op zijn eigen geheugen te laten vertrouwen, maar hem te koppelen aan een betrouwbare, gestructureerde kennisbron, voorkomen we dat hij "droomt" in plaats van "weet".

Het is de overgang van: "Ik denk dat dit wel zo is..." naar "Ik heb het gecontroleerd in de bronnen, en dit is wat er staat."

Technische samenvatting

Probleemstelling

Adverse Outcome Pathways (AOP's) vormen een cruciaal kennisraamwerk in toxologisch onderzoek en risicobeoordeling, waarbij causale relaties worden beschreven van moleculaire startgebeurtenissen (MIEs) tot nadelige uitkomsten (AOs). Hoewel de hoeveelheid AOP-kennis in bronnen zoals AOP-Wiki sterk is toegenomen, blijft het voor onderzoekers lastig om deze complexe, hiërarchische en causale informatie efficiënt te vinden en te integreren.

Hoewel Large Language Models (LLMs) veelbelovend zijn voor het beantwoorden van vragen en het redeneren over mechanismen, lijden ze aan het hallucinatierecht. In gespecialiseerde domeinen zoals toxicologie genereren LLM's vaak vlot klinkende maar feitelijk onjuiste antwoorden, omdat ze zich uitsluitend baseren op hun interne trainingsdata en geen toegang hebben tot actuele, gestructureerde domeinkennis. Dit beperkt hun betrouwbaarheid en interpretatie in wetenschappelijk onderzoek.

Methodologie: AOP-Smart Framework

De auteurs stellen AOP-Smart voor, een Retrieval-Augmented Generation (RAG)-framework dat specifiek is ontworpen voor AOP-analyse. In plaats van een algemene vectorzoekopdracht, gebruikt dit systeem de unieke structuur van AOP-data (Key Events, KERs en AOP-chains).

Het proces verloopt als volgt:

1. Data-voorbereiding:

   • Het systeem gebruikt gestructureerde XML-data van AOP-Wiki (een stabiele snapshot).
   • Er worden twee bronnen gegenereerd:
     • Index.txt: Een lichtgewicht index met KE-ID's en titels voor snelle initiële zoekopdrachten.
     • AOP-Smart.json: Een gedetailleerde database met gestructureerde informatie over KE's, Key Event Relationships (KERs) en volledige AOP-chains.

2. Retrieval- en Expansie-mechanisme (De kerninnovatie):

   • Stap 1 (Preliminary Screening): De gebruikersvraag wordt samen met de Index.txt naar de LLM gestuurd. De LLM selecteert de Top-N meest relevante Key Events (KE's) op basis van prompt engineering.
   • Stap 2 (Causale Expansie): Op basis van de geselecteerde KE-ID's voert het systeem een gerichte expansie uit:
     • Het haalt de directe upstream en downstream KE's op.
     • Het identificeert alle KER's die deze KE's met elkaar verbinden.
     • Het selecteert volledige AOP-chains waarbij minimaal twee elementen (MIE, KE of AO) overeenkomen met de uitgebreide set KE's. Dit filtert ruis en zorgt voor contextuele relevantie.
   • Stap 3 (Context Integratie): De verkregen gestructureerde context (KE-details, KER-details en AOP-details) wordt gecombineerd met de oorspronkelijke vraag en als externe kennis ingevoerd in de LLM voor de definitieve generatie van het antwoord.

3. Implementatie:

   • Het systeem is gebouwd in Python en biedt een interface voor het configureren van LLM-endpoints, API-sleutels en parameters zoals Top-N KEs (het aantal te selecteren start-KE's) en Temperature.

Belangrijkste Bijdragen

1. Domeinspecifiek RAG-framework: Het introduceren van een RAG-architectuur die specifiek is ontworpen voor de causale en hiërarchische aard van AOP-kennis, in plaats van generieke semantische zoekopdrachten.
2. Expansiestrategie op basis van KE's: Een innovatieve methode om kennis te verrijken door niet alleen de directe antwoordbron te zoeken, maar ook de causale ketens (upstream/downstream) en de overkoepelende AOP-chains te reconstrueren.
3. Validatie van Hallucinatiemitigatie: Empirisch bewijs leveren dat dit framework de betrouwbaarheid van LLM's in toxicologische taken drastisch verbetert.

Resultaten

De auteurs hebben een testset van 20 vragen samengesteld, verdeeld over vier categorieën: KE-identificatie, downstream/upstream KE-retrieval en complexe AOP-vragen. Drie modellen werden getest: DeepSeek, Gemini en GPT (ChatGPT), zowel zonder RAG als met AOP-Smart.

• Zonder RAG: De prestaties waren zeer laag, wat de moeilijkheid aangeeft om gespecialiseerde kennis uit het geheugen van het model te halen.
  • DeepSeek: 35,0%
  • Gemini: 20,0%
  • GPT: 15,0%
• Met AOP-Smart (RAG): De nauwkeurigheid steeg dramatisch naar bijna perfectie.
  • DeepSeek: 100,0%
  • Gemini: 95,0%
  • GPT: 95,0%

De resultaten tonen aan dat RAG niet alleen de feitelijke juistheid verbetert, maar ook de consistentie van de antwoorden, zelfs bij complexe multi-hop redeneringen (zoals het vinden van volledige AOP-ketens).

Betekenis en Toekomstperspectief

AOP-Smart demonstreert dat het integreren van gestructureerde domeinkennis via een gerichte RAG-methode een oplossing biedt voor de hallucinaties van LLM's in wetenschappelijke toepassingen. Dit is van groot belang voor de toxicologie en risicobeoordeling, waar nauwkeurigheid cruciaal is.

Beperkingen en toekomstig werk:

• Huidige versie houdt geen rekening met bewijskracht of betrouwbaarheidsniveaus van de AOP-data.
• Tekstfiltering kan leiden tot verlies van contextuele semantiek.
• De evaluatiestudie is beperkt tot 20 vragen; verdere validatie op grotere schaal is nodig.
• Toekomstig werk richt zich op het uitbreiden van de testset, het introduceren van gewogen modellering op basis van bewijskracht, en het toepassen van het framework voor automatische extractie uit wetenschappelijke literatuur en het aanvullen van AOP-kennisgrafieken.