Technische Samenvatting: EpiGraph

Probleemstelling

De diagnose en behandeling van epilepsie vereisen bewijsintensief redeneren dat heterogene klinische kennis integreert, waaronder biosignaalpatronen (EEG), genetische mechanismen, farmacogenomica en behandelstrategieën. Huidige uitdagingen zijn:

1. Kennisfragmentatie: Bestaande biomedische kennisgrafieken (KG's) zijn vaak ziekte-agnostisch of ontworpen voor semantische annotatie in plaats van complex, multi-hop klinisch redeneren dat specifiek is voor epilepsie.
2. Redeneergaten: Grote Taalmodellen (LLM's) hebben moeite met expertniveau bewijscuratie en redeneren in realistische epilepsiesituaties, vooral wanneer taken het integreren van genetische varianten met contra-indicaties voor behandelingen vereisen of het interpreteren van EEG-rapporten tegen syndroom-specifieke kennis.
3. Evaluatietekorten: Bestaande benchmarks focussen op smalle, kunstmatige taken die het volledige spectrum van de klinische praktijk voor epilepsie niet weerspiegelen, zoals diep onderzoeksplannen of de integratie van EEG-gegevens met farmacogenomische regels.

Methodologie

De auteurs stellen EPIGRAPH voor, een unificerend kader dat twee kerncomponenten omvat: EPIKG (een gespecialiseerde kennisgrafiek) en EPIBENCH (een meer-taken evaluatiebenchmark).

1. EPIKG: Epilepsie Kennisgrafiek

EPIKG is geconstrueerd via een gestructureerde bewijs-naar-grafiek-pijplijn:

• Schemadefinitie: De grafiek organiseert entiteiten in vijf klinische lagen: (1) Syndromen, (2) Diagnostiek (EEG/biomarkers), (3) Genen, (4) Behandelingen en (5) Uitkomsten. Het definieert 1.370 cross-layer relatietypes (bijv. caused_by_gene, treated_with, contraindicated_with).
• Data Bronnen: Het schema is gebaseerd op zeven autoritaire bronnen (ILAE 2022, MeSH, OMIM, ChEBI, HPO, AES 2024, UMLS).
• Bewijsextractie: De auteurs verwerkten meer dan 120.000 PubMed/PMC-publicaties. Een twee-traps screeningproces (LLM-ondersteunde filtering gevolgd door domeinexpert-adjudicatie) leverde 48.166 peer-reviewed papers op voor extractie.
• Constructie: Een hybride extractiepijplijn werd gebruikt:
  • Op regels gebaseerd: Op ontologie gebaseerde patroonmatching voor hoog-vertrouwensrelaties.
  • Op LLM gebaseerd: Gebruik van MiniMax-Text-01 om nieuwe associaties uit volledige teksten te extraheren.
• Statistieken: De resulterende grafiek bevat 24.324 unieke entiteiten en 32.009 bewijsonderbouwde tripletten, met 14.576 cross-layer verbindingen die multi-hop redeneren mogelijk maken.

2. EPIBENCH: Evaluatie Benchmark

EPIBENCH evalueert LLM's op vijf klinisch gemotiveerde taken, waarbij een Graph-RAG (Retrieval-Augmented Generation) aanpak wordt gebruikt waarbij een Graph Retriever relevante subgrafieken uit EPIKG extrahert om LLM-inputs aan te vullen:

• Taak 1: Klinische Beslissingnauwkeurigheid (CDA): 1.000 meerkeuzevragen en 5.199 open vragen over syndroomdiagnose, EEG-interpretatie en behandelkeuze.
• Taak 2: Generatie van Klinische Rapporten (CRG): Het genereren van bewijsonderbouwde EEG-indrukrapporten uit ruwe EEG-beschrijvingen en patiëntengeschiedenis.
• Taak 3: Biomarker-gedreven Precision Medicine (BPM): Het selecteren van anticonvulsiva op basis van genetische varianten en fenotypes (farmacogenomica).
• Taak 4: Aanbeveling voor Behandeling (TR): Het aanbevelen van richtlijn-conforme therapieën onder patiënt-specifieke beperkingen (bijv. zwangerschap, comorbiditeiten).
• Taak 5: Diep Onderzoeksplannen (DRP): Het voorstellen van haalbare onderzoeksrichtingen en studiedesigns op basis van gaten in de huidige epilepsieliteratuur.

3. Experimentele Opstelling

Het kader werd geëvalueerd op zes LLM's (GPT-4o, Claude Sonnet 4, Gemini 2.0 Flash, Llama-3.3-70B, Qwen2.5-72B, Mistral Small 3.1). De prestaties werden vergeleken tussen standaard prompting en Graph-RAG-instellingen. Baselines omvatten MedRAG, DR.KNOWS en AMG-RAG.

Belangrijkste Resultaten

Het integreren van EPIGRAPH verbeterde consistent de prestaties over alle taken en modellen:

• Algemene Winsten: Graph-RAG leverde een gemiddelde relatieve verbetering op van +11,3% in MCQ-nauwkeurigheid en +34,8% in farmacogenomisch redeneren (Taak 3).
• Farmacogenomica (Taak 3): Deze taak toonde de grootste winsten. Bijvoorbeeld, Claude Sonnet 4 verbeterde van 66% naar 82% nauwkeurigheid. Open-source modellen zagen dramatische verbeteringen (bijv. Qwen +42%, Llama +36%), wat suggereert dat farmacogenomische kennis grotendeels afwezig is in de geparametriseerde kennis van voorgetrainde LLM's en externe retrievals vereist.
• Kwaliteit van Klinisch Redeneren: LLM-as-Judge scores voor de kwaliteit van redenering verbeterden gemiddeld met +31,9%, wat aanzienlijk meer was dan de winsten in oppervlakkige metrics zoals ROUGE-L, wat aangeeft dat Graph-RAG de logische structuur van klinische argumenten verbetert.
• Veiligheid en Richtlijnen: Bij Aanbeveling voor Behandeling (Taak 4) verbeterde Graph-RAG de Drug Safety Scores met +12,4% en de Richtlijnconcordantie met +14,1%, wat een betere vermijding van gecontra-indiceerde medicatie aantoont.
• Generatie van EEG-rapporten (Taak 2): Op het Harvard EEG-dataset verbeterde het integreren van EPIKG de METEOR-scores, waarbij MedGemma-4B een relatieve verbetering van +30,8% toonde. De gegenereerde rapporten waren preciezer in het beschrijven van golfvormafwijkingen en het afstemmen op door neurologen geschreven indrukken.
• Ablatiestudies: Sensitiviteitsanalyse bevestigde dat optimale prestaties vereisen dat 3–4 hops in de grafiek worden doorlopen, wat de noodzaak van multi-hop redeneren voor farmacogenomische taken valideert. Grafiekgebaseerde retrievals (PPR-PCST) presteerden tot 8,4 procentpunten beter dan platte semantische retrievals op taken voor precision medicine.

Betekenis en Claims

Het artikel beweert dat EPIGRAPH een nieuwe standaard vestigt voor het evalueren van kennis-augmenteerde LLM's in de klinische neurologie. De betekenis ligt in:

1. Eerste Groot-Schaal Epilepsie KG: Het biedt de eerste open-source, multi-hop relationele kennisgrafiek gewijd aan epileptologie, die de kloof overbrugt tussen genetische mechanismen, fenotypes en behandelingen.
2. Modulair Benchmarken: EPIBENCH biedt een uitgebreid, plug-and-play kader voor het evalueren van LLM's over diverse klinische redeneertaken, verder gaand dan eenvoudige vraag-antwoordsystemen om rapportgeneratie en onderzoeksplanning op te nemen.
3. Praktische Klinische Impact: Door LLM-outputs te verankeren in gestructureerde, bewijsgebaseerde kennis, toont het kader aan dat AI artsen zinvol kan ondersteunen bij het vermijden van contra-indicaties, het interpreteren van complexe EEG-gegevens en het naleven van klinische richtlijnen.
4. Aanpakken van de "Black Box" van Medische Kennis: De resultaten suggereren dat voor complexe, bewijsintensieve domeinen zoals epilepsie, het ophalen van gestructureerde kennis uit een gecureerde KG effectiever is dan het uitsluitend vertrouwen op de parametrische kennis van zelfs de grootste LLM's.

De auteurs positioneren EPIGRAPH niet als een definitieve oplossing, maar als een fundamentele bron om toekomstige ontwikkeling in retrieval-augmented fine-tuning en geheugenaanpakken voor klinische AI te stimuleren.