Domain-Specific Knowledge Graphs in RAG-Enhanced Healthcare LLMs

Technische Samenvatting: Domeinspecifieke Knowledge Graphs in RAG-verbeterde Healthcare LLM's

Probleemstelling
Large Language Models (LLM's) blinken uit in het genereren van vloeiende tekst, maar worstelen vaak met betrouwbare, domeinspecifieke redenering in de gezondheidszorg, waarbij ze feiten hallucineren of citaties fabriceren. Hoewel Retrieval-Augmented Generation (RAG) een standaardoplossing is om LLM's te funderen in externe kennis, kunnen conventionele RAG-systemen die vrije tekstpassages ophalen, irrelevante of tegenstrijdige informatie introduceren, wat de prestaties bij complexe, multi-hop biomedische vragen verslechtert. Dit onderzoek onderzoekt of gestructureerde, domeinspecifieke Knowledge Graphs (KG's) afgeleid van biomedische literatuur de RAG-prestaties effectiever kunnen verbeteren dan ongestructureerde tekst of bredere, willekeurige grafen-unies. Specifiek adresseert de studie de spanning tussen het bouwen van smalle, ziektegerichte grafen versus bredere, cross-domein grafen, en hoe deze ontwerpkeuzes interageren met modelparameters en decoding temperatures.

Methodologie
De auteurs construeerden een pijplijn om de impact van de KG-omvang op RAG-verbeterde healthcare LLM's te evalueren, waarbij Alzheimer (AD) en Type 2 Diabetes Mellitus (T2DM) als testbed werden gebruikt.

1. Knowledge Graph Constructie:

   • Databron: PubMed-abstracts werden gefilterd en gerangschikt op basis van causale, fenotypische en biomarker-relevantie.
   • Pijplijn: De auteurs gebruikten en verbeterden de CoDe-KG pijplijn, waarbij de coreference-backbone werd vervangen door Qwen 32B om de relatie-extractie te verbeteren. Dit verbeterde de co-referentie resolutie (F1 steeg van 58% naar 61%), wat zorgde voor schonere nodes en meer bruikbare causale links.
   • Gecreëerde Grafen: Drie verschillende KG's werden gebouwd:
     • G1: Gericht op T2DM.
     • G2: Gericht op AD.
     • G3: Gecombineerde AD+T2DM.
   • Verwerking: Triples werden schoongemaakt, genormaliseerd (canonicalisering van entiteitsnamen) en gefilterd om alleen duidelijke causale relaties te behouden.

2. Probe Design:
   Twee probe-sets werden gecreëerd om verschillende redeneercapaciteiten te testen:

   • Probe 1: 100 multiple-choice vragen afgeleid van G3 (het samengevoegde domein), die single-hop, multi-hop en fill-in-the-blank (FITB) redenering test op de AD-T2DM intersectie.
   • Probe 2: Vragen afgeleid van de intersectie van G1 en G2 ($G1 \cap G2$), specifiek gericht op feiten waar bewijs aanwezig is in beide ziektedomeinen (bijv. gedeelde mechanismen zoals insulinesignalering en neuroinflammatie).

3. Experimentele Opstelling:

   • Modellen: Zeven instruction-tuned LLM's van variërende grootte werden getest, variërend van klein (Mistral-7B, Mixtral-8x7B) tot groot (Llama-3.3-70B, Qwen-2.5-32B, GPT-OSS-20B, en Anthropic Claude-3-Haiku).
   • Retrieval Configuraties: Zes retrieval bronnen werden vergeleken: No-RAG, G1, G2, G1+G2, G3, en G1+G2+G3.
   • Hyperparameters: Experimenten werden uitgevoerd over drie decoding temperatures (0, 0.2, 0.5) om stabiliteit te beoordelen.
   • Metrics: Prestaties werden gemeten met behulp van Macro-F1, Micro-F1 en Accuracy, waarbij statistische significantie werd getest via Welch's t-tests en de Holm-Bonferroni correctie.

Belangrijkste Bijdragen

• Empirische Evaluatie van KG-Omvang: De studie biedt een systematische vergelijking van smalle, ziektespecifieke KG's versus brede, samengevoegde KG's in een healthcare RAG-setting.
• Pijplijn Verbetering: De auteurs toonden aan dat het upgraden van de co-reference resolutie component van de CoDe-KG pijplijn (met behulp van Qwen 32B) resulteert in een kwalitatief betere graf-extractie.
• Probe Generatie: De creatie van gespecialiseerde probes (merged vs. intersection) maakt een granulaire analyse mogelijk van hoe de retrieval scope aansluit bij de taakeisen.
• Model-Grootte Interactie: Het onderzoek benadrukt onderscheidende gedragingen tussen kleinere en grotere modellen wanneer zij worden blootgesteld aan gestructureerde retrieval, wat de aanname uitdaagt dat RAG altijd alle modelgroottes evenveel ten goede komt.

Resultaten

1. Scope Alignment is Beslissend: De meest significante bevinding is dat de retrieval scope moet overeenkomen met de query scope.

   • Probe 1 (Merged Domain): Indiscriminante unies (G1+G2+G3) introduceerden vaak distractoren, wat de nauwkeurigheid verminderde. Voor grote modellen (bijv. Llama-3.3-70B) leidde het toevoegen van externe KG's vaak tot een verslechtering van de prestaties vergeleken met de No-RAG baseline, wat suggereert dat sterke parametrische priors worden verstoord door ruisige context.
   • Probe 2 (Intersection): Precieze, op de scope passende retrieval (met name G2, de op AD gerichte graaf) leverde de meest consistente winst op. Voor kleinere modellen (Mistral-7B, Mixtral-8x7B) verbeterde G2 de F1-scores aanzienlijk (bijv. Mixtral-8x7B verbeterde van 0.80 naar 0.89 op Probe 1 met G2).
   • Negatieve Impact van Breedte: Brede unies (G1+G2+G3) introduceerden frequent "distractoren"—feiten die relevant zijn voor de ene ziekte maar niet voor de specifieke query—wat leidde tot lagere precisie en nauwkeurigheid, vooral voor middengrote modellen.

2. Modelcapaciteit Doet Er Toe:

   • Grote Modellen: Presteerden vaak gelijk aan of beter dan de No-RAG baseline bij KG-RAG, wat aangeeft dat zij al voldoende parametrische kennis bezitten voor deze taken. Ze waren ook gevoeliger voor "near-miss" distractoren in brede grafen.
   • Kleine/Middelgrote Modellen: Profiteerden het meest van schone, goed afgebakende retrieval (specifiek G2), waarbij zij de gestructureerde kennis gebruikten om gaten in hun interne trainingsdata op te vullen.

3. Temperatuurgevoeligheid: Decoding temperature speelde een secundaire rol. Het verhogen van de temperatuur van 0 naar 0.5 verbeterde de prestaties zelden en verminderde vaak de macro-F1, met name voor Probe 1 en niet-G1 grafen. Een temperatuur van 0 werd geïdentificeerd als de veiligste default voor stabiliteit.

4. Frontier vs. Baseline: Frontier modellen (Gemini 2.5 Pro, ChatGPT 5) bereikten bijna-plafond prestaties op Probe 1 (98-99%), maar vertoonden een opvallende daling op de complexere Probe 2, wat de capaciteit van de probe benadrukt om de diepte van redenering te differentiëren.

Significantie en Claims
Het paper concludeert dat precision-first, scope-matched KG-RAG te prefereren is boven breadth-first unies in healthcare toepassingen. De auteurs stellen dat het simpelweg aggregeren van meer knowledge graphs niet garandeert dat er betere antwoorden komen; in plaats daarvan introduceert het vaak ruis die de LLM in verwarring brengt.

• Praktische Richtlijnen: De studie schetst dat teams de grafen moeten selecteren die matchen met hun specifieke vraagverdeling (bijv. het gebruik van G2 voor intersection queries) en rankers/filters moeten inzetten om off-topic passages te declasseren.
• Model Grootte: De striktheid van retrieval moet worden afgestemd op de modelgrootte; kleinere modellen hebben behoefte aan schone, hoogst relevante passages, terwijl grotere modellen striktere filtering vereisen om niet misleid te worden door plausibele maar irrelevante distractoren.
• Beperkingen: De auteurs merken bescheiden op dat hun bevindingen specifiek zijn voor T2DM en AD, rusten op PubMed-abstracts, en dat het proces van KG-constructie (entiteitsnormalisatie, relatie-filtering) de kwaliteit van de resultaten direct dicteert. Ze erkennen ook dat de studie geen geavanceerde retrieval strategieën heeft onderzocht zoals hybride lexicale-neurale retrieval of dynamische reranking, die de problemen met distractoren in unie-grafen verder zouden kunnen mitigeren.

Uiteindelijk demonstreert het onderzoek dat voor healthcare LLM's de kwaliteit en relevantie van de opgehaalde context belangrijker zijn dan de kwantiteit van de opgehaalde feiten.