Linking Knowledge to Care: Knowledge Graph-Augmented Medical Follow-Up Question Generation

Probleemstelling

Klinische diagnosestelling is een tijdrovend proces dat intensieve interactie vereist tussen patiënten en medisch professionals. Een aanzienlijk deel van de diagnostische fouten ontstaat door onvolledige informatieverzameling en geschiedenisopname. Hoewel grote taalmodellen (LLMs) het voor-diagnostische werk kunnen verlichten, hebben ze vaak te kampen met beperkte domeinkennis. Hierdoor falen ze vaak in het identificeren van informatiegaten bij diverse symptomen en genereren ze geen voldoende relevante of uitgebreide vervolgvragen. Bestaande methoden zijn vaak handmatig, tijdrovend of gebaseerd op LLMs zonder externe kennisbronnen, wat leidt tot inefficiëntie en hogere zorgkosten.

Methodologie: KG-Followup

De auteurs introduceren KG-Followup, een raamwerk dat een Large Language Model (LLM) verrijkt met een gestructureerd medisch kennisgraf (Knowledge Graph - KG) en actief in-context learning (ICL). Het doel is het genereren van klinisch relevante en uitgebreide vervolgvragen in één enkele doorloop (single pass).

Het proces bestaat uit de volgende kernstappen:

1. Voorlopige Verduidelijking: Het LLM genereert eerst een voorlopige set vragen ($\hat{Q}_{pre}$) puur op basis van interne kennis, simulerend een eerste consult.
2. EHR-geleide Vragen via KG-koppeling:
   • Het LLM extraheren medische entiteiten uit de patiëntgeschiedenis (als proxy voor een Elektronisch Gezondheidsdossier - EHR).
   • Deze entiteiten worden gekoppeld aan knooppunten in de medische KG.
   • Er wordt een breedte-zoektocht (BFS) uitgevoerd om subgrafieken te bouwen, die vervolgens worden gesneden om gedeelde, klinisch relevante concepten te vinden.
   • Een LLM rangschikt deze concepten op relevantie, waarna vervolgvragen worden gegenereerd op basis van deze verrijkte context ($\hat{Q}_{ehr-kg}$).
3. DDX-geleide Vragen via KG-Redenering:
   • Het systeem voert een differentiaaldiagnose (DDX) uit om mogelijke diagnoses te identificeren.
   • Het doel is vragen te genereren die zowel de "slechtste" als de "beste" scenario's uitsluiten.
   • Voor elke bron-entiteit en doel-diagnose worden de kortste redeneringspaden in de KG opgehaald. Een LLM selecteert de meest relevante paden op basis van de patiëntcontext.
   • Vragen worden gegenereerd op basis van deze kritieke tussenliggende knooppunten om de diagnose te verfijnen ($\hat{Q}_{ddx-kg}$).
4. Actief In-Context Learning (ICL) via KG-informatie:
   • Om moeilijke gevallen (edge cases) aan te pakken waar de KG niet direct toepasbaar is, worden deze behandeld als "harde voorbeelden".
   • Deze voorbeelden worden gebruikt als ICL-exemplaren om het LLM te sturen bij het genereren van vragen voor situaties die niet direct via symptoom-entiteiten te koppelen zijn.
5. Vraagconsolidatie:
   • Om redundantie te verminderen, worden alle gegenereerde vragen ingebed met een medische encoder.
   • K-means clustering wordt toegepast, gevolgd door een LLM die overlappende vragen samenvoegt en duplicaten verwijdert, resulterend in een beknopte, efficiënte set vragen.

Belangrijkste Bijdragen

1. KG-Followup Framework: Een nieuw raamwerk dat LLMs stuurt om klinisch onderbouwde vervolgvragen te genereren door gebruik te maken van gestructureerde medische kennis (KG) en actieve ICL.
2. ClinicalInquiryBench: De creatie van een nieuw, grootschalig benchmark-dataset. Dit dataset is afgeleid van 5.000 openbare medische gesprekken (HealthBench) en is specifiek ontworpen om de capaciteit van AI-systemen te evalueren om klinisch geschikte vervolgvragen te stellen. Het bevat gewogen vragen om de diagnostische belangrijkheid te reflecteren.
3. Prestaties: Het aantonen dat KG-Followup state-of-the-art methoden overtreft, met name door het gebruik van KG-informatie en actieve ICL.

Resultaten

De experimenten zijn uitgevoerd op twee benchmarks: ClinicalInquiryBench en FollowupBench.

• Prestatieverbetering: KG-Followup presteert consistent beter dan bestaande methoden (zoals Zero-Shot LLMs en FollowupQ) zonder externe kennis.
  • Op ClinicalInquiryBench wordt een recall van 70% bereikt (tegenover ~61-67% voor concurrenten).
  • Op FollowupBench wordt een recall van 80% bereikt.
  • De verbetering bedraagt ongeveer 5% tot 8% ten opzichte van de state-of-the-art.
• Effectiviteit van ICL: Actief ICL met door de KG geselecteerde "harde voorbeelden" werkt significant beter dan willekeurig ICL, vooral in few-shot settings.
• Efficiëntie: Hoewel het genereren van meer vragen de prestaties kan verhogen, bereikt KG-Followup vergelijkbare resultaten met aanzienlijk minder vragen (gecontroleerde set), wat de efficiëntie van de arts-patiënt interactie verbetert.
• Ablatie Studies: De studie toont aan dat de DDX-geleide module (differentiaaldiagnose) grotere winst oplevert dan alleen EHR-geleide generatie. Het gebruik van clustering voor consolidatie behoudt de kwaliteit terwijl het aantal vragen wordt teruggebracht.

Betekenis en Toekomstperspectief

Dit werk is significant omdat het de kloof overbrugt tussen de generatieve kracht van LLMs en de noodzaak van gestructureerde, feitelijke medische kennis in de diagnostiek. Door kennisgrafen te integreren, kan het systeem "redeneren" over symptomen en diagnoses op een manier die menselijke artsen nabootst, wat leidt tot minder diagnostische fouten en een verlaagde werkdruk voor zorgverleners.

Beperkingen:

• De methode is afhankelijk van de kwaliteit en volledigheid van de onderliggende kennisgraf. Als de KG verouderd is of ontbrekende domeinen heeft, kan dit de generaliseerbaarheid beperken.
• De benchmarks zijn offline en kunnen de volledige complexiteit van real-time klinische workflows (met ruwe of incomplete data) niet volledig simuleren.

Ethische Overwegingen:
Het systeem is bedoeld ter ondersteuning van artsen, niet ter vervanging. Er is aandacht voor mogelijke biases in zowel het LLM als de KG, en toekomstige implementaties vereisen menselijk toezicht en strikte naleving van ethische standaarden in gezondheidszorg-AI.