An artificial intelligence framework for end-to-end rare disease phenotyping from clinical notes using large language models

Probleemstelling

Zeldzame ziekten vormen een grote uitdaging voor de diagnose, vaak gepaard gaand met lange diagnostische reizen (gemiddeld 4-8 jaar), misdiagnoses en onnodige testen. Een cruciale stap in de diagnose is fenotypering: het nauwkeurig karakteriseren van de klinische kenmerken van een patiënt.

• Huidige uitdagingen: Hoewel elektronische gezondheidsrecords (EHR) veel data bevatten, zijn zeldzame ziekte-kenmerken vaak slecht gestructureerd en zitten ze verstopt in ongestructureerde klinische notities.
• Beperkingen van bestaande AI: Bestaande kunstmatige intelligentie (AI) benaderingen optimaliseren vaak slechts één onderdeel van het proces (bijv. alleen extractie of alleen normalisatie) en modelleren niet het volledige klinische workflow. Ze missen vaak de stap om diagnostisch informatieve fenotypes te prioriteren boven algemene, niet-specifieke symptomen. Dit leidt tot lange lijsten met waarheidsgetrouwe maar klinisch minder relevante termen, wat de diagnose bemoeilijkt.

Methodologie: RARE-PHENIX

De auteurs hebben RARE-PHENIX (RARE disease PHENotyping with Intelligent eXtraction) ontwikkeld, een end-to-end AI-framework dat het klinische workflow nabootst. Het systeem bestaat uit drie sequentiële modules:

1. Module 1: Extractie van Fenotypes

   • Doel: Identificeren en extraheren van zeldzame ziekte-kenmerken uit ongestructureerde klinische notities.
   • Techniek: Twee benaderingen werden getest:
     • Instruction Fine-Tuning: Parameter-efficiënte fine-tuning (PEFT/QLoRA) van open-source LLaMA-modellen (versies 2, 3, 3.1, 3.2, 3.3 met verschillende parametergroottes) op een corpus van 832 expert-geannoteerde documenten en synthetische klinische teksten gegenereerd door AI.
     • Few-Shot Prompting: Gebruik van gesloten modellen (ChatGPT-4o) met instructies en voorbeelden.
   • Output: Klinische notities met geëxtraheerde fenotypes gemarkeerd in HTML-tags.

2. Module 2: Standardisatie naar HPO-termen

   • Doel: Het omzetten van de geëxtraheerde vrije tekst naar gestructureerde termen uit de Human Phenotype Ontology (HPO) (bijv. "near sighted" $\rightarrow$ HP:0000545 Myopia).
   • Techniek: Retrieval-Augmented Generation (RAG).
     • Een vectordatabase van HPO-termen wordt opgezet.
     • De geëxtraheerde tekst wordt geëmbed en de top-10 semantisch meest vergelijkbare HPO-termen worden opgehaald.
     • Een LLM selecteert de meest geschikte term op basis van context en de ontologie-definitie, of geeft "none" terug als er geen match is.
   • Voordelen: Dit vermindert hallucinaties van ongeldige termen en lost contextuele nuances op die bij puur retrieval-methoden verloren gaan.

3. Module 3: Prioritering van Diagnostisch Informatieve Fenotypes

   • Doel: Het rangschikken van de HPO-termen zodat de meest diagnostisch waardevolle (zeldzame, specifieke) bovenaan staan, en algemene symptomen (zoals "koorts" of "vermoeidheid") naar beneden worden geduwd.
   • Techniek: Supervised Learning-to-Rank (rangschikking).
     • Een model (XGBoost met pairwise ranking) wordt getraind om clinician-curated HPO-termen (positief) hoger te rangschikken dan niet-gecurateerde termen (negatief).
     • Features: Kenmerken zijn afgeleid van kennisbanken (OMIM, Orphanet), zoals informatie-inhoud, aantal geassocieerde genen/ziektes en inverse document frequentie (IDF).
   • Output: Een gerangschikte lijst van HPO-termen die direct bruikbaar is voor diagnostische besluitvorming.

Data en Validatie:

• Training: 2.671 patiënten van 11 locaties van het Undiagnosed Diseases Network (UDN).
• Externe Validatie: 143 patiënten van het Vanderbilt University Medical Center (VUMC) met in totaal 16.357 klinische notities. Deze data werden niet gebruikt tijdens het trainen.
• Baseline: Vergelijking met PhenoBERT, een state-of-the-art deep learning systeem voor HPO-extractie.

Belangrijkste Resultaten

• End-to-End Prestaties: RARE-PHENIX presteerde consistent beter dan PhenoBERT op alle metrics (precisie, recall, F1-score en semantische gelijkenis op basis van ontologie).
  • De semantische gelijkenis met clinician-curated lijsten was 0,70 voor RARE-PHENIX (LLaMA-2-70b) versus 0,58 voor PhenoBERT.
• Ablatie-analyse (Bijdrage van modules):
  • Extractie alleen: Goede recall, maar lagere precisie (veel ruis).
  • Extractie + Standardisatie (Module 1+2): Verhoogde de precisie aanzienlijk (bijv. van 0,25 naar 0,43 voor LLaMA-2-70b) en verbeterde de F1-score, terwijl de recall stabiel bleef. Dit toont aan dat het normaliseren naar HPO-termen de ruis reduceert.
  • Prioritering (Module 3): Verhoogde de diagnostische bruikbaarheid aanzienlijk, vooral bij de top-k resultaten (k=10 tot 30). De prioritering zorgde ervoor dat de meest relevante termen bovenaan stonden, met een verbetering in semantische gelijkenis van ongeveer 0,06-0,09 ten opzichte van een willekeurige rangschikking.
• Foutanalyse:
  • RARE-PHENIX had 29% minder false negatives en 24% minder false positives dan PhenoBERT.
  • De meeste fouten (97% van de false negatives) waren niet te wijten aan extractiefouten, maar aan indirecte formuleringen in de medische notities (bijv. "severe growth retardation" in plaats van "failure to thrive") of ontologie-granulariteitsproblemen.

Bijdragen en Significantie

1. End-to-End Workflow: Dit is de eerste studie die het volledige klinische workflow voor zeldzame ziekte-fenotypering (extractie, normalisatie, prioritering) in één AI-framework integreert, in plaats van losse taken te optimaliseren.
2. Klinische Alignering: Door het prioriteren van diagnostisch informatieve termen, levert het systeem output die beter overeenkomt met hoe artsen werken, wat de klinische bruikbaarheid vergroot.
3. Modulair Ontwerp: Het systeem is modulair opgebouwd, waardoor de extractie- en normalisatiemodules kunnen worden gebruikt als upstream-tools voor andere systemen, en de prioriteringsmodule kan worden toegepast op output van andere extractiemethoden.
4. Schaalbaarheid: Het gebruik van Large Language Models (LLMs) maakt het mogelijk om fenotypering op grote schaal uit te voeren, wat de last van handmatige curatie vermindert.
5. Toekomstperspectief: Hoewel de resultaten retrospectief veelbelovend zijn, is toekomstig prospectief onderzoek nodig om de impact op de daadwerkelijke diagnose-tijd en de klinische workflow te valideren.

Conclusie:
RARE-PHENIX biedt een robuust, klinisch gealigneerd framework dat de kloof tussen ongestructureerde klinische notities en gestructureerde, diagnostisch waardevolle fenotypes dicht. Door het combineren van geavanceerde LLM-extractie, ontologie-gedreven normalisatie en slimme prioritering, biedt het een schaalbare oplossing om de diagnostische reis voor patiënten met zeldzame ziekten te verkorten.