Performance Characteristics of Reasoning Large Language Models for Evidence Extraction from Clinical Genomics Literature

Dit onderzoek toont aan dat redenerende grote taalmodellen de automatische extractie van klinisch genetisch bewijs (PS4) uit literatuur met hoge nauwkeurigheid kunnen ondersteunen, hoewel prestaties model- en promptafhankelijk zijn en fouten vaak voortkomen uit het incorrect toepassen van richtlijnen, wat een hybride workflow met menselijke escalatie vereist.

De kern

Stel je voor dat je een enorme bibliotheek hebt vol met duizenden boeken over menselijk DNA. In deze boeken staan verhalen over mensen die ziek zijn geworden door een klein foutje in hun genen (een "variant"). Om te weten of een bepaald foutje echt gevaarlijk is, moeten artsen en onderzoekers deze boeken doorzoeken en tellen: "Hoeveel mensen met dit foutje zijn er ziek, en hoeveel mensen met hetzelfde foutje zijn er gezond?"

Dit is als het zoeken naar een naald in een hooiberg, maar dan met een extra moeilijkheid: je moet niet alleen de naald vinden, maar ook precies tellen hoeveel er zijn, volgens een heel streng en complex regelsboek (de ACMG/AMP-richtlijnen). Tot nu toe moesten mensen dit handmatig doen, wat extreem tijdrovend is en vaak vastloopt.

Wat hebben de onderzoekers gedaan?
Ze hebben geprobeerd om slimme computerprogramma's, zogenaamde "Redenerende AI's" (Large Language Models), in te zetten als digitale bibliothecarissen. Ze hebben vijf van de slimste AI's ter wereld getest (zoals Gemini, GPT-5 en Claude) om te zien of ze dit moeilijke werk kunnen overnemen.

Hoe hebben ze het getest?
Stel je voor dat je vijf verschillende detectives (de AI's) een dossier geeft met 281 verhalen uit wetenschappelijke boeken. Hun opdracht was tweeledig:

1. De zoektocht: Vinden ze het juiste genetische foutje in het verhaal?
2. De telling: Kunnen ze precies tellen hoeveel mensen in dat verhaal ziek zijn, volgens de strenge regels?

Wat was het resultaat?
De resultaten waren verrassend goed, maar met een kleine hapering:

• Het zoeken: De AI's waren uitstekend in het vinden van het juiste foutje. Ze vonden het in bijna 94% tot 98% van de gevallen. Dit is alsof ze in een berg boeken direct de juiste pagina vinden.
• Het tellen: Hier werd het lastiger. De beste AI's (Gemini 2.5 Pro en GPT-5) hadden het in 90% van de gevallen precies goed. Ze konden het regelsboek goed toepassen om te bepalen wie er meetelde voor de telling.
• De foutjes: Waar de AI's vastliepen, was niet bij het vinden van de woorden, maar bij het begrijpen van de context. Soms keken ze niet goed genoeg naar de familiegeschiedenis of de specifieke ziekteverschijnselen, waardoor ze iemand telden die eigenlijk niet mee mocht, of iemand over het hoofd zagen. Het is alsof een AI een recept volgt, maar vergeet te kijken of de ingrediënten vers zijn.

Wat betekent dit voor de toekomst?
De conclusie is dat deze slimme AI's geen perfecte vervangers zijn voor menselijke experts, maar wel fantastische assistenten.

Je kunt het vergelijken met een kookteam:

• De AI is de snelle kok die alle ingrediënten (de bewijzen) uit de boeken haalt en in een kom doet.
• De menselijke expert is de chef-kok die de kom controleert, de smaak proeft en beslist of het gerecht (de diagnose) veilig is om te serveren.

Door de AI te gebruiken, gaat het werk van het zoeken en tellen veel sneller. De menselijke expert hoeft niet meer uren te zoeken, maar kan zich focussen op het controleren van de moeilijke gevallen. Dit maakt het proces van het diagnosticeren van zeldzame ziekten veel sneller en efficiënter, zonder dat de kwaliteit in gevaar komt.

Technische samenvatting

Technische Samenvatting: Prestatiekenmerken van Redenerende Grootte Taalmodellen voor Evidentie-extractie uit Klinische Genomische Literatuur

1. Het Probleem

De curatie van genetische varianten is een cruciale stap in de implementatie van genomische geneeskunde. Een essentieel onderdeel hiervan is het vergelijken van de prevalentie van varianten bij getroffen individuen versus gezonde controles, gebaseerd op literatuur. Volgens de AMP/ACMG-richtlijnen voor variantinterpretatie wordt dit bewijs gecategoriseerd als evidentiecode PS4.
Het handmatig extraheren van deze informatie uit medische publicaties vormt echter een groot knelpunt (bottleneck) in het klinische proces. De huidige uitdaging ligt in het vinden van een schaalbare oplossing die niet alleen de literatuur kan doorzoeken, maar ook complexe richtlijnen kan toepassen om het aantal onafhankelijke "probanden" (patiënten) die voldoen aan de criteria, nauwkeurig te tellen.

2. Methodologie

De studie heeft vijf verschillende Large Language Models (LLMs) getest op hun vermogen om richtlijn-conform PS4-evidentie te extraheren.

• Onderzochte Modellen: De evaluatie omvatte een breed scala aan modellen, variërend van frontier-scale tot redenerings-geoptimaliseerde en efficiency-gerichte klassen:
  • Gemini 2.5 Pro
  • GPT-5
  • o3
  • o4-mini
  • Claude Sonnet 4
• Dataverzameling (Ground Truth): Er werd een expert-gecurateerde "truth-set" samengesteld bestaande uit 281 publicatie-variantparen afkomstig uit 275 peer-reviewed publicaties. Deze set dekte 58 genen en 128 varianten.
• Evaluatieopdrachten: De modellen werden getest op twee specifieke taken onder strikte ACMG/AMP en ClinGen Variant Curation Expert Panel (VCEP) richtlijnen:
  1. Taak 1 (Detectie): Bepalen of een vooraf gespecificeerde variant correct in een publicatie werd geïdentificeerd.
  2. Taak 2 (Telling): Het tellen van het aantal onafhankelijke, PS4-kwalificerende probanden.
• Evaluatiemetrics: De primaire uitkomstmaten waren de nauwkeurigheid voor Taak 1 en de exacte-telling overeenstemming (waarbij het modelgetal exact gelijk moet zijn aan het expert-getal) voor Taak 2.
• Experimentele Opzet: Alle modellen kregen identieke inputs, een unificatie prompt-sjabloon en een schema-gedwongen JSON-outputformaat. Er werd ook gekeken naar prompt-sensitiviteit, foutmodi en outputvariabiliteit.

3. Belangrijkste Resultaten

• Variantdetectie: Alle modellen presteerden zeer goed in het detecteren van de aanwezigheid van een variant in een publicatie, met nauwkeurigheden tussen 93,6% en 97,9%.
• PS4-Case Telling (Exacte Overeenstemming): Hier waren de prestaties heterogeen en afhankelijk van het model:
  • Gemini 2.5 Pro: 91,1% (hoogste)
  • GPT-5: 90,0%
  • o3: 86,5%
  • o4-mini: 79,4%
  • Claude Sonnet 4: 73,0% (laagste)
• Foutanalyse: De meeste fouten in het tellen van probanden ontstonden doordat modellen de richtlijnen niet correct konden toepassen, met name bij het evalueren van fenotypes en familiestructuren.
• Prompt-Optimalisatie: Het verfijnen van prompts verbeterde de overeenstemming voor de meeste modellen, maar had een negatief effect op Claude Sonnet 4. Dit suggereert dat prompt-engineering model-specifiek moet worden benaderd.

4. Belangrijkste Bijdragen

• Eerste Benchmarking: Dit onderzoek biedt een van de eerste uitgebreide benchmarks van redenerende LLMs voor de specifieke, complexe taak van richtlijn-conforme variantcuratie (PS4-code) in de klinische genetica.
• Kwalitatieve Inzicht: Het identificeert dat de beperkingen niet liggen in het vinden van informatie (detectie), maar in het logische redeneren over complexe klinische criteria (fenotype/familie).
• Model-Variabiliteit: Het demonstreert dat er geen "one-size-fits-all" oplossing is; de prestaties variëren sterk per model en zijn gevoelig voor de specifieke prompt-strategie.

5. Betekenis en Conclusie

De studie concludeert dat redenerende LLMs potentieel hebben om de automatisering van PS4-evidentie-extractie te ondersteunen met een hoge mate van overeenstemming met expert-curatie. Echter, omdat fouten zich concentreren bij het toepassen van complexe richtlijnen en de prestaties model-afhankelijk zijn, wordt een hybride workflow aanbevolen voor klinisch gebruik.
In dit model fungeren LLMs als versnellers voor de eerste fase van evidentie-extractie, waarbij de output vervolgens door menselijke experts wordt gevalideerd en geëscaleerd bij twijfel. Dit combineert de snelheid en schaalbaarheid van AI met de onmisbare nauwkeurigheid van menselijke expertise.