Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases

Technische Samenvatting: Frequentie-gestratificeerde Benchmarking van LLM's bij de Diagnostiek van Monogene Ziekten

Probleemstelling
De kennisbasis van monogene (Mendeliaanse) ziekten vertoont een uitgesprokenen long-tail-distributie: een klein aantal canonieke ziektegenen is uitgebreid gedocumenteerd in de biomedische literatuur, terwijl een groot aantal zeldzame, recent gekarakteriseerde genen slechts schaars gerapporteerd wordt. Hoewel Large Language Models (LLM's) hun biomedische kennis ontlenen aan dezezelfde tekstcorpora, blijft het onduidelijk hoe deze ongelijke kennisstructuur hun diagnostische betrouwbaarheid beïnvloedt. Huidige evaluatiekaders vertrouwen vaak op algemene nauwkeurigheidsmetrieken, die systematische fouten bij laag-frequente, bewijs-arme genen kunnen maskeren. Deze studie adresseert de noodzaak om te bepalen of LLM's een frequentie-afhankelijke diagnostische bias vertonen en of zij als betrouwbare standalone systemen kunnen dienen voor moleculaire diagnostiek over het volledige spectrum van monogene ziekten.

Methodologie
De auteurs hebben MendelianBench-5K geconstrueerd, een nieuw benchmark-instrument dat ontworpen is om de prestaties van LLM's te evalueren door de lens van de frequentie van literatuurverslaglegging.

• Databron: De benchmark is afgeleid van de PhenoGemini Atlas, een literatuur-gecureerde, patiëntniveau fenotype-gen bron die meer dan 347.000 moleculair gediagnosticeerde individuen en 4.739 causale genen bevat.
• Stratificatie: De auteurs definieerden "gen-literatuurfrequentie" als de proportie patiëntendossiers geassocieerd met een specifiek causaal gen. Zij stratificeerden 5.000 moleculair gediagnosticeerde gevallen in vijf niveaus (kwintielen, Q1–Q5) op basis van deze frequentie, waarbij ze 1.000 gevallen uit elk niveau bemonsterden om een evenwichtige representatie van zowel veelvoorkomende als long-tail genen te waarborgen.
• Annotatie: Tekstuele fenotypische beschrijvingen werden via Doc2HPO omgezet naar Human Phenotype Ontology (HPO) termen.
• Evaluatie: Negen mainstream LLM's (waaronder GPT-5.5, Gemini-3.1-pro-preview, Claude-opus-4.7 en DeepSeek-varianten) werden geëvalueerd op een zero-shot fenotype-naar-gen diagnostische taak. Modellen kregen de opdracht om de vijf meest waarschijnlijke causale genen te rangschikken op basis van een fenotypisch profiel van een patiënt.
• Metrieken: Prestaties werden gemeten met behulp van Top-1 nauwkeurigheid, Top-5 nauwkeurigheid en Mean Reciprocal Rank (MRR).
• Validatie: Een subset van 500 gevallen onderging een handmatige beoordeling door klinische artsen om de consistentie van de benchmark-data met de bronliteratuur te verifiëren, wat een ondersteuningspercentage van 97% bevestigde.

Belangrijkste Resultaten

1. Beperkte Algemene Prestaties: Zelfs het best presterende model (GPT-5.5) behaalde een Top-1 nauwkeurigheid van slechts 18,56% en een Top-5 nauwkeurigheid van 33,78%. Dit geeft aan dat huidige LLM's, zonder externe retrieval of gestructureerd genetisch bewijs, nog niet in staat zijn om als betrouwbare standalone diagnostische systemen voor monogene ziekten te fungeren.
2. Sterke Long-Tail Bias: De diagnostische nauwkeurigheid vertoonde een monotone, positieve correlatie met de literatuurfrequentie van het gen.
   • Top-1 Nauwkeurigheid: Steeg van 2,24% in de laagste frequentie-tier (Q1) naar 42,48% in de hoogste frequentie-tier (Q5) — een verschil van ongeveer 19-voudig.
   • Top-5 Nauwkeurigheid: Steeg van 6,92% (Q1) naar 66,10% (Q5).
   • Deze trend was consistent over alle negen modellen, met Spearman-correlaties tussen de frequentie-tier en nauwkeurigheid variërend van 0,375 tot 0,485.
3. Temporele Afname: De prestaties degradeerden significant voor recent gepubliceerde gevallen. De Top-1 nauwkeurigheid daalde van 28,47% voor gevallen gepubliceerd vóór 2005 naar 7,83% voor gevallen gepubliceerd tussen 2020 en 2024.
4. Gevoeligheid voor Fenotypische Input: De prestaties van het model verbeterden bij de overgang van single-phenotype inputs naar 2–3 fenotypes, maar plateauerden of namen af bij een groter aantal fenotypes (≥4), wat suggereert dat excessieve of ongecureerde fenotypische input niet noodzakelijkerwijs helpt bij het rangschikken en ruis kan introduceren.
5. Systematische Foutpatronen:
   • Universele Falen: 58,24% van de gevallen werd geclassificeerd als "Hard" (0/9 modellen correct), sterk verrijkt met laag-frequente genen (54,98% uit Q1–Q2).
   • Vals-Positieven: Wanneer modellen fouten maakten, voorspelden ze disproportioneel vaak bekende, hoog-frequente "star"-genen (bijv. MECP2, FMR1, POLG) in plaats van het correcte zeldzame gen. De top 20 vals-positieve genen waren voornamelijk afkomstig uit de top 200 meest frequente genen in de literatuur.

Belangrijkste Bijdragen

• MendelianBench-5K: De introductie van de eerste frequentie-gestratificeerde benchmark voor de diagnostiek van monogene ziekten, expliciet ontworpen om de long-tail beperkingen van AI-modellen bloot te leggen.
• Bewijs van Kennis-Frequentie Bias: De studie levert empirisch bewijs dat de diagnostische fouten van LLM's niet willekeurig zijn, maar systematisch gestructureerd zijn door het frequentielandschap van de biomedische literatuur. Modellen hebben de neiging om terug te vallen op bekende, hoog-geattentioneerde genen wanneer ze onzeker zijn, wat leidt tot de onderherkenning van zeldzame aandoeningen.
• Evaluatiekader: De auteurs demonstreren dat algemene nauwkeurigheid onvoldoende is voor de beoordeling van medische AI in long-tail domeinen; frequentie-gestratificeerde evaluatie is noodzakelijk om systematische falen bij ondervertegenwoordigde gevallen te onthullen.

Betekenis en Claims
Het artikel stelt dat huidige LLM's duidelijke beperkingen vertonen in de moleculaire diagnostiek van monogene ziekten, specifesic het onvermogen om te generaliseren naar zeldzame, recent gekarakteriseerde of ondervertegenwoordigde genen. De auteurs stellen dat de schijnbare diagnostische capaciteit van deze modellen disproportioneel geconcentreerd is in literatuur-verrijkte genen.

Consequentelijk stelt de studie dat:

1. Klinische Voorzichtigheid: LLM's mogen niet worden ingezet als autonome diagnostische instrumenten voor monogene ziekten zonder integratie in expert-workflows, interpretatie van genetische varianten en externe bewijsretrieval.
2. Benchmarking Standaard: Toekomstige evaluaties van medische LLM's in long-tail biomedische velden moeten frequentie-gestratificeerde benchmarks adopteren om te voorkomen dat de klinische bruikbaarheid op veelvoorkomende gevallen wordt overschat terwijl kritieke fouten bij zeldzame ziekten worden gemist.
3. Toekomstige Richtingen: De auteurs suggereren dat "agentic" systemen, die retrieval, geheugen en iteratieve reflectie integreren (bijv. DeepRare), vereist kunnen zijn om de beperkingen van statische parametrische kennis te overwinnen en de prestaties op long-tail gevallen te verbeteren.

De auteurs concluderen dat hoewel LLM's veelbelovend zijn voor goed bestudeerde condities, hun prestaties substantieel afnemen voor zeldzame ziekten, wat een verschuiving noodzakelijk maakt naar bewijs-gedreven, klinisch verantwoorde diagnostische redenering in plaats van de afhankelijkheid van memorische associaties.