Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases

Sintesi Tecnica: Valutazione Comparativa Stratificata per Frequenza degli LLM nella Diagnosi di Malattie Monogeniche

Problematica
La base di conoscenza delle malattie monogeniche (Mendeliane) presenta una distribuzione pronunciata a "coda lunga": un piccolo numero di geni patologici canonici è ampiamente documentato nella letteratura biomedica, mentre un vasto numero di geni rari e caratterizzati di recente è riportato in modo sparso. Sebbene i Large Language Models (LLM) derivino la loro conoscenza biomedica proprio da questi stessi corpora testuali, rimane poco chiaro come questa struttura di conoscenza non uniforme influenzi la loro affidabilità diagnostica. Gli attuali framework di valutazione si affidano spesso a metriche di accuratezza complessiva, che possono tuttavia mascherare fallimenti sistematici su geni a bassa frequenza e con scarsa evidenza. Questo studio affronta la necessità di determinare se gli LLM esibiscano un bias diagnostico dipendente dalla frequenza e se possano servire come sistemi stand-alone affidabili per la diagnosi molecolare attraverso l'intero spettro delle malattie monogeniche.

Metodologia
Gli autori hanno costruito MendelianBench-5K, un nuovo benchmark progettato per valutare le prestazioni degli LLM attraverso la lente della frequenza di reporting in letteratura.

• Fonte dei Dati: Il benchmark è derivato dal PhenoGemini Atlas, una risorsa di fenotipo-gene a livello di paziente, curata dalla letteratura, che contiene oltre 347.000 individui con diagnosi molecolare e 4.739 geni causativi.
• Stratificazione: Gli autori hanno definito la "frequenza di letteratura del gene" come la proporzione di record di pazienti associati a un determinato gene causativo. Hanno stratificato 5.000 casi con diagnosi molecolare in cinque livelli (quintili, Q1–Q5) basati su questa frequenza, campionando 1.000 casi per ogni livello per garantire una rappresentazione equilibrata sia dei geni comuni che di quelli a coda lunga.
• Annotazione: Le descrizioni fenotipiche in testo libero sono state convertite in termini della Human Phenotype Ontology (HPO) utilizzando Doc2HPO.
• Valutazione: Nove modelli LLM mainstream (inclusi GPT-5.5, Gemini-3.1-pro-preview, Claude-opus-4.7 e varianti di DeepSeek) sono stati valutati in un compito diagnostico fenotipo-gene zero-shot. I modelli sono stati istruiti per classificare i cinque geni causali più probabili dati il profilo fenotipico di un paziente.
• Metriche: Le prestazioni sono state misurate utilizzando l'accuratezza Top-1, l'accuratezza Top-5 e il Mean Reciprocal Rank (MRR).
• Validazione: Un sottoinsieme di 500 casi è stato sottoposto a revisione manuale da parte di medici clinici per verificare la coerenza dei dati del benchmark con la letteratura di origine, confermando un tasso di supporto del 97%.

Risultati Chiave

1. Prestazioni Complessive Limitate: Anche il modello con le migliori prestazioni (GPT-5.5) ha raggiunto un'accuratezza Top-1 di solo il 18,56% e un'accuratezza Top-5 del 33,78%. Ciò indica che, senza recupero esterno o evidenza genetica strutturata, gli attuali LLM non possono ancora funzionare come sistemi diagnostici stand-alone affidabili per le malattie monogeniche.
2. Forte Bias verso la Coda Lunga: L'accuratezza diagnostica ha mostrato una correlazione monotona e positiva con la frequenza di letteratura del gene.
   • Accuratezza Top-1: È aumentata dal 2,24% nel livello di frequenza più basso (Q1) al 42,48% in quello di frequenza più alta (Q5) — una differenza di circa 19 volte.
   • Accuratezza Top-5: È salita dal 6,92% (Q1) al 66,10% (Q5).
   • Questa tendenza è stata costante in tutti i nove modelli, con correlazioni di Spearman tra il livello di frequenza e l'accuratezza compresi tra 0,375 e 0,485.
3. Declino Temporale: Le prestazioni sono degradate significativamente per i casi pubblicati di recente. L'accuratezza Top-1 è scesa dal 28,47% per i casi pubblicati prima del 2005 al 7,83% per i casi pubblicati tra il 2020 e il 2024.
4. Sensibilità dell'Input Fenotipico: Le prestazioni del modello sono migliorate passando da input a singolo fenotipo a input con 2–3 fenotipi, ma sono poi plateau o declinate con un numero maggiore di fenotipi (≥4), suggerendo che l'input fenotipico eccessivo o non curato non aiuti necessariamente la classificazione e possa introdurre rumore.
5. Pattern di Errore Sistematico:
   • Fallimenti Universali: Il 58,24% dei casi è stato classificato come "Difficile" (0/9 modelli corretti), fortemente arricchito per geni a bassa frequenza (54,98% provenienti da Q1–Q2).
   • Falsi Positivi: Quando i modelli sbagliavano, predicevano sproporzionatamente geni "star" ben noti e ad alta frequenza (es. MECP2, FMR1, POLG) piuttosto che il gene raro corretto. I primi 20 geni falsi positivi appartenevano prevalentemente ai primi 200 geni più frequenti nella letteratura.

Contributi Principali

• MendelianBench-5K: L'introduzione del primo benchmark stratificato per frequenza per la diagnosi di malattie monogeniche, esplicitamente progettato per esporre i limiti della "coda lunga" dei modelli AI.
• Evidenza del Bias Conoscenza-Frequenza: Lo studio fornisce prove empiriche che gli errori diagnostici degli LLM non sono casuali, ma sono sistematicamente strutturati dalla geografia della frequenza della letteratura biomedica. I modelli tendono a "predefinire" geni familiari e ad alta attenzione quando sono incerti, portando al mancato riconoscimento di condizioni rare.
• Framework di Valutazione: Gli autori dimostrano che l'accuratezza complessiva è insufficiente per valutare l'IA medica nei domini biomedici a coda lunga; la valutazione stratificata per frequenza è necessaria per rivelare fallimenti sistematici sui casi sottorappresentati.

Significatività e Rivendicazioni
L'articolo sostiene che gli attuali LLM esibiscono limitazioni pronunciate nella diagnosi molecolare di malattie monogeniche, specificamente la loro incapacità di generalizzare a geni rari o caratterizzati di recente o sottorappresentati. Gli autori sostengono che la capacità diagnostica apparente di questi modelli è sproporzionatamente concentrata nei geni arricchiti dalla letteratura.

Di conseguenza, lo studio afferma che:

1. Cautela Clinica: Gli LLM non dovrebbero essere impiegati come strumenti diagnostici autonomi per le malattie monogeniche senza l'integrazione in flussi di lavoro esperti, interpretazione delle varianti genomiche e recupero di evidenze esterne.
2. Standard di Benchmarking: Le future valutazioni degli LLM medici nei campi biomedici a coda lunga devono adottare benchmark stratificati per frequenza per evitare di sovrastimare l'utilità clinica sui casi comuni, ignorando i fallimenti critici sulle malattie rare.
3. Direzioni Future: Gli autori suggeriscono che sistemi "agentici", che incorporano recupero, memoria e riflessione iterativa (es. DeepRare), potrebbero essere necessari per superare i limiti della conoscenza parametrica statica e migliorare le prestazioni sui casi a coda lunga.

Gli autori concludono che, sebbene gli LLM mostrino potenziale per le condizioni ben studiate, le loro prestazioni declinano sostanzialmente per le malattie rare, rendendo necessario un passaggio verso un ragionamento diagnostico guidato dalle evidenze e clinicamente responsabile, piuttosto che basato sulla fiducia nelle associazioni memorizzate.