Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases

Resumo Técnico: Avaliação Estratificada por Frequência de LLMs no Diagnóstico de Doenças Monogênicas

Declaração do Problema
A base de conhecimento de doenças monogênicas (mendelianas) exibe uma distribuição pronunciada de cauda longa: um pequeno número de genes de doenças canônicas é extensamente documentado na literatura biomédica, enquanto um vasto número de genes raros e recentemente caracterizados é esparsamente relatado. Embora os Grandes Modelos de Linguagem (LLMs) derivem seu conhecimento biomédico desses mesmos corpora de texto, permanece incerto como essa estrutura de conhecimento desigual impacta sua confiabilidade diagnóstica. Os frameworks de avaliação atuais frequentemente dependem de métricas de precisão global, que podem ocultar falhas sistemáticas em genes de baixa frequência e com pouca evidência. Este estudo aborda a necessidade de determinar se os LLMs exibem um viés diagnóstico dependente da frequência e se eles podem servir como sistemas autônomos confiáveis para o diagnóstico molecular em todo o espectro das doenças monogênicas.

Metodologia
Os autores construíram o MendelianBench-5K, um novo benchmark projetado para avaliar o desempenho dos LLMs através da lente da frequência de relato na literatura.

• Fonte de Dados: O benchmark foi derivado do Atlas PhenoGemini, um recurso de fenótipo-gene ao nível do paciente, curado pela literatura, contendo mais de 347.000 indivíduos diagnosticados molecularmente e 4.739 genes causadores.
• Estratificação: Os autores definiram a "frequência de literatura do gene" como a proporção de registros de pacientes associados a um gene causador específico. Eles estratificaram 5.000 casos diagnosticados molecularmente em cinco níveis (quintis, Q1–Q5) com base nesta frequência, amostrando 1.000 casos de cada nível para garantir uma representação equilibrada tanto de genes comuns quanto de cauda longa.
• Anotação: Descrições fenotípicas em texto livre foram convertidas em termos da Ontologia de Fenótipos Humanos (HPO) usando o Doc2HPO.
• Avaliação: Nove LLMs mainstream (incluindo GPT-5.5, Gemini-3.1-pro-preview, Claude-opus-4.7 e variantes do DeepSeek) foram avaliados em uma tarefa de diagnóstico fenótipo-para-gene zero-shot. Os modelos foram instruídos a classificar os cinco genes causadores mais prováveis dado o perfil fenotípico de um paciente.
• Métricas: O desempenho foi medido usando acurácia Top-1, acurácia Top-5 e Rank Recíproco Médio (MRR).
• Validação: Um subconjunto de 500 casos passou por revisão manual por médicos clínicos para verificar a consistência dos dados do benchmark com a literatura de origem, confirmando uma taxa de suporte de 97%.

Principais Resultados

1. Desempenho Global Limitado: Mesmo o modelo com melhor desempenho (GPT-5.5) alcançou uma acurácia Top-1 de apenas 18,56% e uma acurácia Top-5 de 33,78%. Isso indica que, sem recuperação externa ou evidência genética estruturada, os LLMs atuais ainda não podem funcionar como sistemas diagnósticos autônomos confiáveis para doenças monogênicas.
2. Forte Viés de Cauda Longa: A acurácia diagnóstica mostrou uma correlação positiva e monotônica com a frequência de literatura do gene.
   • Acurácia Top-1: Aumentou de 2,24% no nível de menor frequência (Q1) para 42,48% no nível de maior frequência (Q5) — uma diferença de aproximadamente 19 vezes.
   • Acurácia Top-5: Subiu de 6,92% (Q1) para 66,10% (Q5).
   • Esta tendência foi consistente em todos os nove modelos, com correlações de Spearman entre o nível de frequência e a acurácia variando de 0,375 a 0,485.
3. Declínio Temporal: O desempenho degradou-se significativamente para casos publicados recentemente. A acurácia Top-1 caiu de 28,47% para casos publicados antes de 2005 para 7,83% para casos publicados entre 2020 e 2024.
4. Sensibilidade do Input Fenotípico: O desempenho do modelo melhorou ao passar de inputs de fenótipo único para 2–3 fenótipos, mas estabilizou ou declinou com um número maior de fenótipos (≥4), sugerindo que inputs fenotípicos excessivos ou não curados não necessariamente auxiliam no ranking e podem introduzir ruído.
5. Padrões de Erro Sistemático:
   • Falhas Universais: 58,24% dos casos foram classificados como "Difíceis" (0/9 modelos corretos), fortemente enriquecidos por genes de baixa frequência (54,98% de Q1–Q2).
   • Falsos Positivos: Quando os modelos erravam, eles previam desproporcionalmente genes "estrela" conhecidos e de alta frequência (ex: MECP2, FMR1, POLG) em vez do gene raro correto. Os 20 principais genes falsos positivos eram predominantemente dos 200 genes mais frequentes na literatura.

Principais Contribuições

• MendelianBench-5K: A introdução do primeiro benchmark estratificado por frequência para o diagnóstico de doenças monogênicas, explicitamente desenhado para expor as limitações de cauda longa dos modelos de IA.
• Evidência de Viés de Frequência de Conhecimento: O estudo fornece evidência empírica de que os erros diagnósticos dos LLMs não são aleatórios, mas são sistematicamente estruturados pelo panorama de frequência da literatura biomédica. Os modelos tendem a "retornar ao padrão" de genes familiares e de alta atenção quando incertos, levando ao não reconhecimento de condições raras.
• Framework de Avaliação: Os autores demonstram que a acurácia global é insuficiente para avaliar IAs médicas em domínios de cauda longa; a avaliação estratificada por frequência é necessária para revelar falhas sistemáticas em casos sub-representados.

Significância e Alegações
O artigo alega que os LLMs atuais exibem limitações pronunciadas no diagnóstico molecular de doenças monogênicas, especificamente sua incapacidade de generalizar para genes raros, recentemente caracterizados ou sub-representados. Os autores argumentam que a capacidade diagnóstica aparente desses modelos está desproporcionalmente concentrada em genes enriquecidos pela literatura.

Consequentemente, o estudo afirma que:

1. Cautela Clínica: Os LLMs não devem ser implantados como ferramentas diagnósticas autônomas para doenças monogênicas sem integração em fluxos de trabalho de especialistas, interpretação de variantes genômicas e recuperação de evidências externas.
2. Padrão de Benchmarking: Avaliações futuras de LLMs médicos em campos biomédicos de cauda longa devem adotar benchmarks estratificados por frequência para evitar a superestimação da utilidade clínica em casos comuns enquanto perdem falhas críticas em doenças raras.
3. Direções Futuras: Os autores sugerem que sistemas "agênticos", que incorporam recuperação, memória e reflexão iterativa (ex: DeepRare), podem ser necessários para superar as limitações do conhecimento paramétrico estático e melhorar o desempenho em casos de cauda longa.

Os autores concluem que, embora os LLMs mostrem promessa para condições bem estudadas, seu desempenho declina substancialmente para doenças raras, exigindo uma mudança em direção ao raciocínio diagnóstico baseado em evidências e clinicamente responsável, em vez de depender de associações memorizadas.