Frequency-Stratified Benchmarking Reveals Strong Long-Tail Limitations of Large Language Models in Diagnosis of Monogenic Diseases

Resumen Técnico: Evaluación Estratificada por Frecuencia de LLMs en el Diagnóstico de Enfermedades Monogénicas

Planteamiento del Problema
La base de conocimientos de las enfermedades monogénicas (mendelianas) exhibe una pronunciada distribución de cola larga: un pequeño número de genes de enfermedades canónicas está extensamente documentado en la literatura biomédica, mientras que un vasto número de genes raros, caracterizados recientemente, cuenta con informes escasos. Si bien los Modelos de Lenguaje de Gran Escala (LLMs) derivan su conocimiento biomédico de estos mismos corpus de texto, no está claro cómo este conocimiento de estructura desigual impacta su fiabilidad diagnóstica. Los marcos de evaluación actuales suelen depender de métricas de precisión general, las cuales pueden ocultar fallos sistemáticos en genes de baja frecuencia y con evidencia escasa. Este estudio aborda la necesidad de determinar si los LLMs exhiben un sesgo diagnóstico dependiente de la frecuencia y si pueden servir como sistemas independientes fiables para el diagnóstico molecular a través de todo el espectro de las enfermedades monogénicas.

Metodología
Los autores construyeron MendelianBench-5K, un nuevo benchmark diseñado para evaluar el rendimiento de los LLMs a través del prisma de la frecuencia de reporte en la literatura.

• Fuente de Datos: El benchmark se derivó del Atlas PhenoGemini, un recurso de fenotipo-gen a nivel de paciente, curado por literatura, que contiene más de 347,000 individuos con diagnóstico molecular y 4,739 genes causativos.
• Estratificación: Los autores definieron la "frecuencia de literatura del gen" como la proporción de registros de pacientes asociados con un gen causativo específico. Estratificaron 5,000 casos con diagnóstico molecular en cinco niveles (quintiles, Q1–Q5) basados en esta frecuencia, muestreando 1,000 casos de cada nivel para asegurar una representación equilibrada tanto de los genes comunes como de los de la cola larga.
• Anotación: Las descripciones fenotípicas en texto libre fueron convertidas a términos de la Ontología del Fenotipo Humano (HPO) utilizando Doc2HPO.
• Evaluación: Nueve LLMs de tendencia principal (incluyendo GPT-5.5, Gemini-3.1-pro-preview, Claude-opus-4.7 y variantes de DeepSeek) fueron evaluados en una tarea de diagnóstico de fenotipo a gen de disparo cero (zero-shot). Se instó a los modelos a clasificar los cinco genes causales más probables dado el perfil fenotípico de un paciente.
• Métricas: El rendimiento se midió utilizando la precisión Top-1, la precisión Top-5 y el Rango Recíproco Medio (MRR).
• Validación: Un subconjunto de 500 casos fue sometido a revisión manual por médicos clínicos para verificar la consistencia de los datos del benchmark con la literatura de origen, confirmando una tasa de soporte del 97%.

Resultos Clave

1. Rendimiento General Limitado: Incluso el modelo con mejor desempeño (GPT-5.5) logró una precisión Top-1 de solo el 18.56% y una precisión Top-5 del 33.78%. Esto indica que, sin recuperación externa o evidencia genética estructurada, los LLMs actuales aún no pueden funcionar como sistemas diagnósticos independientes fiables para enfermedades monogénicas.
2. Fuerte Sesgo de Cola Larga: La precisión diagnóstica mostró una correlación positiva y monotónica con la frecuencia de literatura del gen.
   • Precisión Top-1: Aumentó del 2.24% en el nivel de menor frecuencia (Q1) al 42.48% en el nivel de mayor frecuencia (Q5)—una diferencia aproximada de 19 veces.
   • Precisión Top-5: Ascendió del 6.92% (Q1) al 66.10% (Q5).
   • Esta tendencia fue consistente en los nueve modelos, con correlaciones de Spearman entre el nivel de frecuencia y la precisión que oscilaron entre 0.375 y 0.485.
3. Declive Temporal: El rendimiento se degradó significativamente para los casos publicados recientemente. La precisión Top-1 cayó del 28.47% para casos publicados antes de 2005 al 7.83% para casos publicados entre 2020 y 2024.
4. Sensibilidad de la Entrada Fenotípica: El rendimiento del modelo mejoró al pasar de entradas de un solo fenotipo a 2–3 fenotipos, pero se estancó o declinó con un mayor número de fenotipos (≥4), lo que sugiere que la entrada fenotípica excesiva o no curada no necesariamente ayuda al ranking y puede introducir ruido.
5. Patrones de Error Sistemático:
   • Fallos Universales: El 58.24% de los casos fueron clasificados como "Difíciles" (0/9 modelos correctos), fuertemente enriquecidos en genes de baja frecuencia (54.98% provenientes de Q1–Q2).
   • Falsos Positivos: Cuando los modelos erraban, predecían desproporcionadamente genes "estrella" conocidos y de alta frecuencia (ej., MECP2, FMR1, POLG) en lugar del gen raro correcto. Los 20 genes de falsos positivos principales pertenecían predominantemente a los 200 genes más frecuentes en la literatura.

Contribuciones Clave

• MendelianBench-5K: La introducción del primer benchmark estratificado por frecuencia para el diagnóstico de enfermedades monogénicas, diseñado explícitamente para exponer las limitaciones de la cola larga de los modelos de IA.
• Evidencia de Sesgo de Conocimiento-Frecuencia: El estudio proporciona evidencia empírica de que los errores diagnósticos de los LLM no son aleatorios, sino que están sistemáticamente estructurados por el paisaje de frecuencia de la literatura biomédica. Los modelos tienden a "recurrir por defecto" a genes familiares y de alta atención cuando tienen incertidumbre, lo que conduce al reconocimiento insuficiente de condiciones raras.
• Marco de Evaluación: Los autores demuestran que la precisión general es insuficiente para evaluar la IA médica en dominios de cola larga; la evaluación estratificada por frecuencia es necesaria para revelar fallos sistemáticos en casos subrepresentados.

Significancia y Reivindicaciones
El artículo afirma que los LLMs actuales exhiben limitaciones pronunciadas en el diagnóstico molecular de enfermedades monogénicas, específicamente su incapacidad para generalizar a genes raros, recientemente caracterizados o subrepresentados. Los autores argumentan que la capacidad diagnóstica aparente de estos modelos está desproporcionadamente concentrada en genes enriquecidos en la literatura.

Consecuentemente, el estudio asevera que:

1. Cautela Clínica: Los LLM no deben desplegarse como herramientas diagnósticas autónomas para enfermedades monogénicas sin integración en flujos de trabajo de expertos, interpretación de variantes genómicas y recuperación de evidencia externa.
2. Estándar de Benchmarking: Las evaluaciones futuras de los LLM médicos en campos biomédicos de cola larga deben adoptar benchmarks estratificados por frecuencia para evitar sobreestimar la utilidad clínica en casos comunes mientras se pasan por alto fallos críticos en enfermedades raras.
3. Direcciones Futuras: Los autores sugieren que los sistemas "agénticos", que incorporan recuperación, memoria y reflexión iterativa (ej., DeepRare), pueden ser necesarios para superar las limitaciones del conocimiento paramétrico estático y mejorar el rendimiento en casos de cola larga.

Los autores concluyen que, si bien los LLM muestran promesa para condiciones bien estudiadas, su rendimiento disminuye sustancialmente para las enfermedades raras, lo que requiere un cambio hacia un razonamiento diagnóstico impulsado por la evidencia y clínicamente responsable, en lugar de depender de asociaciones memorizadas.