AnnotateMissense: a genome-wide annotation and benchmarking framework for missense pathogenicity prediction

Resumen Técnico: AnnotateMissense

Enunciado del Problema
La interpretación de variantes de sentido erróneo sigue siendo un desafío significativo en la genómica, ya que la patogenicidad está determinada por capas de evidencia heterogéneas y parcialmente superpuestas. Estas incluyen la frecuencia poblacional, la conservación evolutiva, el contexto del transcrito, la gravedad de la sustitución de aminoácidos, los predictores de patogenicidad previos y las características derivadas de modelos de lenguaje de proteínas. Aunque existen recursos computacionales individuales, falta un flujo de trabajo reproducible que integre estas diversas fuentes a escala genómica, evalúe sistemáticamente sus contribuciones y proporcione resultados accesibles para la investigación posterior. Además, la integración de estos recursos se complica por diferencias en la direccionalidad de las puntuaciones, la cobertura y la posible circularidad de los datos, especialmente cuando los predictores se entrenan en bases de datos clínicas como ClinVar o HGMD.

Metodología
Los autores presentan AnnotateMissense, un marco escalable para la anotación genómica, la integración de características, la evaluación comparativa y la predicción. El flujo de trabajo procesa 90.643.830 variantes de un solo nucleótido de sentido erróneo hg38 derivadas de dbNSFP v5.1.

• Integración de Características: El marco integra un espacio de 303 características que comprende:

  • Anotaciones de genes, regiones y filtros basadas en ANNOVAR.
  • Descriptores de transcrito y proteína de dbNSFP.
  • Puntuaciones de AlphaMissense y características derivadas de ESM (modelos de lenguaje de proteínas).
  • Métricas de conservación (por ejemplo, PhyloP, GERP++).
  • Variables de frecuencia poblacional (por ejemplo, gnomAD).
  • Predictores de patogenicidad establecidos (por ejemplo, SIFT, PolyPhen-2, REVEL, CADD).
  • Características biológicas diseñadas (por ejemplo, cambios fisicoquímicos de aminoácidos, composición de codones, puntuaciones BLOSUM62).
  • Se excluyeron los campos directos de ClinVar destinados a la predicción para minimizar la fuga de objetivos.

• Evaluación Comparativa y del Modelo:

  • Conjunto de datos: Se construyó una evaluación comparativa supervisada utilizando 132.714 variantes de sentido erróneo etiquetadas en ClinVar (76.804 patogénicas/probablemente patogénicas; 55.910 benignas/probablemente benignas). Se excluyeron las variantes de significado incierto o con etiquetas conflictivas.
  • Modelos: Se evaluaron múltiples modelos de aprendizaje automático (XGBoost, Random Forest, FLAML AutoML) y de aprendizaje profundo (TabNet, PyTorch DNN, TensorFlow DNN) utilizando validación cruzada estratificada de cinco pliegues.
  • Métricas: La métrica principal fue el Coeficiente de Correlación de Matthews (MCC), complementado por ROC-AUC, precisión y puntuación F1.
  • Estudios de Ablación: Para evaluar las contribuciones de las características y controlar la circularidad, los autores probaron conjuntos de características restringidas:
    • Características ingenuas: Solo conservación y anotaciones funcionales.
    • Características orientadas a la ubicación: Secuencia local y contexto funcional.
    • Control de circularidad: Exclusión de predictores previos, frecuencias poblacionales o herramientas entrenadas en bases de datos clínicas (ClinVar/HGMD).
    • Exclusión de modelos de proteínas: Eliminación de características de AlphaMissense y ESM.

• Validación:

  • Validación Temporal: El modelo se probó en variantes patogénicas/benignas recién observadas en una versión más reciente de ClinVar que estaban ausentes en el conjunto de entrenamiento.
  • Casos de Uso Biológicos: Análisis de Variantes de Significado Incierto (VUS) estratificadas por puntuaciones Z de restricción de sentido erróneo de gnomAD y análisis de discordancia paritaria frente a predictores establecidos.

Resultados Clave

• Rendimiento: El conjunto completo de 303 características logró el mejor rendimiento utilizando XGBoost, con un MCC medio de 0,9411 y un ROC-AUC de 0,9950 en los pliegues de validación cruzada.
• Importancia de las Características: Los conjuntos de características restringidas tuvieron un rendimiento sustancialmente peor. El conjunto de características ingenuas (41 características) logró un mejor MCC de 0,4989, y el conjunto orientado a la ubicación (56 características) alcanzó 0,5113.
• Perspectivas de Ablación:
  • Eliminar los predictores de patogenicidad previos y las métricas de frecuencia poblacional (Conjunto de datos 5) redujo el mejor MCC a 0,7582.
  • Eliminar las características derivadas de herramientas entrenadas en bases de datos clínicas (Conjunto de datos 6) resultó en una reducción similar (MCC 0,7326).
  • Excluir únicamente las características derivadas de AlphaMissense y ESM (Conjunto de datos 7) tuvo un impacto mínimo (MCC 0,9409), lo que sugiere que estas características no proporcionaron una señal independiente más allá del conjunto de anotaciones más amplio en esta configuración específica.
• Validación Temporal: En 298.353 variantes recién observadas, el modelo logró un MCC de 0,7613, una precisión de 0,8798 y una puntuación F1 de 0,8750.
• Utilidad Biológica: Las VUS en genes intolerantes al sentido erróneo (puntuación Z de gnomAD > 3) recibieron puntuaciones de patogenicidad predicha significativamente más altas (media 0,631) en comparación con las de genes tolerantes (media 0,548).
• Análisis de Discordancia: AnnotateMissense mostró una amplia concordancia con los predictores establecidos, pero proporcionó clasificaciones complementarias para un subconjunto de variantes. Cabe destacar que, en variantes discordantes con ESM1v, AnnotateMissense coincidió con las etiquetas de ClinVar el 67,9 % de las veces.

Significado y Afirmaciones
Los autores posicionan a AnnotateMissense como un marco escalable de anotación, evaluación comparativa y priorización de investigación, declarando explícitamente que no es un sistema de clasificación clínica independiente.

• La Integración es Clave: El hallazgo principal es que la clasificación de sentido erróneo de alto rendimiento requiere la integración de fuentes de evidencia heterogéneas. Los modelos entrenados en el conjunto completo de características de múltiples fuentes superaron sustancialmente a aquellos que dependían únicamente de la conservación, la anotación funcional o las características de secuencia local.
• Transparencia y Reproducibilidad: El marco proporciona un método transparente para cuantificar las contribuciones de los conjuntos de características y gestionar la circularidad en la evaluación comparativa.
• Disponibilidad de Recursos: Los autores han publicado el código fuente, los scripts del flujo de trabajo y los resultados completos de predicción a escala genómica (90.643.830 variantes) como un recurso de investigación público a través de GitHub y Zenodo.
• Advertencia Clínica: El artículo enfatiza que las predicciones deben interpretarse como puntuaciones de priorización para investigación, evaluación comparativa y triaje de variantes. La interpretación clínica requiere una revisión experta e integración con el contexto de la enfermedad, la herencia, la segregación y la evidencia funcional, de acuerdo con las directrices clínicas actuales.