Concordance of Automated ACMG Variant Classification withExpert-Curated Assertions: A Systematic Evaluation Using theClinGen Evidence Repository

Imagina que tu ADN es un manual de instrucciones masivo y antiguo para construir un ser humano. Está escrito en un código de cuatro letras (A, C, G, T) y se extiende por miles de millones de caracteres. La mayor parte del tiempo, este manual funciona perfectamente. Pero a veces, una sola letra se intercambia, se elimina o se añade: un "error tipográfico" en el código. En el mundo de la genética clínica, estos errores se llaman variantes. Algunos son inofensivos, como un error en una nota al pie que no cambia la historia. Otros son peligrosos, como un error que convierte un "pare" en un "siga", haciendo que la maquinaria del cuerpo funcione descontroladamente y provoque enfermedades.

El gran desafío para los médicos y científicos no es encontrar estos errores, sino determinar cuáles son peligrosos y cuáles son solo ruido inofensivo. Para lograrlo, utilizan un libro de reglas estricto creado por expertos médicos. Este libro de reglas actúa como un sistema de puntuación gigante. Si un error tiene ciertas características "malas" (como romper un gen por completo), recibe puntos para ser clasificado como "Patogénico" (peligroso). Si tiene características "buenas" (como ser común en personas sanas), recibe puntos para ser "Benigno" (seguro). El objetivo es clasificar millones de estos errores en cinco categorías: Patogénico, Probablemente Patogénico, Incierto, Probablemente Benigno y Benigno. Acertar en esto es una cuestión de vida o muerte, pero hacerlo a mano es lento, costoso y propenso al desacuerdo humano. Por ello, los científicos han estado construando programas informáticos para realizar la clasificación de forma automática. Pero, ¿qué tan buenos son realmente estos robots?

---

El Juez Robot frente al Panel Humano

Este artículo pone a prueba un nuevo programa informático llamado VarTriage. Los autores querían ver si este robot automatizado podía igualar las decisiones del "Estándar de Oro": un equipo de expertos humanos que han pasado años curando el Repositorio de Evidencia de ClinGen. Piensa en el repositorio de ClinGen como el "Salón de la Fama" de los errores genéticos, donde los expertos humanos más confiables ya han decidido, con un alto grado de confianza, si una variante específica es peligrosa o segura.

Los investigadores alimentaron a VarTriage con 15.334 de estas variantes aprobadas por expertos. Luego, compararon las respuestas del robot con las de los expertos humanos para ver con qué frecuencia coincidían.

Los Grandes Hallazgos:

• El Robot es un Gran Detective de Errores "Malos": Cuando se trataba de detectar variantes peligrosas, VarTriage fue bastante impresionante. Identificó correctamente el 68,9% de las variantes verdaderamente patogénicas. Más importante aún, cuando decía que una variante era peligrosa, acertaba el 80,5% de las veces.
• El Superpoder "Binario": Si ignoramos el punto medio "Incierto" y simplemente preguntamos: "¿Es malo o es bueno?", el robot y los humanos coincidieron casi perfectamente. Su puntuación de acuerdo (llamada kappa de Cohen) fue de 0,98, lo que es básicamente un apretón de manos perfecto. Esto significa que el robot es excelente para mantener separados los montones de "malos" y "buenos", incluso si a veces no está seguro de qué tan malo o bueno es algo.
• El Problema del Montón "Incierto": La principal debilidad del robot fue que tendía a acumular demasiadas variantes en el montón "Incierto" (VUS). Mientras que los humanos pueden tener pistas adicionales para decir: "Esto es definitivamente seguro", el robot, al carecer de esas pistas específicas, jugó sobre seguro y dijo: "No lo sé". Esto resultó en una tasa de éxito mucho menor para detectar variantes "seguras" (solo el 16,9% en comparación con el 80,2% de los expertos humanos).

¿Qué Impulsa el Cerebro del Robot?

El estudio profundizó para ver por qué el robot tomaba las decisiones que tomaba. Descubrieron dos motores principales que impulsan sus decisiones:

1. La Regla de los "Dos Puntos": Los investigadores descubrieron que el mayor impulso a la precisión del robot provino de un truco matemático específico llamado "regla de combinación relajada de Bayes". Imagina que tienes dos pruebas que son cada una "moderadamente sospechosas". Las reglas antiguas decían que necesitabas una prueba "muy fuerte" para condenar. La nueva regla dice: "Oye, dos pruebas moderadas son en realidad suficientes para estar bastante seguro". Usar esta regla por sí sola aumentó la capacidad del robot para encontrar variantes malas en 3ipes de puntos porcentuales.
2. La Puntuación REVEL: La pista individual más poderosa que utilizó el robot fue una puntuación de predicción llamada REVEL. Este es un calculador sofisticado que observa la forma y la química de la proteína para adivinar si un cambio es malo. Cuando los investigadores desactivaron la puntuación REVEL, la capacidad del robot para encontrar variantes malas se desplomó en 36,9 puntos porcentuales. Resultó que REVEL era el superpoder más importante del robot.

Lo que el Robot no pudo Ver

El artículo señala explícitamente lo que el robot no pudo hacer. La razón por la que tuvo dificultades para identificar variantes "seguras" es que carece de acceso a ciertos tipos de evidencia que los humanos sí tienen.

• Pruebas de Laboratorio: Los humanos pueden observar los resultados de experimentos de laboratorio reales (ensayos funcionales) que demuestran que un gen funciona bien. El robot no puede ver estos.
• Árboles Genealógicos: Los humanos pueden observar cómo una variante recorre un árbol genealógico para ver si causa una enfermedad. El robot no puede hacer eso.
• Fuentes Confiables: Los humanos pueden leer una base de datos médica de confianza que dice: "Sabemos que esta variante es segura". El robot fue programado para ignorar esto para evitar la lógica circular (donde el robot simplemente repite lo que dice la base de datos).

Debido a que el robot no podía usar estas pistas "no computacionales", fue mucho menos seguro sobre si clasificar las cosas como "Benignas".

El Veredicto

El artículo concluye que, si bien aún no podemos reemplazar al panel de expertos humanos con un robot, podemos construir un asistente muy útil. VarTriage, utilizando solo 10 de las 28 reglas posibles, puede actuar como un filtro altamente confiable. Puede clasificar rápidamente las variantes claramente peligrosas y claramente seguras del montón de los "tal vez", dejando que los expertos humanos se concentren solo en los casos más complicados.

Los autores sugieren que el próximo gran salto no vendrá de hacer al robot más inteligente en matemáticas, sino de darle acceso a más tipos de datos, específicamente, esos resultados de pruebas de laboratorio y pistas de historial familiar que actualmente lo mantienen a oscuras. Hasta entonces, el robot es un fantástico compañero para la decisión de "malo vs. bueno", pero todavía necesita a un humano que lo ayude a sentirse seguro sobre las que son "seguras".