Dated public evidence and known genes for retrospective evaluation of gene prioritization

En el vasto paisaje de la medicina moderna, los científicos intentan constantemente predecir qué genes se convertirán en los objetivos para nuevos fármacos. Imagine a un investigador frente a una biblioteca que contiene millones de libros sobre biología humana, tratando de adivinar qué volumen específico contiene el secreto para curar una enfermedad. Para realizar estas conjeturas, construyen modelos computacionales que aprenden de los éxitos pasados: observan los genes que ya se sabe que son objetivos eficaces y tratan de encontrar los patrones que los hicieron exitosos. La esperanza es que estos patrones les ayuden a detectar el próximo gran objetivo antes de que se invente un fármaco. Sin embargo, existe una trampa sutil pero peligrosa en este proceso. Las bibliotecas que utilizan estos modelos no son estáticas; son colecciones vivas que crecen cada día. Tan pronto como un gen se vuelve famoso y se desarrolla un fármaco para él, nueva información sobre ese gen inunda las bases de datos. Si un modelo computacional aprende de una base de datos que fue actualizada después de que un gen se hiciera famoso, podría estar simplemente memorizando el hecho de que el gen es famoso, en lugar de aprender las razones biológicas por las que funciona. Esto es como intentar predecir el ganador de una carrera mirando un marcador que ya enumera los resultados; la predicción es técnicamente correcta, pero no dice nada sobre la velocidad o la estrategia real del corredor.

Este problema, conocido como "filtración de información" (information leakage), ha dificultado la confianza en el rendimiento de muchas herramientas de priorización de genes. Los investigadores han sospechado durante mucho tiempo que estas herramientas rinden por encima de sus capacidades porque están, accidentalmente, espiando el futuro. Para resolver esto, un equipo de Pfizer ha creado un nuevo conjunto de datos meticulosamente fechado que permite a los científicos reproducir la historia exactamente como ocurrió. En lugar de utilizar la versión actual y actualizada de las bases de datos públicas, este nuevo recurso permite a los investigadores congelar el tiempo en cualquier punto de la última década. Pueden pedir al modelo computacional que realice una predicción utilizando solo la información que estaba disponible públicamente en una fecha específica, y luego verificar si el modelo habría identificado correctamente los genes que se hicieron famosos más tarde. Este enfoque elimina la ventaja de conocer el resultado de antemano, obligando a los modelos a depender de señales biológicas genuinas en lugar del ruido de la investigación acumulada.

El núcleo de este trabajo es una enorme colección de tablas de evidencia que cubren cuatro áreas principales de la medicina: cáncer, enfermedad inflamatoria intestinal, metabolismo y psoriasis. Los investigadores recopilaron datos de veinte fuentes públicas diferentes, tales como registros de ensayos clínicos, bases de datos genéticas y mapas de proteínas. Para cada pieza de información en estas tablas, adjuntaron dos metadatos críticos: una fecha de lanzamiento y una clasificación de "filtración" (leakage). La fecha de lanzamiento le indica a la computadora exactamente cuándo esa pieza de información se hizo pública por primera vez. La clasificación de filtración actúa como un filtro, clasificando los datos según la probabilidad de que estén sesgados por la historia del desarrollo de fármacos. Algunos puntos de datos representan biología pura, como la estructura física de una proteína o su ubicación en el cuerpo, que existirían independientemente de si alguien alguna vez intentara fabricar un fármaco para ello. Otros puntos de datos representan la historia de la investigación en sí misma, como cuántos artículos científicos se han escrito sobre un gen o cuántos ensayos clínicos lo han probado. Este último grupo es altamente sospechoso porque el volumen de investigación a menudo aumenta solo después de que un gen ya es conocido por ser importante.

Al organizar los datos de esta manera, el equipo creó cinco diferentes "conjuntos de características" (feature sets), o versiones del conjunto de datos, que van desde la colección completa hasta una versión de "solo biología" que excluye toda la historia de la investigación y los registros de desarrollo de fármacos. Esto permite a los científicos probar sus modelos bajo diferentes condiciones. Pueden ver si un modelo funciona bien cuando solo se le permite ver los hechos biológicos brutos, o si solo funciona bien cuando se le permite ver la historia acumulada del estudio humano. El conjunto de datos también incluye una lista de 19 grupos de "genes conocidos", cada uno con una fecha precisa que marca cuándo ese gen se convirtió por primera vez en un objetivo o asociación de enfermedad conocida. Para los objetivos de cáncer, esta fecha es particularmente estricta: es el día en que un registro de ensayo clínico mostró por primera vez que un ensayo para ese gen específico había comenzado, asegurando que el modelo no pudiera haber conocido el ensayo antes de que fuera público.

Cuando los investigadores probaron estas herramientas, descubrieron que el momento de los datos importa inmensamente. Descubrieron que muchas características que parecen útiles hoy en día son en realidad reflejos de cuánto se ha estudiado un gen. Por ejemplo, el número de artículos de investigación o el número de conexiones que un gen tiene en una red tiende a dispararse después de que un gen se convierte en un objetivo de fármacos. Si un modelo utiliza estas características, está utilizando esencialmente la clave de respuestas. El nuevo conjunto de datos reveló que cuando se eliminan estas características de "historia" y se observa solo la biología que existía antes de que el gen fuera famoso, el rendimiento de muchos modelos cae significativamente. Esto sugiere que las evaluaciones previas de estas herramientas fueron probablemente demasiado optimistas porque no tuvieron en cuenta esta filtración. El estudio no encontró un único remedio mágico que prediga todos los objetivos de fármacos, pero sí proporcionó una forma rigurosa de separar la verdadera información biológica del ruido del volumen de investigación.

Los investigadores también verificaron la fiabilidad de sus propias fechas y etiquetas. Revisaron manualmente cientos de registros de ensayos clínicos para asegurar que las fechas que asignaron a los genes fueran precisas. Descubrieron que, si bien los sistemas automatizados son generalmente buenos en esto, a veces fallan, particularmente cuando un ensayo se registra después de que ya ha comenzado o cuando un fármaco se prueba para una condición diferente a la que se está estudiando. Al corregir estas fechas, aseguraron que la "máquina del tiempo" que construyeron fuera precisa. También verificaron que las características biológicas, como el tamaño de la superficie externa de una proteína, permanecieran estables en el tiempo y no cambiaran repentinamente solo porque un gen se hiciera famoso. Esta estabilidad confirma que las características basadas en la biología son confiables y no sufren los mismos problemas de filtración temporal que las características del volumen de investigación.

En última instancia, este trabajo proporciona un nuevo estándar para cómo probar modelos computacionales en biología. Desplaza el enfoque de preguntar "¿Funciona este modelo con los datos de hoy?" a "¿Podría este modelo haber predicho este resultado si solo hubiera conocido lo que se sabía en ese momento?". El conjunto de datos incluye 183 lanzamientos archivados de recursos públicos, lo que permite a cualquiera reconstruir el estado del conocimiento científico en cualquier cierre de trimestre entre 2016 y 2024. Esto significa que un científico puede ahora tomar un nuevo método, ejecutarlo contra los datos tal como existían en 2018, y ver si habría identificado con éxito los genes que se convirtieron en objetivos en 2020. Si falla, el método no es tan poderoso como parecía. Si tiene éxito, el resultado es mucho más creíble.

Las implicaciones de esto son profundas para el futuro del descubrimiento de fármacos. Al utilizar estos conjuntos de datos fechados y libres de filtraciones, los investigadores pueden dejar de construir modelos que simplemente memorizan la historia de la ciencia y comenzar a construir modelos que realmente comprendan la biología de la enfermedad. El conjunto de datos no garantiza que se encuentre un nuevo fármaco mañana, pero asegura que las herramientas utilizadas para encontrarlo no se engañen a sí mismas. Ofrece una forma de distinguir entre una señal que es verdaderamente biológica y una señal que es meramente un reflejo de cuánta atención ha recibido un gen. En un campo donde las apuestas son altas y los datos son abrumadores, esta claridad es la herramienta más valiosa de todas. Los investigadores no han resuelto el problema de encontrar nuevos fármacos, pero han construido una mejor brújula para el viaje, una que apunta al norte verdadero en lugar de hacia los lugares donde otros viajeros ya han estado.