Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

En la carrera por descubrir nuevos medicamentos, los científicos a menudo se enfrentan a una tarea desalentadora: encontrar la llave adecuada para una cerradura específica. Las "llaves" son moléculas pequeñas, posibles fármacos, y las "cerraduras" son proteínas dentro del cuerpo humano que impulsan enfermedades. Cuando un fármaco encaja bien en una proteína, puede detener un proceso de enfermedad o reparar una función rota. Predecir qué tan fuertmente se unirá un fármaco a una proteína es un paso crítico en el cribado de millones de candidatos, lo que permite a los investigadores concentrar sus recursos en los más prometedores. Durante años, los modelos informáticos han sido entrenados para realizar estas predicciones, aprendiendo de vastas bases de datos de interacciones conocidas entre fármacos y proteínas. El objetivo siempre ha sido construir un modelo que pueda adivinar con precisión la fuerza de un enlace que nunca ha visto antes, ya sea prediciendo cómo se comportará un nuevo fármaco contra una proteína conocida, o cómo un fármaco conocido podría interactuar con una proteína objetivo completamente nueva.

Sin embargo, un nuevo estudio de la Universidad Normal de Harbin sugiere que la respuesta a "¿qué modelo es el mejor?" depende enteramente de la pregunta que se esté formulando. Los investigadores, Haobo Kui y Xinyuan Cui, se propusieron probar si las clasificaciones de estos modelos informáticos se mantienen estables cuando las reglas del juego cambian. En el mundo real del descubrimiento de fármacos, a un modelo se le puede pedir que prediga interacciones para un fármaco que nunca se ha visto antes, o para una proteína que nunca se ha visto antes, o para una mezcla de ambos. El equipo descubrió que un modelo que gana en un escenario puede perder en otro, y que el orden en el que se clasifican los modelos puede invertirse por completo dependiendo de las condiciones específicas de la prueba. Su trabajo, que consistió en ejecutar más de cien experimentos cuidadosamente controlados, revela que no existe un único modelo "mejor" para todas las situaciones; en su lugar, la elección correcta depende de ajustar el modelo al desafío de generalización específico que enfrentará.

Para entender la escala de esta investigación, imagine un laboratorio donde los científicos están probando cinco tipos diferentes de motores. En una prueba estándar, podrían conducir todos los motores en una pista familiar y suave. Pero en el mundo real, algunos motores deben lidiar con carreteras heladas, mientras que otros deben navegar por pasos montañosos empinados. Kui y Cui construyeron un marco de prueba riguroso para ver si el motor que gana en la pista suave también gana en el hielo o en las montañas. Utilizaron dos bases de datos masivas y depuradas de interacciones fármaco-proteína, que contenían más de 118,000 registros de una fuente y más de 30,000 de otra. A partir de estos datos, crearon tres entornos de prueba distintos. El primero fue un entorno "cálido" (warm), donde el modelo fue probado con fármacos y proteínas que ya había visto durante el entrenamiento, midiendo esencialmente qué tan bien podía recordar e interpolar lo que había aprendido. El segundo fue un entorno de "fármaco frío" (cold-drug), donde el modelo tenía que predecir interacciones para compuestos químicos completamente nuevos que nunca había encontrado. El tercero fue un entorno de "objetivo frío" (cold-target), donde el modelo enfrentó secuencias de proteínas completamente nuevas, simulando el desafío de encontrar un fármaco para un mecanismo de enfermedad recién descubierto.

Los investigadores no se limitaron a ejecutar los modelos una sola vez y tomar los resultados. Para asegurar que sus hallazgos no fueran solo un golpe de suerte debido al azar, ejecutaron cada experimento tres veces con condiciones iniciales ligeramente diferentes, una técnica conocida como el uso de múltiples "semillas" (seeds). Compararon tres formas diferentes de combinar la información de fármacos y proteínas, junto con dos métodos de referencia establecidos, asegurándose de que todos los modelos tuvieran aproximadamente la misma potencia de cómputo. En total, realizaron 126 ejecuciones de entrenamiento separadas, manteniendo las divisiones de datos y las reglas de evaluación idénticas en todos los casos. Crucialmente, mantuvieron los resultados finales de las pruebas sellados hasta que se completó cada una de las ejecuciones, evitando cualquier sesgo accidental donde el modelo pudiera ser ajustado para adaptarse a los datos de la prueba. Este enfoque estricto y auditable les permitió rastrear cada resultado hasta su origen, asegurando la integridad de su comparación.

Los resultados fueron impactantes y contraintuitivos. Cuando los investigadores observaron las clasificaciones de los modelos bajo las condiciones "cálidas", un modelo superó consistentemente a los demás. Sin embargo, cuando cambiaron al escenario de "fármaco frío", las clasificaciones cambiaron drásticamente. En el caso más extremo, que involucraba el conjunto de datos más grande, el orden de los modelos para el escenario de "objetivo frío" fue exactamente el opuesto al orden para el escenario de "fármaco frío". Un modelo que era el claro ganador para predecir interacciones con nuevas proteínas se convirtió en el claro perdedor cuando se le pidió predecir interacciones con nuevos fármacos. Esta reversión completa, medida por una herramienta estadística que compara clasificaciones, demostró que el éxito de un modelo no es una cualidad absoluta, sino una relativa que cambia con el contexto.

Además, el estudio destacó que, incluso dentro de un mismo escenario de prueba, los resultados no siempre eran perfectamente estables. Al observar las ejecuciones individuales en lugar de solo el promedio, los investigadores encontraron que el orden exacto de los modelos podía variar de una ejecución de entrenamiento a otra. Esto significa que confiar en un solo experimento para declarar un ganador es arriesgado, ya que el resultado podría verse influenciado por el ruido aleatorio del proceso de entrenamiento. Al ejecutar múltiples semillas, el equipo pudo ver el panorama completo de qué tan fiable era realmente el rendimiento de un modelo. Encontraron que, si bien algunos modelos mostraban ventajas consistentes en áreas específicas, como en el entorno de "fármaco frío" donde ciertas estrategias de fusión funcionaban mejor en ambos conjuntos de datos, ningún modelo único dominaba cada métrica y cada escenario.

Los investigadores también exploraron cómo estos hallazgos se traducen a una aplicación en el mundo real mediante la observación de un objetivo proteico específico y no visto llamado VEGFR2, el cual está involucrado en el crecimiento de los vasos sanguíneos y es un objetivo principal para las terapias contra el cáncer. Utilizando las predicciones congeladas de sus experimentos, simularon cómo diferentes modelos clasificarían a los posibles candidatos a fármacos para este objetivo específico. Descubrieron que los modelos producían listas diferentes de los mejores candidatos. Un modelo podría clasificar un compuesto específico como la mejor opción, mientras que otro podría situarlo mucho más abajo. Esto demostró que la elección del modelo no es solo un ejercicio académico; impacta directamente en qué candidatos a fármacos elegirían los científicos para probar en un laboratorio. Si un investigador elige un modelo basándose en su rendimiento en un entorno "cálido", podría terminar priorizando los compuestos incorrectos para un nuevo objetivo.

En última instancia, este estudio sirve como una guía vital para el futuro del descubrimiento de fármacos computacional. Argumenta en contra de la idea de un modelo campeón universal que pueda aplicarse a cada problema. En su lugar, sugiere que la fiabilidad de las comparaciones de modelos depende de ajustar el método de evaluación al uso previsto. Si el objetivo es encontrar fármacos para nuevos objetivos, el modelo debe ser probado con nuevos objetivos. Si el objetivo es encontrar nuevos fármacos para objetivos conocidos, el modelo debe ser probado con nuevos fármacos. Los investigadores concluyen que, para que la selección de modelos sea verdaderamente fiable, debe estar ajustada al escenario, utilizar múltiples semillas y ser auditable. Al comprender que las clasificaciones cambian a través de diferentes regímenes de evaluación, los científicos pueden tomar decisiones más informadas, asegurando que las herramientas que utilizan sean aptas para los desafíos específicos de la cadena de descubrimiento de fármacos.