Clinical trial success prediction from open registry text using classical machine learning

Cada año, las compañías farmacéuticas invierten miles de millones de dólares y décadas de esfuerzo en el desarrollo de nuevos medicamentos. El camino desde una idea prometedora en un laboratorio hasta una pastilla en el estante de una farmacia es largo y está plagado de fracasos. La mayoría de los candidatos a fármacos nunca llegan a la aprobación y, cuando fracasan tras años de trabajo, la pérdida financiera es abrumadora. Más importante aún, las personas que se ofrecen como voluntarios para estos estudios enfrentan riesgos sin recibir los beneficios esperados. Debido a que los recursos son finitos, cada dólar y cada hora dedicados a un fármaco que eventualmente fallará es un recurso que se le quita a un fármaco que podría tener éxito. La industria ha buscado durante mucho tiempo una forma de detectar estos candidatos condenados de forma temprana, antes de que se invierta demasiado tiempo y dinero, permitiendo a los investigadores detener los programas débiles y concentrarse en los fuertes.

Para lograr esto, los científicos han intentado predecir el resultado de los ensayos clínicos, que son las pruebas rigurosas donde se administran nuevos tratamientos a los pacientes. Estas predicciones son difíciles porque dependen de la comprensión de la compleja biología humana, el diseño específico de un estudio y el comportamiento de un nuevo fármaco. Tradicionalmente, los expertos han utilizado su experiencia para adivinar qué ensayos tendrán éxito, pero este proceso es lento, subjetivo y costoso. En años recientes, los investigadores han recurrido al aprendizaje automático, utilizando computadoras para encontrar patrones en los datos que los humanos podrían pasar por alto. Sin embargo, muchos de estos modelos computacionales dependen de datos privados a los que solo las grandes empresas pueden acceder, o requieren información molecular compleja que no siempre está disponible. Esto deja a los grupos más pequeños y a los investigadores académicos sin una forma clara de estimar las probabilidades de éxito de un ensayo.

Un nuevo estudio del investigador independiente Michael Doane explora si los registros públicos de estos ensayos, que cualquiera puede leer en línea, contienen suficiente información para realizar estas predicciones. El estudio se centra en una colección masiva de registros de ensayos de un sitio web público llamado ClinicalTrials.gov. Este sitio web actúa como un registro global donde los investigadores deben registrar sus estudios antes de comenzar, publicando detalles sobre la enfermedad que se trata, el fármaco que se prueba, el número de pacientes involucrados y los objetivos de la investigación. El trabajo de Doane plantea una pregunta sencilla: si se introducen las descripciones textuales de estos registros públicos en una computadora, ¿puede la computadora aprender a distinguir entre los ensayos que tendrán éxito y aquellos que fracasarán?

Para responder a esto, el investigador utilizó un conjunto de datos llamado Clinical Trial Outcome Dataset, que proporciona una etiqueta para unos 125,000 ensayos pasados, marcándolos como exitosos o no exitosos basándose en sus resultados finales. El desafío era construir un modelo que pudiera predecir estos resultados utilizando únicamente el texto disponible en el registro público en el momento en que se registró el ensayo, sin espiar los resultados finales ni utilizar ningún dato privado de las empresas. El investigador tuvo que ser extremadamente cuidadoso para evitar un error común llamado "fuga de datos" (data leakage), donde un modelo computacional accidentalmente aprende la respuesta al leer una parte del texto que fue actualizada después de que terminó el ensayo. Por ejemplo, el resumen de un ensayo podría ser reescrito años después para incluir los resultados finales, y si la computadora lee ese texto actualizado, no está prediciendo realmente el futuro; simplemente está leyendo el pasado.

Para prevenir esto, el investigador limpió meticulosamente los datos, eliminando cualquier registro donde el texto pudiera haber sido alterado después de que se conociera el resultado. También excluyó campos específicos que describían directamente los resultados. Una vez que los datos estuvieron seguros, entrenó tres tipos diferentes de modelos computacionales para buscar patrones en el texto restante. Estos modelos fueron probados en ensayos de diferentes etapas de desarrollo, conocidas como fases. Los ensayos de Fase 1 son la primera vez que un fármaco se prueba en humanos para verificar la seguridad, los ensayos de Fase 2 buscan indicios de que el fármaco realmente funciona, y los ensayos de Fase 3 son estudios a gran escala que confirman la efectividad y seguridad del fármaco antes de que pueda ser aprobado.

Los resultados mostraron que los modelos computacionales podían, de hecho, encontrar señales útiles en el texto público. El modelo con mejor desempeño, que utilizó un método llamado bosque aleatorio (random forest), fue capaz de distinguir entre ensayos exitosos y fallidos mejor que el azar. En la etapa más temprana de las pruebas, la Fase 1, el modelo funcionó bastante bien, clasificando correctamente los resultados en aproximadamente el 74 por ciento de los casos. Esto significa que, si se tomara un grupo de ensayos de Fase 1, el modelo podría identificar aquellos que tienen más probabilidades de tener éxito con un alto grado de precisión. El desempeño fue menor para los ensayos de Fase 2, que son notoriamente difíciles de predecir porque dependen fuertemente de si el fármaco alcanza el objetivo biológico adecuado, un detalle que a menudo falta en los resúmenes públicos. Sin embargo, el modelo también funcionó mejor que el azar en esta etapa.

Uno de los hallazgos más interesantes fue que entrenar el modelo con una amplia variedad de enfermedades en realidad ayudó a predecir los resultados de un grupo específico de enfermedades conocido como neurociencia. Los ensayos de neurociencia, que tratan condiciones como el Alzheimer y la depresión, han tenido históricamente tasas de fracaso muy altas. El investigador encontró que cuando la computadora fue entrenada con ensayos de todos los campos médicos, no solo de neurociencia, se volvió mejor para predecir el éxito de los ensayos de neurociencia. Esto sugiere que las reglas generales de cómo se diseña y se ejecuta un ensayo clínico son similares en diferentes tipos de enfermedades, y aprender de un amplio rango de ejemplos ayuda a la computadora a comprender los desafíos específicos del sistema nervioso.

El estudio también probó el modelo contra un conjunto de 7,260 casos difíciles que habían sido revisados manualmente por expertos humanos para asegurar que no fueran fáciles de adivinar. Incluso contra estos ejemplos difíciles, el modelo mantuvo su capacidad para distinguir entre el éxito y el fracaso, demostrando que no solo estaba memorizando reglas simples, sino que realmente estaba aprendiendo algo sobre la naturaleza de los ensayos clínicos. El investigador también verificó si el modelo dependía de los nombres de las compañías que patrocinaban los ensayos o de los lugares donde se llevaban a cabo. Cuando estos detalles fueron eliminados, el desempeño del modelo descendió solo ligeramente, indicando que el texto que describe la ciencia y el diseño del estudio cargaba con la mayor parte del peso predictivo.

Este trabajo demuestra que la información pública, que ha estado disponible durante años pero que no ha sido analizada de esta manera, posee un valor significativo para la industria farmacéutica. Los modelos utilizados en este estudio son relativamente simples y no requieren supercomputadoras poderosas ni datos secretos; pueden ejecutarse en una computadora portátil estándar. Esto hace que el enfoque sea accesible para investigadores académicos, organizaciones sin fines de lucro y empresas más pequeñas que no tienen acceso a bases de datos propietarias. Al proporcionar una forma de estimar la probabilidad de éxito utilizando únicamente datos abiertos, este método ofrece una nueva herramienta para el cribado de candidatos a fármacos. No reemplaza la necesidad del juicio experto ni el complejo trabajo del desarrollo de fármacos, pero proporciona un punto de partida confiable y objetivo. Puede ayudar a los equipos a decidir qué programas merecen más atención y cuáles podrían detenerse tempranamente, ahorrando potencialmente tiempo, dinero y el bienestar de los pacientes que se ofrecen como voluntarios para estos estudios críticos.