💻 computer science

Leveraging Machine Learning Models to Predict Probability of Technical and Regulatory Success

Este artículo demuestra que los modelos de aprendizaje automático interpretables entrenados con características de protocolos públicos de ClinicalTrials.gov pueden predecir con precisión la probabilidad de éxito técnico y regulatorio para ensayos de moléculas pequeñas, superando los estándares de referencia y ofreciendo una herramienta reproducible para la valoración ajustada al riesgo.

Autores originales: Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

Publicado 2026-07-08

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un inversor de capital de riesgo decidiendo si invertir en una nueva startup. Sabes que la mayoría de las startups fracasan, pero quieres saber cuáles tienen las mejores posibilidades de tener éxito. En el mundo de la medicina, estas "startups" son nuevos fármacos, y los "inversores" son las empresas farmacéuticas.

El artículo que has proporcionado trata sobre la construcción de una bola de cristal para estas empresas farmacéuticas. Sin embargo, en lugar de magia, utilizaron matemáticas y datos públicos para predecir si un nuevo fármaco sobrevivirá al largo y difícil viaje para convertirse en un medicamento aprobado.

Aquí tienes el desglose de su trabajo en términos sencillos:

1. El Problema: La "Caja Negra" del Éxito de los Fármacos

Desarrollar un nuevo fármaco es increíblemente costoso y arriesgado. En promedio, solo 1 de cada 10 nuevos fármacos logra pasar desde el inicio de las pruebas hasta la aprobación final.

La forma antigua: Las empresas suelen adivinar las probabilidades de éxito observando promedios históricos (por ejemplo, "Los fármacos para enfermedades cardíacas tienen una tasa de éxito del 15%") o consultando a un grupo de expertos para que utilicen su intuición.
El problema: Los promedios históricos son demasiado toscos (no analizan el fármaco específico), y las opiniones de los expertos pueden estar sesgadas o ser demasiado lentas. Además, muchos modelos de predicción de alta tecnología utilizados hoy en día son como "cajas negras": dan una respuesta, pero nadie sabe cómo llegaron a ella, y a menudo requieren datos secretos y costosos que la gente común no puede ver.

2. La Solución: Un "Pronóstico del Tiempo" Público y Transparente

Los autores querían construir un modelo que fuera:

Reproducible: Cualquiera puede construirlo.
Interpretable: Puedes mirar bajo el capó y ver exactamente por qué tomó una predicción.
Público: Solo utiliza datos disponibles de forma gratuita en internet (específicamente ClinicalTrials.gov, una gigantesca base de datos pública de estudios médicos).

Trataron la predicción como un pronóstico del tiempo. Así como los meteorólogos utilizan patrones climáticos pasados para predecir la lluvia, este modelo utiliza datos de ensayos clínicos pasados para predecir "lluvia de fármacos" (éxito) o "sequía de fármacos" (fracaso).

3. Cómo Construyeron el Modelo

Los Ingredientes: Descargaron información de miles de ensayos clínicos pasados. No miraron fórmulas químicas secretas ni informes privados de las empresas. Solo miraron el "protocolo" (el libro de reglas) del ensayo:
- ¿Quién lo está pagando? (El Patrocinador)
- ¿Qué enfermedad está tratando? (Área Terapéutica)
- ¿En qué etapa se encuentra el ensayo? (Fase 1, 2 o 3)
- ¿Cómo es el diseño del ensayo? (¿Es aleatorizado? ¿Quién es el paciente?)
El Entrenamiento: Introdujeron estos datos en un programa informático (un modelo de "Bosque Aleatorio" o Random Forest, que es como un equipo de muchos tomadores de decisiones votando sobre el resultado). Enseñaron a la computadora utilizando ensayos que finalizaron antes de 2017.
La Prueba: Luego pidieron a la computadora que predijera el resultado de los ensayos que comenzaron después de 2017, los cuales nunca había visto antes. Esto es como evaluar a un estudiante con un examen nuevo después de haberle enseñado con exámenes de práctica antiguos.

4. Los Resultados: Mejores que el "Adivinanza Promedio"

El modelo informático hizo un mejor trabajo que las suposiciones "promedio" estándar utilizadas en la industria.

La Puntuación: El modelo logró una puntuación (llamada ROC-AUC) de 0.788. En el mundo de las predicciones, esto es un sólido "B+" o "A-", lo que significa que es significativamente mejor que simplemente lanzar una moneda o usar un promedio genérico.
La "Puntuación de Brier": Esto mide qué tan calibradas están las predicciones. Si el modelo dice que hay un 70% de probabilidad de éxito, ¿realmente tiene éxito el 70% de las veces? El modelo fue muy bueno en esto, lo que significa que sus probabilidades son confiables.

5. Lo que el Modelo Aprendió (El "Porqué")

Debido a que el modelo es transparente, los autores pudieron preguntarle: "¿Qué factores importaron más?". El modelo les dio tres respuestas principales, que coinciden con el sentido común pero lo confirman con datos:

El Patrocinador Importa: Los ensayos financiados por grandes compañías farmacéuticas tenían más probabilidades de tener éxito que aquellos financiados por universidades o el gobierno. (Piensa en ello como una startup bien financiada frente a un proyecto de garaje).
La Enfermedad Importa: Los ensayos para enfermedades infecciosas y problemas metabólicos tenían tasas de éxito más altas, mientras que los ensayos de cáncer (oncología) eran mucho más difíciles de superar (tasas de éxito más bajas).
La Etapa Importa: A medida que un fármaco se acerca a la línea de meta (Fase 3), las probabilidades de éxito aumentan. La Fase 2 es la "zona de peligro" donde muchos fármacos fallan.

6. El "Pero" (Limitaciones)

Los autores son honestos sobre los límites de su modelo:

No es perfecto: No es un predictor mágico del 100%. Todavía comete errores.
Brecha Temporal: Si entrenas el modelo con datos de hace 10 años e intentas predecir el presente, se vuelve ligeramente menos preciso, pero sigue funcionando mejor que los puntos de referencia anteriores.
Información Faltante: El modelo no utilizó la estructura química real del fármaco ni textos científicos profundos, solo el "libro de reglas" público del ensayo. Añadir esos detalles podría hacerlo más inteligente.

Conclusión

Este artículo demuestra que no necesitas datos secretos y costosos ni una IA compleja e inexplicable para predecir el éxito de un fármaco. Al utilizar datos públicos y matemáticas simples y transparentes, puedes construir una herramienta que ayude a las empresas a tomar decisiones más inteligentes sobre en qué fármacos invertir. Es como dar a todos un mejor mapa para navegar el arriesgado viaje del desarrollo de fármacos.

Resumen Técnico: Aprovechamiento de Modelos de Aprendizaje Automático para Predecir la Probabilidad de Éxito Técnico y Regulatorio

Declaración del Problema

La industria farmacéutica enfrenta altas tasas de fracaso en el desarrollo de fármacos, con una probabilidad promedio de éxito técnico y regulatorio (pTRS) para los nuevos fármacos en investigación (IND) de aproximadamente un 9,6%. La evaluación precisa de la pTRS es crítica para la valoración ajustada al riesgo (rNPV), la gestión de carteras y la toma de decisiones estratégicas. Sin embargo, los métodos de evaluación existentes a menudo dependen de datos propietarios, arquitecturas compleas de "caja negra" o la elicitación subjetiva de expertos, los cuales pueden ser difíciles de replicar, calibrar o integrar en flujos de trabajo estándar. Existe una falta de marcos estandarizados y reproducibles que utilicen únicamente datos disponibles públicamente para generar estimaciones de pTRS calibradas e interpretables.

Metodología

Fuentes de Datos y Preprocesamiento

El estudio utilizó dos fuentes de datos primarias:

Espacio de Características: Datos de secciones de protocolos recuperados de ClinicalTrials.gov vía API (a enero de 2026). Las características se extrajeron de ocho módulos: Identificación, Patrocinador/Colaboradores, Descripción, Condiciones, Diseño, Intervenciones de los Brazos, Resultados y Elegibilidad.
Etiquetas de Resultado: Etiquetas binarias de éxito/fracaso (0/1) para ensayos de moléculas pequeñas hasta 2021, obtenidas del repositorio de resultados de ensayos clínicos HINT (derivado de datos de IQVIA).

Limpieza y de Ingeniería de Datos:

Limpieza: Las características no textuales (p. ej., edad, fechas) se estandarizaron numéricamente. Las listas categóricas (p. ej., condiciones) se convirtieron en cadenas delimitadas por tuberías (pipes).
Mapeo de Áreas Terapéuticas: Utilizando GPT-4o con prompting de pocos disparos (few-shot prompting), los ensayos fueron clasificados en uno de 21 áreas terapéuticas predefinidas (p. ej., Oncología, Cardiovascular, Enfermedades Infecciosas) basándose en condiciones y palabras clave.
Codificación: Las variables categóricas y multicategóricas se codificaron mediante one-hot encoding.
División Temporal: Para simular un pronóstico del mundo real, los datos se dividieron temporalmente:
- Conjunto de Entrenamiento: Ensayos con fechas de finalización primaria anteriores al 1 de enero de 2017 ( $n=10,224$ ).
- Conjunto de Prueba: Ensayos con fechas de inicio posteriores al 1 de enero de 2017 ( $n=478$ ).
Desequilibrio de Clases: Se aplicaron pesos de clase inversamente proporcionales a las frecuencias de las clases para penalizar más severamente la clasificación errónea de los fracasos.

Desarrollo del Modelo

Se evaluaron tres modelos de aprendizaje automático interpretables:

Regresión Logística: Utilizada como línea base (baseline).
Bosque Aleatorio (Random Forest - RF): Evaluado con ajuste de hiperparámetros mediante búsqueda aleatoria (20 combinaciones, validación cruzada de 5 pliegues).
XGBoost: Evaluado de manera similar al Bosque Aleatorio.

Métricas de Evaluación:

Discriminación: ROC-AUC y PR-AUC.
Calibración: Puntuación de Brier (descompuesta en fiabilidad, resolución e incertidumbre).
Comparación con Referencia: Se definió una métrica de "Tasa de Sobre desempeño" (Outperformance Rate) para medir qué tan seguido la probabilidad predicha por el modelo estaba más cerca del resultado real que un benchmark derivado (tasa media de éxito por categoría de enfermedad y fase).
Interpretabilidad: Se utilizaron valores SHAP (SHapley Additive exPlanations) para clasificar la importancia de las características y explicar las predicciones individuales.

Resultados Clave

Rendimiento del Modelo

El modelo de Bosque Aleatorio (Random Forest) demostró el desempeño agregado más sólido en todas las métricas, superando a la línea base de Regresión Logística y a los benchmarks estándar en la mayoría de los entornos:

ROC-AUC: 0,788 (frente a 0,726 de la línea base).
PR-AUC: 0,794 (frente a 0,748 de la línea base).
Puntuación de Brier: 0,196 (frente a 0,220 de la línea base), lo que indica una calibración superior.
Nota: La línea base superó ligeramente al Bosque Aleatorio solo en la métrica PR-AUC para ensayos de Fase 3.

Estabilidad Temporal

El estudio probó el impacto de las brechas temporales (0, 1, 3 y 5 años) entre los datos de entrenamiento y de prueba. Si bien el rendimiento mostró un descenso modesto y consistente a medida que aumentaba la brecha (p. ej., el ROC-AUC cayó de 0,755 con una brecha de 0 años a 0,748 con una brecha de 5 años), el modelo se mantuvo robusto y continuó superando los benchmarks incluso con una brecha de 5 años.

Importancia de las Características (Análisis SHAP)

El análisis SHAP identificó los siguientes como los impulsores dominantes de las predicciones de pTRS:

Tipo de Patrocinador: El patrocinio de la industria fue el impulsor positivo más fuerte; el patrocinio no industrial (p. ej., NIH, académico) se correlacionó con una menor pTRS predicha.
Área Terapéutica: La Oncología se asoció con una pTRS más baja, mientras que las Enfermedades Infecciosas y los trastornos Metabólicos mostraron una pTRS más alta.
Fase del Ensayo: Los ensayos de Fase 3 mostraron un mayor éxito predicho, mientras que la Fase 2 (prueba de concepto) mostró un menor éxito, lo cual es consistente con las tasas históricas de deserción.
Variables de Diseño: La asignación aleatoria, el enmascaramiento y las asignaciones de grupo único tuvieron efectos moderados pero consistentes.

Significancia y Reivindicaciones

El artículo sostiene que su contribución principal es práctica y metodológica, en lugar de lograr una precisión predictiva de vanguardia mediante complejidad arquitectónica.

Reproducibilidad: El estudio demuestra que se pueden generar estimaciones de pTRS calibradas y útiles para la toma de decisiones utilizando solo datos públicos (ClinicalTrials.go) y etiquetas abiertas, eliminando la dependencia de bases de datos propietarias o complejos flujos de trabajo de aprendizaje profundo (p. ej., HINT, inClinico).
Interpretabilidad: Al utilizar modelos como Bosque Aleatorio y SHAP, el enfoque proporciona explicaciones transparentes para las partes interesadas, facilitando la integración en la elicitación de expertos y los flujos de trabajo de valoración donde los modelos de "caja negra" suelen ser rechazados.
Utilidad en la Toma de Decisiones: Los autores argumentan que incluso las mejoras modestas en la precisión probabilística (p. ej., 3–4 puntos porcentuales) son significativas a escala de cartera, influyendo en el despliegue de capital y en las decisiones de Go/No-Go.
Estrategia de Benchmarking: El artículo introduce un enfoque de benchmarking derivado de los propios datos de entrenamiento (medias por fase y área terapéutica) para crear una métrica de comparación justa y reproducible que evite los sesgos de bases de datos externas potencialmente incompletas.

Limitaciones Reconocidas

Los autores señalan explícitamente varias restricciones:

Recencia de los Datos: Las etiquetas están limitadas a ensayos de moléculas pequeñas hasta 2021; los cambios en la regulación o en la conducción de los ensayos desde entonces pueden afectar el rendimiento prospectivo.
Alcance de las Características: El modelo excluye descripciones de texto libre ricas, propiedades moleculares (SMILES) y datos de PK/PD/toxicidad, lo que puede limitar el rendimiento, particularmente para activos de primera clase (first-in-class) u oncológicos.
Categorización por LLM: El mapeo de áreas terapéuticas dependió de LLMs, lo que podría introducir errores de clasificación estructurada.
Derivación del Benchmark: La métrica de "sobre desempeño" depende de benchmarks derivados del conjunto de entrenamiento; trabajos futuros deberían validar esto contra benchmarks externos.

En conclusión, el artículo postula que los modelos interpretables entrenados con características de ensayos clínicos abiertos ofrecen una base viable y práctica para la cuantificación del riesgo que complementa, en lugar de reemplazar, el juicio experto y los benchmarks tradicionales.