💻 computer science

Leveraging Machine Learning Models to Predict Probability of Technical and Regulatory Success

Este artigo demonstra que modelos de aprendizado de máquina interpretáveis treinados em características de protocolos públicos do ClinicalTrials.gov podem prever com precisamente a probabilidade de sucesso técnico e regulatório para ensaios de pequenas moléculas, superando referências padrão e oferecendo uma ferramenta reprodutível para avaliação ajustada ao risco.

Autores originais: Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mason Kim, Michael Doane, James Melican, Kevin Wang, Haewon Jung, Cedric Liu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um investidor de risco decidindo se investe em uma nova startup. Você sabe que a maioria das startups falha, mas quer saber quais têm as melhores chances de sucesso. No mundo da medicina, essas "startups" são novos medicamentos, e os "investidores" são as empresas farmacêuticas.

O artigo que você forneceu trata da construção de uma bola de cristal para essas empresas de medicamentos. No entanto, em vez de magia, eles usaram matemática e dados públicos para prever se um novo medicamento sobreviverá à longa e difícil jornada para se tornar um remédio aprovado.

Aqui está a decomposição do trabalho deles em termos simples:

1. O Problema: A "Caixa Preta" do Sucesso de Medicamentos

Desenvolver um novo medicamento é incrivelmente caro e arriscado. Em média, apenas cerca de 1 em cada 10 novos medicamentos consegue passar do início dos testes até a aprovação final.

O Jeito Antigo: As empresas geralmente estimam as chances de sucesso olhando para médias históricas (ex: "Medicamentos para doenças cardíacas têm uma taxa de sucesso de 15%") ou pedindo a um grupo de especialistas que use sua intuição.
O Problema: As médias históricas são muito genéricas (elas não olham para o medicamento específico) e as opiniões de especialistas podem ser tendenciosas ou lentas demais. Além disso, muitos modelos de previsão de alta tecnologia usados hoje são como "caixas pretas" — eles dão uma resposta, mas ninguém sabe como chegaram lá, e muitas vezes exigem dados secretos e caros que as pessoas comuns não podem ver.

2. A Solução: Uma "Previsão do Tempo" Pública e Transparente

Os autores queriam construir um modelo que fosse:

Reprodutível: Qualquer pessoa pode construí-lo.
Interpretável: Você pode olhar sob o capô e ver exatamente por que ele fez uma previsão.
Público: Ele usa apenas dados disponíveis gratuitamente na internet (especificamente o ClinicalTrials.gov, um gigantesco banco de dados público de estudos médicos).

Eles trataram a previsão como uma previsão do tempo. Assim como os meteorologistas usam padrões climáticos passados para prever chuva, este modelo usa dados de ensaios clínicos passados para prever "chuva de medicamentos" (sucesso) ou "seca de medicamentos" (falha).

3. Como Eles Construíram o Modelo

Os Ingredientes: Eles baixaram informações de milhares de ensaios clínicos passados. Eles não olharam para fórmulas químicas secretas ou relatórios privados de empresas. Eles olharam apenas para o "protocolo" (o livro de regras) do ensaio:
- Quem está pagando por ele? (O Patrocinador/Sponsor)
- Qual doença ele está tratando? (Área Terapêutica)
- Em que estágio o ensaio está? (Fase 1, 2 ou 3)
- Como o ensaio é desenhado? (É randomizado? Quem é o paciente?)
O Treinamento: Eles alimentaram esses dados em um programa de computador (um modelo "Random Forest", que é como uma equipe de muitos tomadores de decisão votando no resultado). Eles ensinaram o computador usando ensaios que terminaram antes de 2017.
O Teste: Eles então pediram ao computador para prever o resultado de ensaios que começaram depois de 2017, os quais ele nunca tinha visto antes. Isso é como testar um aluno em um novo exame após ensiná-lo com testes de prática antigos.

4. Os Resultados: Melhores do que o Palpite Médio

O modelo de computador fez um trabalho melhor do que os palpites "médios" padrão usados pela indústria.

A Pontuação: O modelo alcançou uma pontuação (chamada ROC-AUC) de 0,788. No mundo das previsões, isso é um sólido "B+" ou "A-", o que significa que é significativamente melhor do que apenas jogar uma moeda ou usar uma média genérica.
O "Brier Score": Isso mede o quão calibradas são as previsões. Se o modelo diz que há 70% de chance de sucesso, o medicamento realmente tem sucesso 70% das vezes? O modelo foi muito bom nisso, o que significa que suas probabilidades são confiáveis.

5. O Que o Modelo Aprendeu (O "Porquê")

Como o modelo é transparente, os autores puderam perguntar a ele: "Quais fatores foram mais importantes?". Ele lhes deu três respostas principais, que alinham-se com o senso comum, mas o confirmam com dados:

O Patrocinador Importa: Ensaios financiados por grandes empresas farmacêuticas tinham maior probabilidade de sucesso do que aqueles financiados por universidades ou pelo governo. (Pense nisso como uma startup bem financiada versus um projeto de garagem).
A Doença Importa: Ensaios para doenças infecciosas e problemas metabólicos tinham taxas de sucesso mais altas, enquanto ensaios de câncer (oncologia) eram muito mais difíceis de passar (taxas de sucesso mais baixas).
O Estágio Importa: À medida que um medicamento se aproxima da linha de chegada (Fase 3), as chances de sucesso aumentam. A Fase 2 é a "zona de perigo" onde muitos medicamentos falham.

6. A Ressalva (Limitações)

Os autores são honestos sobre os limites do modelo:

Não é perfeito: Não é um preditor mágico de 100%. Ele ainda comete erros.
Intervalo de Tempo: Se você treinar o modelo com dados de 10 anos atrás e tentar prever o presente, ele fica ligeiramente menos preciso, mas ainda funciona melhor do que os benchmarks antigos.
Informação Ausente: O modelo não usou a estrutura química real do medicamento ou textos científicos profundos, apenas o "livro de regras" público do ensaio. Adicionar esses detalhes poderia torná-lo ainda mais inteligente.

A Conclusão

Este artigo prova que você não precisa de dados secretos e caros ou de uma IA complexa e inexplicável para prever o sucesso de um medicamento. Ao usar dados públicos e matemática simples e transparente, você pode construir uma ferramenta que ajuda as empresas a tomar decisões mais inteligentes sobre em quais medicamentos investir. É como dar a todos um mapa melhor para navegar na arriscada jornada do desenvolvimento de medicamentos.

Resumo Técnico: Utilização de Modelos de Aprendizado de Máquina para Predizer a Probabilidade de Sucesso Técnico e Regulatório

Declaração do Problema

A indústria farmacêutica enfrenta altas taxas de falha no desenvolvimento de fármacos, com uma probabilidade média de sucesso técnico e regulatório (pTRS) para novos fármacos em investigação (INDs) de aproximadamente 9,6%. A avaliação precisa da pTRS é crítica para a avaliação de valor ajustada ao risco (rNPV), gestão de portfólio e tomada de decisão estratégica. No entanto, os métodos de avaliação existentes frequentemente dependem de dados proprietários, arquiteturas complexas de "caixa-preta" ou elicitação de especialistas subjetiva, que podem ser difíceis de replicar, calibrar ou integrar em fluxos de trabalho padrão. Há uma carência de frameworks padronizados e reprodutíveis que utilizem apenas dados publicamente disponíveis para gerar estimativas de pTRS calibradas e interpretáveis.

Metodologia

Fontes de Dados e Pré-processamento

O estudo utilizou duas fontes primárias de dados:

Espaço de Atributos (Feature Space): Dados das seções de protocolo recuperados do ClinicalTrials.gov via API (até janeiro de 2026). Os atributos foram extraídos de oito módulos: Identificação, Patrocinador/Colaboradores, Descrição, Condições, Desenho, Intervenções de Braço, Desfechos e Elegibilidade.
Rótulos de Desfecho: Rótulos binários de sucesso/falha para ensaios de pequenas moléculas até 2021, obtidos do repositório de desfechos de ensaios clínicos HINT (derivado de dados da IQVIA).

Limpeza e Engenharia de Dados:

Limpeza: Atributos não textuais (ex: idade, datas) foram padronizados numericamente. Listas categóricas (ex: condições) foram convertidas em strings delimitadas por pipes.
Mapeamento de Área Terapêutica: Utilizando GPT-4o com prompting de few-shot, os ensaios foram classificados em uma de 21 áreas terapêuticas predefinidas (ex: Oncologia, Cardiovascular, Doenças Infecciosas) com base em condições e palavras-chave.
Codificação: Variáveis categóricas e multicategóricas foram codificadas via one-hot encoding.
Divisão Temporal: Para simular previsões do mundo real, os dados foram divididos temporalmente:
- Conjunto de Treinamento: Ensaios com datas de conclusão primária anteriores a 1º de janeiro de 2017 ( $n=10.224$ ).
- Conjunto de Teste: Ensaios com datas de início posteriores a 1º de janeiro de 2017 ( $n=478$ ).
Desequilíbrio de Classes: Pesos de classe foram aplicados inversamente às frequências das classes para penalizar a classificação incorreta de falhas de forma mais severa.

Desenvolvimento do Modelo

Três modelos de aprendizado de máquina interpretáveis foram avaliados:

Regressão Logística: Utilizada como baseline (linha de base).
Random Forest (RF): Avaliada com ajuste de hiperparâmetros via busca aleatória (20 combinações, validação cruzada de 5-fold).
XGBoost: Avaliada de forma semelhante à Random Forest.

Métricas de Avaliação:

Discriminação: ROC-AUC e PR-AUC.
Calibração: Score de Brier (decomposto em confiabilidade, resolução e incerteza).
Comparação com Benchmark: Uma métrica de "Taxa de Desempenho Superior" foi definida para medir a frequência com que a probabilidade prevista pelo modelo foi mais próxima do desfecho real do que um benchmark derivado (taxa média de sucesso por categoria de doença e fase).
Interpretabilidade: Valores SHAP (SHapley Additive exPlanations) foram usados para classificar a importância dos atributos e explicar previsões individuais.

Principais Resultados

Desempenho do Modelo

O modelo Random Forest demonstrou o desempenho agregado mais forte em todas as métricas, superando a baseline de Regressão Logística e os benchmarks padrão na maioria dos cenários:

ROC-AUC: 0,788 (vs. 0,726 da baseline).
PR-AUC: 0,794 (vs. 0,748 da baseline).
Score de Brier: 0,196 (vs. 0,220 da baseline), indicando calibração superior.
Nota: A baseline superou ligeiramente a Random Forest apenas na métrica PR-AUC para ensaios de Fase 3.

Estabilidade Temporal

O estudo testou o impacto de lacunas temporais (0, 1, 3 e 5 anos) entre os dados de treinamento e de teste. Embora o desempenho tenha mostrado um declínio modesto e consistente conforme a lacuna aumentava (ex: ROC-AUC caiu de 0,755 em uma lacuna de 0 anos para 0,748 em uma lacuna de 5 anos), o modelo permaneceu robusto e continuou a superar os benchmarks mesmo com uma lacuna de 5 anos.

Importância dos Atributos (Análise SHAP)

A análise SHAP identificou os seguintes como os principais direcionadores das previsões de pTRS:

Tipo de Patrocinador: O patrocínio da indústria foi o principal impulsionador positivo; o patrocínio não industrial (ex: NIH, acadêmico) correlacionou-se com menor sucesso previsto.
Área Terapêutica: A Oncologia foi associada a uma pTRS menor, enquanto Doenças Infecciosas e distúrbios Metabólicos mostraram pTRS mais alta.
Fase do Ensaio: Ensaios de Fase 3 mostraram maior sucesso previsto, enquanto a Fase 2 (prova de conceito) mostrou menor sucesso, consistente com as taxas históricas de atrito.
Variáveis de Desenho: Alocação randomizada, mascaramento e atribuições de grupo único tiveram efeitos moderados, mas consistentes.

Significância e Alegações

O artigo alega que sua principal contribuição é prática e metodológica, em vez de buscar uma precisão preditiva de estado da arte através de complexidade arquitetônica.

Reprodutibilidade: O estudo demonstra que estimativas de pTRS calibradas e úteis para decisão podem ser geradas usando apenas dados públicos (ClinicalTrials.gov) e rótulos abertos, removendo a dependência de bases de dados proprietárias ou pipelines complexos de aprendizado profundo (ex: HINT, inClinico).
Interpretabilidade: Ao utilizar modelos como Random Forest e SHAP, a abordagem fornece explicações transparentes para os stakeholders, facilitando a integração em processos de elicitação de especialistas e fluxos de trabalho de avaliação onde modelos de "caixa-preta" são frequentemente rejeitados.
Utilidade de Decisão: Os autores argumentam que mesmo melhorias modestas na precisão probabilística (ex: 3 a 4 pontos percentuais) são significativas na escala de portfólio, influenciando o deployment de capital e decisões de Go/No-Go.
Estratégia de Benchmarking: O artigo introduz uma abordagem de benchmarking derivada dos próprios dados de treinamento (médias por fase e área terapêutica) para criar uma métrica de comparação justa e reprodutível que evita os vieses de bases de dados industriais externas potencialmente incompletas.

Limitações Reconhecidas

Os autores explicitamente observam algumas restrições:

Recência dos Dados: Os rótulos são limitados a ensaios de pequenas moléculas até 2021; mudanças em regulamentações ou na condução de ensaios podem afetar o desempenho futuro.
Escopo de Atributos: O modelo exclui descrições ricas em texto livre, propriedades moleculares (SMILES) e dados de PK/PD/toxicidade, o que pode limitar o desempenho, particularmente para ativos de primeira classe (first-in-class) ou oncologia.
Categorização por LLM: O mapeamento de áreas terapêuticas dependeu de LLMs, o que pode introduzir classificações errôneas estruturadas.
Derivação de Benchmark: A métrica de "desempenho superior" depende de benchmarks derivados do conjunto de treinamento; trabalhos futuros devem validar contra benchmarks externos.

Em conclusão, o artigo postula que modelos interpretáveis treinados em atributos de ensaios clínicos abertos oferecem uma base viável e prática para quantificação de risco que complementa, em vez de substituir, o julgamento especializado e os benchmarks tradicionais.