Clinical trial success prediction from open registry text using classical machine learning

Todos os anos, as empresas farmacêuticas investem bilhões de dólares e décadas de esforço no desenvolvimento de novos medicamentos. O caminho de uma ideia promissora em um laboratório até um comprimido em uma prateleira de farmácia é longo e repleto de falhas. A maioria dos candidatos a fármacos nunca chega à aprovação e, quando falham após anos de trabalho, a perda financeira é avassaladora. Mais importante ainda, as pessoas que se voluntariam para esses estudos enfrentam riscos sem receber os benefícios esperados. Como os recursos são finitos, cada dólar e cada hora gastos em um medicamento que eventualmente falhará é um recurso retirado de um medicamento que pode ter sucesso. A indústria busca há muito tempo uma maneira de identificar esses candidatos condenados precocemente, antes que muito tempo e dinheiro sejam investidos, permitindo que os pesquisadores interrompam os programas fracos e foquem nos fortes.

Para fazer isso, cientistas tentaram prever o resultado de ensaios clínicos, que são os testes rigorosos onde novos tratamentos são administrados a pacientes. Essas previsões são difíceis porque dependem da compreensão da biologia humana complexa, do design específico de um estudo e do comportamento de um novo fármaco. Tradicionalmente, especialistas usaram sua experiência para adivinhar quais ensaios terão sucesso, mas esse processo é lento, subjetivo e caro. Nos últimos anos, pesquisadores recorreram ao aprendizado de máquina, usando computadores para encontrar padrões em dados que os humanos podem perder. No entanto, muitos desses modelos computacionais dependem de dados privados que apenas grandes empresas podem acessar, ou exigem informações moleculares complexas que nem sempre estão disponíveis. Isso deixa grupos menores e pesquisadores acadêmicos sem uma maneira clara de estimar as chances de sucesso de um ensaio.

Um novo estudo do pesquisador independente Michael Doane explora se os registros públicos desses ensaios, que qualquer pessoa pode ler online, contêm informações suficientes para fazer essas previsções. O estudo foca em uma coleção massiva de registros de ensaios de um site público chamado ClinicalTrials.gov. Este site atua como um registro global onde os pesquisadores devem registrar seus estudos antes de começarem, postando detalhes sobre a doença sendo tratada, o fármaco sendo testado, o número de pacientes envolvidos e os objetivos da pesquisa. O trabalho de Doane faz uma pergunta simples: se você alimentar as descrições textuais desses registros públicos em um computador, o computador consegue aprender a distinguir entre ensaios que terão sucesso e aqueles que falharão?

Para responder a isso, o pesquisador utilizou um conjunto de dados chamado Clinical Trial Outcome Dataset, que fornece um rótulo para cerca de 125.000 ensaios passados, marcando-os como bem-sucedidos ou malsucedidos com base em seus resultados finais. O desafio era construir um modelo que pudesse prever esses resultados usando apenas o texto disponível no registro público no momento em que o ensaio foi registrado, sem espiar os resultados finais ou usar quaisquer dados privados de empresas. O pesquisador teve que ser extremamente cuidadoso para evitar um erro comum chamado "vazamento de dados" (data leakage), onde um modelo computacional acidentalmente aprende a resposta ao ler uma parte do texto que foi atualizada após o término do ensaio. Por exemplo, o resumo de um ensaio pode ser reescrito anos depois para incluir os resultados finais e, se o computador ler esse texto atualizado, ele não está realmente prevendo o futuro; ele está apenas lendo o passado.

Para evitar isso, o pesquisador limpou meticulosamente os dados, removendo quaisquer registros onde o texto pudesse ter sido alterado após o conhecimento do resultado. Eles também excluiram campos específicos que descreviam diretamente os resultados. Uma vez que os dados estavam seguros, eles treinaram três tipos diferentes de modelos computacionais para procurar padrões no texto restante. Esses modelos foram testados em ensaios de diferentes estágios de desenvolvimento, conhecidos como fases. Os ensaios de Fase 1 são a primeira vez que um fármaco é testado em humanos para verificar a segurança, os ensaios de Fase 2 buscam sinais de que o fármaco realmente funciona, e os ensaios de Fase 3 são estudos amplos que confirmam a eficácia e a segurança do fármaco antes que ele possa ser aprovado.

Os resultados mostraram que os modelos computacionais podiam, de fato, encontrar sinais úteis no texto público. O modelo com melhor desempenho, que utilizou um método chamado floresta aleatória (random forest), foi capaz de distinguir entre ensaios bem-sucedidos e fracassados melhor do que o acaso. Na fase mais inicial de teste, a Fase 1, o modelo teve um desempenho muito bom, classificando corretamente os resultados em cerca de 74 por cento dos casos. Isso significa que, se você pegasse um grupo de ensaios de Fase 1, o modelo poderia identificar aqueles que tinham maior probabilidade de sucesso com um alto grau de precisão. O desempenho foi menor para os ensaios de Fase 2, que são notoriamente difíceis de prever porque dependem fortemente de o fármaco atingir o alvo biológico correto, um detalhe frequentemente ausente nos resumos públicos. No entanto, o modelo ainda teve um desempenho melhor do que o acaso nesta etapa também.

Uma das descobertas mais interessantes foi que treinar o modelo em uma grande variedade de doenças realmente o ajudou a prever resultados para um grupo específico de doenças conhecido como neurociência. Os ensaios de neurociência, que lidam com condições como Alzheimer e depressão, têm historicamente taxas de falha muito altas. O pesquisador descobriu que, quando o computador foi treinado em ensaios de todos os campos médicos, e não apenas de neurociência, ele se tornou melhor em prever o sucesso de ensaios de neurociência. Isso sugere que as regras gerais de como um ensaio clínico é desenhado e conduzido são semelhantes em diferentes tipos de doenças, e aprender com uma ampla gama de exemplos ajuda o computador a entender os desafios específicos do sistema nervoso.

O estudo também testou o modelo contra um conjunto de 7.260 casos difíceis que haviam sido revisados manualmente por especialistas humanos para garantir que não fossem fáceis de adivinhar. Mesmo contra esses exemplos difíceis, o modelo manteve sua capacidade de distinguir entre sucesso e falha, provando que não estava apenas memorizando regras simples, mas estava realmente aprendendo algo sobre a natureza dos ensaios clínicos. O pesquisador também verificou se o modelo estava se baseando nos nomes das empresas que patrocinavam os ensaios ou nos locais onde eram realizados. Quando esses detalhes foram removidos, o desempenho do modelo caiu apenas ligeiramente, indicando que o texto descrevendo a ciência e o desenho do estudo carregava a maior parte do peso preditivo.

Este trabalho demonstra que a informação pública, que esteve disponível por anos mas pouco analisada desta forma, possui um valor significativo para a indústria farmacêutica. Os modelos usados neste estudo são relativamente simples e não exigem supercomputadores poderosos ou dados secretos; eles podem rodar em um laptop padrão. Isso torna a abordagem acessível a pesquisadores acadêmicos, organizações sem fins lucrativos e empresas menores que não possuem acesso a bases de dados proprietárias. Ao fornecer uma maneira de estimar a probabilidade de sucesso usando apenas dados abertos, este método oferece uma nova ferramenta para a triagem de candidatos a fármacos. Ele não substitui a necessidade do julgamento de especialistas ou do trabalho complexo do desenvolvimento de fármacos, mas fornece um ponto de partida confiável e objetivo. Pode ajudar as equipes a decidir quais programas merecem mais atenção e quais podem ser interrompidos precocemente, potencialmente economizando tempo, dinheiro e o bem-estar dos pacientes que se voluntariam para esses estudos críticos.