Dated public evidence and known genes for retrospective evaluation of gene prioritization

No vasto cenário da medicina moderna, cientistas tentam constantemente prever quais genes se tornarão alvos para novos medicamentos. Imagine um pesquisador diante de uma biblioteca contendo milhões de livros sobre biologia humana, tentando adivinhar qual volume específico contém o segredo para curar uma doença. Para fazer essas suposições, eles constroem modelos computacionais que aprendem com sucessos passados: eles observam genes que já são conhecidos por serem alvos eficazes e tentam encontrar os padrões que os tornaram bem-sucedidos. A esperança é que esses padrões ajudem a identificar o próximo grande alvo antes mesmo que um medicamento seja inventado. No entanto, há uma armadilha sutil, mas perigosa, nesse processo. As bibliotecas que esses modelos utilizam não são estáticas; são coleções vivas que crescem todos os dias. Assim que um gene se torna famoso e um medicamento é desenvolvido para ele, novas informações sobre esse gene inundam os bancos de dados. Se um modelo computacional aprende com um banco de dados que foi atualizado depois que um gene se tornou famoso, ele pode estar simplesmente memorizando o fato de que o gene é famoso, em vez de aprender as razões biológicas pelas quais ele funciona. Isso é como tentar prever o vencedor de uma corrida olhando para um placar que já lista os resultados; a previsão é tecnicamente correta, mas não diz nada sobre a velocidade ou a estratégia real do corredor.

Este problema, conhecido como "vazamento de informação" (information leakage), tem dificultado a confiança no desempenho de muitas ferramentas de priorização de genes. Os pesquisadores há muito suspeitam que essas ferramentas estão performando acima do esperado porque estão, acidentalmente, espiando o futuro. Para resolver isso, uma equipe da Pfizer criou um novo conjunto de dados meticulosamente carimbado com datas, que permite aos cientistas reencenar a história exatamente como ela aconteceu. Em vez de usar a versão atual e atualizada dos bancos de dados públicos, este novo recurso permite que os pesquisadores congelem o tempo em qualquer ponto da última década. Eles podem pedir ao modelo computacional que faça uma previsão usando apenas as informações que estavam publicamente disponíveis em uma data específica e, em seguida, verificar se o modelo teria identificado corretamente os genes que se tornaram famosos mais tarde. Essa abordagem remove a vantagem de conhecer o resultado antecipadamente, forçando os modelos a depender de sinais biológicos genuínos, em vez do ruído do acúmulo de pesquisas.

O cerne deste trabalho é uma coleção massiva de tabelas de evidências cobrindo quatro grandes áreas da medicina: câncer, doença inflamatória intestinal, metabolismo e psoríase. Os pesquisadores reuniram dados de vinte fontes públicas diferentes, como registros de ensaios clínicos, bancos de dados genéticos e mapas de proteínas. Para cada informação individual nessas tabelas, eles anexaram dois metadados críticos: uma data de lançamento e uma classificação de "vazamento". A data de lançamento diz ao computador exatamente quando aquela informação se tornou pública pela primeira vez. A classificação de vazamento atua como um filtro, classificando os dados com base na probabilidade de serem enviesados pela história do desenvolvimento de medicamentos. Alguns pontos de dados representam biologia pura, como a estrutura física de uma proteína ou sua localização no corpo, que existiriam independentemente de alguém tentar criar um medicamento para ela. Outros pontos de dados representam a própria história da pesquisa, como o número de artigos científicos escritos sobre um gene ou quantos ensaios clínicos o testaram. Este último grupo é altamente suspeito porque o volume de pesquisa frequentemente aumenta apenas depois que um gene já é conhecido por ser importante.

Ao organizar os dados desta forma, a equipe criou cinco "conjuntos de características" (feature sets), ou versões do conjunto de dados, variando desde a coleção completa até uma versão "apenas biológica" que exclui todo o histórico de pesquisa e registros de desenvolvimento de medicamentos. Isso permite que os cientistas testem seus modelos sob diferentes condições. Eles podem ver se um modelo funciona bem quando é permitido ver apenas os fatos biológicos brutos, ou se ele só apresenta bom desempenho quando lhe é permitido ver o histórico acumulado de estudos humanos. O conjunto de dados também inclui uma lista de 19 grupos de "genes conhecidos", cada um com uma data precisa marcando quando esse gene se tornou um alvo ou associação conhecida pela primeira vez. Para alvos de câncer, esta data é particularmente rigorosa: é o dia em que um registro de ensaio clínico mostrou pela primeira vez que um ensaio para aquele gene específico havia começado, garantindo que o modelo não pudesse saber sobre o ensaio antes que ele fosse público.

Quando os pesquisadores testaram essas ferramentas, descobriram que o tempo dos dados importa imensamente. Eles descobriram que muitas características que parecem úteis hoje são, na verdade, reflexos de quanto um gene foi estudado. Por exemplo, o número de artigos de pesquisa ou o número de conexões que um gene possui em uma rede tende a disparar após um gene se tornar um alvo de medicamentos. Se um modelo utiliza essas características, ele está essencialmente usando o gabarito. O novo conjunto de dados revelou que, quando você remove essas características de "história" e olha apenas para a biologia que existia antes do gene se tornar famoso, o desempenho de muitos modelos cai significativamente. Isso sugere que as avaliações anteriores dessas ferramentas foram provavelmente excessivamente otimistas porque não levaram em conta esse vazamento. O estudo não encontrou uma única solução mágica que preveja todos os alvos de drogas, mas forneceu uma maneira rigorosa de separar o insight biológico genuíno do ruído do volume de pesquisa.

Os pesquisadores também verificaram a confiabilidade de suas próprias datas e rótulos. Eles revisaram manualmente centenas de registros de ensaios clínicos para garantir que as datas atribuídas aos genes fossem precisas. Descobriram que, embora os sistemas automatizados sejam geralmente bons, eles às vezes erram o alvo, particularmente quando um ensaio é registrado após já ter sido iniciado ou quando um medicamento é testado para uma condição diferente daquela que está sendo estudada. Ao corrigir essas datas, garantiram que a "máquina do tempo" que construíram fosse precisa. Eles também verificaram que as características biológicas, como o tamanho da superfície externa de uma proteína, permaneceram estáveis ao longo do tempo e não mudaram subitamente apenas porque um gene se tornou famoso. Essa estabilidade confirma que as características baseadas em biologia são confiáveis e não sofrem do mesmo problema de vazamento temporal das características de volume de pesquisa.

Em última análise, este trabalho fornece um novo padrão para testar modelos computacionais em biologia. Ele desloca o foco de perguntar "Este modelo funciona com os dados de hoje?" para "Este modelo poderia ter previsto este resultado se tivesse conhecido apenas o que era conhecido na época?". O conjunto de dados inclui 183 lançamentos arquivados de recursos públicos, permitindo que qualquer pessoa reconstrua o estado do conhecimento científico em qualquer final de trimestre de 2016 a 2024. Isso significa que um cientista pode agora pegar um novo método, testá-lo contra os dados como existiam em 2018, e ver se ele teria identificado com sucesso os genes que se tornaram alvos em 2020. Se falhar, o método não é tão poderoso quanto parecia. Se tiver sucesso, o resultado é muito mais credível.

As implicações disso são profundas para o futuro da descoberta de medicamentos. Ao utilizar esses conjuntos de dados datados e livres de vazamento, os pesquisadores podem parar de construir modelos que simplesmente memorizam a história da ciência e começar a construir modelos que realmente compreendam a biologia da doença. O conjunto de dados não garante que um novo medicamento será encontrado amanhã, mas garante que as ferramentas usadas para encontrá-lo não estão enganando a si mesmas. Ele oferece uma maneira de distinguir entre um sinal que é verdadeiramente biológico e um sinal que é meramente um reflexo de quanta atenção um gene recebeu. Em um campo onde os riscos são altos e os dados são esmagadores, essa clareza é a ferramenta mais valiosa de todas. Os pesquisadores não resolveram o problema de encontrar novos medicamentos, mas construíram uma bússola melhor para a jornada, uma que aponta para o norte verdadeiro, em vez de para os lugares onde outros viajantes já estiveram.