Model Rankings in Drug–Target Affinity Prediction Vary Across Evaluation Regimes: A Controlled Multi-Seed Study of Model-Comparison Reliability

Na corrida para descobrir novos medicamentos, os cientistas frequentemente enfrentam uma tarefa assustadora: encontrar a chave certa para uma fechadura específica. As "chaves" são pequenas moléculas, potenciais fármacos, e as "fechaduras" são proteínas dentro do corpo humano que impulsionam doenças. Quando um fármaco se encaixa bem em uma proteína, ele pode interromper um processo de doença ou consertar uma função quebrada. Prever o quão fortemente um fármaco se ligará a uma proteína é uma etapa crítica na triagem de milhões de candidatos, permitindo que os pesquisadores foquem seus recursos nos mais promissores. Por anos, modelos computacionais foram treinados para fazer essas previsões, aprendendo com vastos bancos de dados de interações conhecidas entre fármacos e proteínas. O objetivo sempre foi construir um modelo que possa adivinhar com precisão a força de uma ligação que nunca viu antes, quer isso signifique prever como um novo fármaco se comportará contra uma proteína conhecida, ou como um fármaco conhecido pode interagir com um alvo proteico inteiramente novo.

No entanto, um novo estudo da Universidade Normal de Harbin sugere que a resposta para "qual modelo é o melhor" depende inteiramente da pergunta que está sendo feita. Os pesquisadores, Haobo Kui e Xinyuan Cui, propuseram-se a testar se os rankings desses modelos computacionais permanecem estáveis quando as regras do jogo mudam. No mundo real da descoberta de fármacos, um modelo pode ser solicitado a prever interações para um fármaco que nunca foi visto antes, ou para uma proteína que nunca foi vista antes, ou para uma mistura de ambos. A equipe descobriu que um modelo que vence em um cenário pode perder em outro, e que a ordem em que os modelos são classificados pode mudar completamente dependendo das condições específicas de teste. O trabalho deles, que envolveu a execução de mais de cem experimentos cuidadosamente controlados, revela que não existe um único "melhor" modelo para todas as situações; em vez disso, a escolha certa depende de combinar o modelo ao desafio específico de generalização que ele enfrentará.

Para entender a escala desta investigação, imagine um laboratório onde cientistas estão testando cinco tipos diferentes de motores. Em um teste padrão, eles poderiam dirigir todos os motores em uma pista suave e familiar. Mas no mundo real, alguns motores precisam lidar com estradas geladas, enquanto outros devem navegar por passagens montanhosas íngremes. Kui e Cui construíram uma estrutura de teste rigorosa para ver se o motor que vence na pista suave também vence no gelo ou nas montanhas. Eles utilizaram dois enormes bancos de dados limpos de interações fármaco-proteína, contendo mais de 118.000 registros de uma fonte e mais de 30.000 de outra. A partir desses dados, criaram três ambientes de teste distintos. O primeiro foi um cenário "quente" (warm), onde o modelo foi testado em fármacos e proteínas que já havia visto durante o treinamento, medindo essencialmente o quão bem ele conseguia lembrar e interpolar o que aprendeu. O segundo foi um cenário de "fármaco frio" (cold-drug), onde o modelo teve que prever interações para compostos químicos inteiramente novos que nunca havia encontrado. O terceiro foi um cenário de "alvo frio" (cold-target), onde o modelo enfrentou sequências proteicas inteiramente novas, simulando o desafio de encontrar um fármaco para um mecanismo de doença recém-descoberto.

Os pesquisadores não apenas executaram os modelos uma vez e aceitaram os resultados. Para garantir que suas descobertas não fossem apenas um acaso da sorte, eles executaram cada experimento três vezes com condições iniciais ligeiramente diferentes, uma técnica conhecida como uso de múltiplas "sementes" (seeds). Eles compararam três maneiras diferentes de combinar informações de fármacos e proteínas, juntamente com dois métodos de linha de base estabelecidos, garantindo que todos os modelos tivessem aproximadamente a mesma capacidade de computação. No total, realizaram 126 execuções de treinamento separadas, mantendo as divisões de dados e as regras de avaliação idênticas em todos os casos. Crucialmente, eles mantiveram os resultados finais selados até que cada execução fosse concluída, evitando qualquer viés acidental onde o modelo pudesse ser ajustado para se adequar aos dados de teste. Essa abordagem rigorosa e auditável permitiu que eles traçassem cada resultado de volta à sua origem, garantindo a integridade de sua comparação.

Os resultados foram marcantes e contraintuitivos. Quando os pesquisadores observaram os rankings dos modelos sob as condições "quentes", um modelo superou consistentemente os outros. No entanto, quando mudaram para o cenário de "fármaco frio", os rankings mudaram dramaticamente. No caso mais extremo, envolvendo o maior conjunto de dados, a ordem dos modelos para o cenário de "alvo frio" foi exatamente o oposto da ordem para o cenário de "fármaco frio". Um modelo que era o vencedor claro para prever interações com novas proteínas tornou-se o perdedor claro quando solicitado a prever interações com novos fármacos. Essa reversão completa, medida por uma ferramenta estatística que compara rankings, mostrou que o sucesso de um modelo não é uma qualidade absoluta, mas sim relativa, que muda com o contexto.

Além disso, o estudo destacou que, mesmo dentro do mesmo cenário de teste, os resultados nem sempre eram perfeitamente estáveis. Ao observar as execuções individuais em vez de apenas a média, os pesquisadores descobriram que a ordem exata dos modelos poderia variar de uma execução de treinamento para outra. Isso significa que confiar em um único experimento para declarar um vencedor é arriscado, pois o resultado pode ser influenciado pelo ruído aleatório do processo de treinamento. Ao executar múltiplas sementes, a equipe pôde ver o quadro completo de quão confiável era o desempenho de um modelo. Eles descobriram que, embora alguns modelos mostrassem vantagens consistentes em áreas específicas, como o cenário de "fármaco frio", onde certas estratégias de fusão tiveram melhor desempenho em ambos os conjuntos de dados, nenhum modelo único dominou todas as métricas e todos os cenários.

Os pesquisadores também exploraram como essas descobertas se traduzem em uma aplicação no mundo real ao observar um alvo proteico específico e não visto, chamado VEGFR2, que está envolvido no crescimento de vasos sanguíneos e é um importante alvo para terapias contra o câncer. Usando as previsões congeladas de seus experimentos, eles simularam como diferentes modelos classificariam potenciais candidatos a fármacos para este alvo específico. Eles descobriram que os modelos produziram listas diferentes de principais candidatos. Um modelo poderia classificar um composto específico como a melhor escolha, enquanto outro poderia colocá-lo em uma posição muito inferior. Isso demonstrou que a escolha do modelo não é apenas um exercício acadêmico; ela impacta diretamente quais candidatos a fármacos os cientistas escolheriam para testar em um laboratório. Se um pesquisador escolher um modelo baseado em seu desempenho em um cenário "quente", poderá acabar priorizando os compostos errados para um novo alvo.

Em última análise, este estudo serve como um guia vital para o futuro da descoberta computacional de fármacos. Ele argumenta contra a ideia de um modelo campeão universal que possa ser aplicado a todos os problemas. Em vez disso, sugere que a confiabilidade das comparações de modelos depende de combinar o método de avaliação com o uso pretendido. Se o objetivo é encontrar fármacos para novos alvos, o modelo deve ser testado em novos alvos. Se o objetivo é encontrar novos fármacos para alvos conhecidos, o modelo deve ser testado em novos fármacos. Os pesquisadores concluem que, para que a seleção de modelos seja verdadeiramente confiável, ela deve ser compatível com o cenário (scenario-matched), utilizar múltiplas sementes e ser auditável. Ao compreender que os rankings mudam através de diferentes regimes de avaliação, os cientistas podem tomar decisões mais informadas, garantindo que as ferramentas que utilizam sejam adequadas para os desafios específicos do fluxo de descoberta de fármacos.