PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

Este artigo apresenta o PoseBusters, uma ferramenta de validação que demonstra que os atuais métodos de docking de proteína-ligante baseados em aprendizado profundo frequentemente falham em gerar estruturas fisicamente plausíveis ou em generalizar para novas sequências, apresentando, assim, um desempenho inferior às ferramentas de docking clássicas que incorporam melhor princípios físicos essenciais.

O essencial

Imagine que você está tentando encontrar a chave perfeita para caber em uma fechadura muito específica e complexa. No mundo da descoberta de fármacos, a "fechadura" é uma proteína no seu corpo, e a "chave" é um potencial medicamento (uma molécula). O processo de descobrir exatamente como essa chave se encaixa na fechadura é chamado de docking (ancoragem).

Por anos, cientistas usaram programas de computador tradicionais, baseados em regras, para fazer isso. Recentemente, uma nova onda de programas de "IA" (Aprendizado Profundo) chegou, prometendo fazer o trabalho de forma mais rápida e melhor. Esses modelos de IA são como alunos brilhantes que memorizaram milhões de exemplos de chaves e fechaduras.

No entanto, um novo estudo chamado PoseBusters sugere que, embora esses alunos de IA sejam muito bons em memorizar a forma da chave, eles são terríveis em entender a física de como ela realmente funciona.

Aqui está uma divisão simples do que o artigo descobriu:

1. A Armadilha do "RMSD": Parecendo Bom no Papel

Cientistas geralmente julgam o quão bem um programa de docking funciona medindo o RMSD. Pense no RMSD como uma régua. Se a IA prevê onde a chave vai, e essa previsão está dentro de 2 milímetros (Angstroms) de onde a chave realmente se posiciona em uma foto da vida real (uma estrutura cristalina), a IA recebe uma nota de aprovação.

O artigo descobriu que muitos programas de IA obtêm pontuações altas nesse teste da régua. Eles dizem: "Olhem! Somos 90% precisos!"

2. O Choque de Realidade: A Chave "Impossível"

O problema é que esses programas de IA estão tão focados em corresponder à medida da régua que, às vezes, criam chaves fisicamente impossíveis.

Imagine que a IA prevê uma chave que:

• Tem uma ligação (uma conexão entre átomos) que está tão esticada que se quebraria como um graveto seco.
• Tem um formato de anel que está torcido como um pretzel, embora a química diga que deveria ser plano como uma panqueca.
• Tem duas partes da chave colidindo uma com a outra, como dois carros tentando passar pela mesma porta ao mesmo tempo.

O artigo chama isso de "fisicamente implausível". É como se a IA desenhasse a imagem de uma chave que parece correta de longe, mas se você tentasse construí-la, ela se desmancharia ou quebraria a fechadura.

3. Entra o PoseBusters: O Inspetor

Para pegar essas previsões ruins, os autores construíram uma ferramenta chamada PoseBusters. Pense no PoseBusters como um inspetor de obras rigoroso ou um gerente de controle de qualidade.

Em vez de apenas medir a régua (RMSD), o PoseBusters verifica as "leis da física" para cada previsão:

• Validade Química: A molécula faz sentido quimicamente? (ex: A carga está correta? Os átomos estão conectados adequadamente?)
• Geometria: Os anéis estão planos? As ligações têm o comprimento correto?
• Clashes (Colisões): A chave colidiu com a fechadura ou com outras partes da máquina?

Se uma previsão falha nesses testes, ela é marcada como "inválida", não importa o quão boa tenha sido a medida da régua.

4. A Grande Revelação: Velho vs. Novo

Os pesquisadores testaram cinco novos métodos de docking de IA contra dois métodos tradicionais mais antigos (AutoDock Vina e Gold).

• Em fechaduras familiares (Dados de Treinamento): Quando a IA foi testada em fechaduras que já havia visto durante seu treinamento, ela parecia incrível no teste da régua. Uma IA (DiffDock) pareceu superar os métodos antigos.
• O Filtro da "Física": Mas quando o PoseBusters verificou a física, o desempenho da IA caiu drasticamente. Muitas de suas previsões "perfeitas" eram, na verdade, estruturas impossíveis. Os métodos antigos e tradicionais, embora um pouco mais lentos, produziram chaves que eram precisas e fisicamente possíveis.
• Em novas fechaduras desconhecidas (Generalização): Quando os pesquisadores testaram a IA em fechaduras completamente novas (um Conjunto de Referência/Benchmark), a IA teve muita dificuldade. Ela não conseguiu generalizar. Os métodos antigos, que dependem de regras físicas em vez de apenas memorização de padrões, lidaram muito melhor com essas novas fechaduras.

5. O "Ajuste" Não Resolve Tudo

Os autores tentaram ajudar a IA adicionando uma etapa de "polimento" após a previsão, usando um motor de física (chamado campo de força) para suavizar as formas estranhas.

• O Resultado: Isso ajudou a IA a consertar algumas de suas chaves quebradas, mas não as tornou melhores do que os métodos tradicionais antigos. Os métodos antigos já estavam começando com uma base sólida; a IA tinha que tentar consertar uma base quebrada.

A Conclusão Final

O artigo conclui que os métodos de docking baseados em IA ainda não estão prontos para substituir as ferramentas tradicionais.

Embora sejam rápidos e possam adivinhar a localização correu, eles frequentemente ignoram as leis básicas da química e da física. Para serem verdadeiramente "estado da arte", um método precisa passar por dois testes:

1. O Teste da Régua: Está no lugar certo?
2. O Teste da Física: É um objeto real e construível?

Atualmente, os métodos tradicionais passam em ambos. Os métodos de IA passam no primeiro, mas frequentemente falham no segundo. Os autores esperam que, ao usar sua ferramenta "PoseBusters", os desenvolvedores possam consertar esses modelos de IA para que entendam melhor a física, levando a previsões de fármacos verdadeiramente precisas no futuro.

Resumo técnico

Problema
Nos últimos anos, observou-se o surgimento de inúmeros métodos de docking de proteína-ligante baseados em aprendizado profundo (DL), que prometem melhorias significativas em velocidade e precisão para a descoberta de fármacos baseada em estrutura. No entanto, uma falha crítica foi identificada: embora esses métodos frequentemente reportem um desempenho de estado da arte baseado no desvio quadrático médio (RMSD) dos modos de ligação previstos em relação às estruturas de cristal, eles frequentemente geram estruturas moleculares fisicamente implausíveis. Essas estruturas podem violar regras químicas fundamentais, como comprimentos de ligação incorretos, anéis aromáticos distorcidos ou choques estéricos severos entre o ligante e a proteína. Consequentemente, avaliar métodos de docking apenas por RMSD é insuficiente, particularmente para abordagens de DL que podem carecer dos "vieses indutivos" inerentes aos métodos clássicos baseados em física para garantir consistência química e realismo físico.

Metodologia
Para abordar essa lacuna, os autores introduzem o PoseBusters, um pacote Python que utiliza o kit de ferramentas de quimioinformática RDKit para realizar um conjunto abrangente de verificações de qualidade nas previsões de docking. O conjunto de testes valida três categorias de propriedades:

1. Validade Química e Consistência: As verificações incluem sanitização do RDKk, preservação da fórmula molecular, conectividade de ligações, quiralidade tetraédrica e estereoquímica de ligação dupla em relação ao ligante de entrada.
2. Validade Intramolecular: Este grupo avalia a plausibilidade física do próprio ligante, incluindo comprimentos e ângulos de ligação (dentro de 25% dos limites de geometria de distância), planaridade de anéis aromáticos e ligações duplas (dentro de 0,25 Å), choques estéricos internos e razões de energia conformacional (usando o Campo de Força Universal, UFF).
3. Validade Intermolecular: Este grupo avalia as interações entre o ligante e seu ambiente, verificando choques entre proteína-ligante e ligante-cofator baseados em raios de van der Waals (com um limiar de 0,75) e sobreposição de volume (limitando a interseção a <7,5%).

Os autores aplicaram o PoseBusters para avaliar sete métodos de docking: cinco abordagens de DL (DeepDock, DiffDock, EquiBind, TankBind e Uni-Mol) e dois métodos clássicos estabelecidos (AutoDock Vina e CCDC Gold). A avaliação foi conduzida em dois conjuntos de dados:

• Astex Diverse Set: Um benchmark padrão contendo 85 complexos, muitos dos quais se sobrepõem aos dados de treinamento dos métodos de DL.
• PoseBusters Benchmark Set: Um conjunto de teste novo e rigoroso de 308 complexos de alta qualidade lançado após 2021, garantindo que não haja sobreposição com os dados de treinamento (PDBbind General Set v2020) dos métodos de DL testados. Este conjunto foi usado para avaliar a generalização para novas sequências e estruturas.

Adicionalmente, os autores realizaram a minimização de energia pós-docking usando campos de força de mecânica molecular (AMBER ff14sb e Sage) nas previsões de DL para determinar se a plausibilidade física poderia ser recuperada através do refinamento clássico.

Principais Contribuições

• Conjunto de Testes PoseBusters: O desenvolvimento de uma ferramenta de código aberto que identifica sistematicamente poses de ligantes quimicamente inconsistentes e fisicamente implausíveis, indo além das métricas simples de RMSD.
• Benchmarking Rigoroso: Uma análise comparativa demonstrando que os atuais métodos de docking baseados em DL falham em generalizar para sequências novas e frequentemente produzem estruturas inválidas, mesmo alcançando pontuações de RMSD baixas.
• Identificação de Física Ausente: Evidência de que os métodos de DL carecem de vieses indutivos específicos em relação à geometria química e restrições estéricas, que são naturalmente codificadas em campos de força clássicos.

Resultados

• Desempenho no Astex Diverse Set: Embora o DiffDock tenha parecido superior baseado apenas em RMSD (72% das previsões dentro de 2 Å), seu desempenho caiu significamente quando a plausibilidade física foi considerada (47% PB-válidos). Métodos clássicos (Gold e AutoDock Vina) superaram todos os métodos de DL quando tanto o RMSD quanto a validade física foram exigidos.
• Desempenho no PoseBusters Benchmark Set: Nos dados não vistos, a lacuna aumentou. Gold e AutoDock Vina permaneceram como os melhores desempenhos. O melhor método de DL, DiffDock, alcançou apenas 12% de validade PB, enquanto outros métodos de DL (EquiBind, Uni-Mol, TankBind) geraram quase nenhuma pose fisicamente válida.
• Generalização e Overfitting: Os métodos de DL tiveram um desempenho significativamente inferior em proteínas com baixa identidade de sequência (<30%) em relação aos seus conjuntos de treinamento, sugerindo um sério overfitting aos alvos de treinamento.
• Impacto da Minimização de Energia: A aplicação da minimização de energia pós-docking melhorou significativamente a plausibilidade física das previsões de DL (aumentando o número de poses válidas), indicando que os campos de força contêm a física relevante para o docking que falta nos modelos de DL atuais. No entanto, mesmo com este refinamento, os métodos de DL não superaram as ferramentas clássicas.
• Modos de Falha Específicos: O estudo identificou padrões de falha distintos para cada método de DL, como o TankBind negligenciando a estereoquímica, o Uni-Mol prevendo comprimentos de ligação não padrão e o EquiBind gerando choques proteína-ligante.

Significância
O artigo argumenta que o padrão atual de avaliar métodos de docking apenas por RMSD é inadequado e enganoso. Ele postula que, para um método ser considerado "estado da arte", ele deve não apenas prever modos de ligação semelhantes ao nativo, mas também gerar estruturas quimicamente consistentes e fisicamente plausíveis. Os autores afirmam que o PoseBusters fornece um framework necessário para identificar os vieses indutivos ausentes em modelos de aprendizado profundo. Ao destacar que os métodos de DL atuais ainda não superam as ferramentas de docking clássicas quando a plausibilidade física é levada em conta, o trabalho visa impulsionar o desenvolvimento de métodos de previsão mais precisos e realistas que integrem a velocidade do aprendizado profundo com o rigor físico dos campos de força clássicos.