Resumo Técnico: Avaliação de Benchmarking de Docking de Pose Única, Reavaliação por Consenso e ML Supervisionado na Biblioteca LIT-PCBA

Declaração do Problema

A triagem virtual (VS) é um componente crítico da descoberta de medicamentos moderna, visando priorizar computacionalmente compostos para testes experimentais. No entanto, o poder preditivo dos métodos de VS é frequentemente comprometido pelo uso de conjuntos de dados de benchmarking enviesados (por exemplo, DUD-E) que contêm vieses análogos e artefatos de iscas, levando a métricas de desempenho infladas. Além disso, embora métodos recentes de Inteligência Artificial (IA), como o DiffDock, relatem resultados sólidos em benchmarks padrão, sua utilidade prática em bibliotecas curadas experimentalmente e não enviesadas permanece incerta. Há uma necessidade de avaliar rigorosamente se os métodos de docking e reavaliação baseados em IA de última geração superam as abordagens tradicionais baseadas em física em conjuntos de dados realistas caracterizados por baixas taxas de acerto, e se estratégias de consenso ou aprendizado de máquina (ML) supervisionado podem melhorar ainda mais o enriquecimento inicial.

Metodologia

O estudo avaliou fluxos de trabalho de docking e pontuação na biblioteca LIT-PCBA (PubChem Bioassay derivado da Literatura), compreendendo 578.295 pares ligante-alvo em 15 alvos proteicos diversos (10.008 ativos e 568.287 inativos). A avaliação focou em dois caminhos primários para geração de poses:

1. Caminho AutoDock: Utilizou AutoDock-GPU (uma implementação acelerada por GPU do AutoDock 4.2). Cada ligante passou por 10 execuções independentes, com a pose de melhor afinidade retida.
2. Caminho DiffDock: Utilizou DiffDock, um modelo generativo de difusão para docking cego. Foram amostradas 20 poses por ligante, com a pose de maior confiança retida.

Pontuação e Reavaliação:
Poses de ambos os caminhos foram reavaliadas usando:

• GNINA: Uma função de pontuação baseada em rede neural convolucional 3D (CNN).
• NMDN (Rede de Densidade de Mistura Normalizada): Uma função de reavaliação baseada em aprendizado profundo que prevê valores de pKd.
• Pontuações Nativas: Energia de ligação do AutoDock e pontuações de confiança internas do DiffDock.

Estratégias de Consenso e Filtragem:
O estudo implementou pontuação de consenso baseada em rank para combinar múltiplos métodos:

• Consenso Não Ponderado: Média simples de ranks.
• Consenso Calibrado (CC): Média ponderada onde os pontuadores baseados em ML (GNINA, NMDN) receberam peso duplo (2×) em comparação com a pontuação de docking de base (1×).
• Filtragem: Três estratégias de filtragem (Média, Forte, Fraca) foram aplicadas com base em cortes de pontuação (por exemplo, pontuação NMDN ≥ -800, GNINA CNNaffinity ≥ 0,1) antes da classificação.
• Consenso Global: Mesclagem de classificações de ambos os caminhos AutoDock e DiffDock.

Aprendizado de Máquina Supervisionado:
Vários modelos de ML (Redes Neurais Largas, MLPs Profundos, Florestas Aleatórias, XGBoost, LightGBM) foram treinados para reclassificar ligantes. As características incluíram pontuações de docking brutas, transformações não lineares derivadas e termos de interação. Os modelos foram treinados em uma divisão de 75/25 dos dados por alvo para evitar vazamento de dados.

Métricas:
O desempenho foi avaliado usando Fator de Enriquecimento em 1% e 10% (EF1%, EF10%), ROC-AUC, BEDROC (α=20) e métricas clássicas de classificação (Precisão, Revocação, Acurácia Balanceada).

Principais Resultados

1. Desempenho de Método Único

• AutoDock-GNINA emergiu como o método único mais confiável, alcançando um EF1% mediano de 2,14 e uma acurácia balanceada de 50,5%. Superou significativamente os métodos baseados em DiffDock e as linhas de base.
• Limitações do DiffDock: DiffDock sozinho (EF1% mediano = 1,17) e DiffDock reavaliado com GNINA (EF1% mediano = 0,84) ou NMDN (EF1% mediano = 0,67) apresentaram desempenho ruim. Notavelmente, variantes baseadas em DiffDock falharam completamente (EF1% = 0) no alvo OPRK1, enquanto AutoDock-GNINA alcançou um EF1% de 12,5 no mesmo alvo.
• Inconsistência do NMDN: A reavaliação com NMDN foi inconsistente. Embora tenha melhorado o desempenho em alvos específicos (por exemplo, FEN1 quando emparelhado com poses do AutoDock), frequentemente degradou o desempenho quando aplicado a poses do DiffDock ou outros alvos.

2. Consenso e Filtragem

• Robustez: A classificação de consenso calibrada (CC-Média) melhorou a robustez, resultando em um EF1% mediano de 1,8 em ambos os caminhos. Recuperou com sucesso dois alvos (FEN1 e IDH1) que o AutoDock-GNINA sozinho perdeu.
• Consenso Global: A mesclagem de ambos os caminhos via Consenso Global alcançou um EF1% mediano de 1,9, o mais alto entre as variantes de consenso, mas ainda não superou o desempenho do AutoDock-GNINA sozinho.
• Compensações de Filtragem: A filtragem forte (UC-Forte) produziu um EF1% médio alto em outliers específicos (por exemplo, PPARG), mas resultou em um EF1% mediano de 0 e retenção de ativos próxima de zero, indicando alta volatilidade. A filtragem fraca (CC-Fraca) manteve alta recuperação de ativos (~100%) com enriquecimento competitivo.

3. Aprendizado de Máquina Supervisionado

• Ganhos Significativos: A reclassificação por ML supervisionado entregou as maiores melhorias. O melhor modelo, uma Rede Neural Larga (WNN), alcançou um EF1% de 4,49, representando uma melhoria de ~110% sobre o melhor pontuador clássico (AutoDock-GNINA em 2,14).
• Melhorias de Métricas: A WNN melhorou a acurácia balanceada de 50,5% (AutoDock-GNINA) para 55,4%, a precisão de 1,85% para 8,2% e a revocação de 2,02% para 15,0%.
• Comparação: Modelos de ML superaram todas as estratégias de consenso baseadas em rank (EF1% mediano ~1,8–1,9), sugerindo que eles podem capturar padrões não lineares entre funções de pontuação que uma média simples não consegue.

4. Eficiência Computacional

• Vazão: AutoDock foi significativamente mais custo-efetivo e rápido que DiffDock. AutoDock processa aproximadamente 2 ligantes/segundo em uma RTX 3090, enquanto DiffDock requer 1–2 segundos por ligante em uma GPU A100 mais poderosa. O estudo estima que DiffDock requer 4 a 8 vezes a potência computacional para entregar precisão inferior neste contexto.

Significado e Alegações

O artigo conclui que, embora a triagem virtual baseada em docking forneça enriquecimento útil, seu poder preditivo absoluto em conjuntos de dados realistas como LIT-PCBA permanece limitado. As principais alegações incluem:

1. Sem Solucionador Universal: Nenhuma técnica de docking única funciona confiavelmente em todos os alvos. O desempenho é altamente dependente do alvo, com métodos como DiffDock falhando completamente em alvos específicos (por exemplo, OPRK1) onde métodos clássicos (AutoDock-GNINA) têm sucesso.
2. Superioridade de Clássico + Reavaliação ML: A combinação de um amostrador baseado em física tradicional (AutoDock) com uma função de reavaliação ML moderna (GNINA) oferece o melhor equilíbrio de precisão, custo e confiabilidade entre métodos únicos.
3. Valor do Aprendizado Supervisionado: Modelos de ML supervisionado podem aumentar significativamente o enriquecimento (duplicando o EF1%) se houver dados experimentais suficientes disponíveis para treinamento, superando tanto pontuadores únicos quanto estratégias de consenso simples.
4. Cautela Contra Novidade: O estudo defende o emprego de técnicas de docking rigorosamente testadas e bem compreendidas em vez de confiar em métodos de IA novos e imprevisíveis que podem produzir resultados inconsistentes, particularmente quando vieses nos dados de treinamento (por exemplo, "vizinhos próximos" no conjunto de treinamento do DiffDock) podem comprometer a generalização.
5. Limitações Inerentes: Mesmo os métodos de melhor desempenho (AutoDock-GNINA, reclassificadores ML) alcançam apenas discriminação modesta (Acurácia Balanceada ~50–55%), sugerindo que o docking baseado em estrutura sozinho não pode resolver completamente o problema de descoberta de acertos e pode estar limitado por fatores além de amostragem e pontuação.

Os autores enfatizam que fluxos de trabalho eficazes devem priorizar métodos validados contra alvos específicos ou sistemas estreitamente relacionados, em vez de assumir a superioridade universal de novas abordagens impulsionadas por IA.