A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?

Resumo Técnico: InteractBind – Um Conjunto de Dados e Benchmark de Grande Escala para Localização de Sítios de Ligação Proteína-Ligante

Declaração do Problema
A modelagem proteína-ligante é central para a descoberta computacional de fármacos, contudo, os benchmarks existentes avaliam principalmente os modelos na predição binária de ligação (ocorre interação?) ou na regressão de afinidade de ligação (quão forte é a interação?). Essas tarefas medem se um modelo prevê a ocorrência ou a força da ligação, mas fornecem evidências limitadas sobre se os modelos conseguem localizar sítios de ligação específicos ou identificar as interações não covalentes subjacentes que impulsionam o reconhecimento molecular. Conjuntos de dados baseados em sequência raramente oferecem anotações de interação em nível de resíduo em escala, dificultando a determinação de se os mapas de interação aprendidos capturam genuinamente padrões de contato físico-químico ou meramente correlacionam-se com rótulos binários de ligação. Consequentemente, há uma falta de avaliação sistemática da capacidade de granularidade fina dos modelos para localizar resíduos de ligação e distinguir entre diferentes tipos de interações não covalentes.

Metodologia
Para abordar essa lacuna, os autores introduzem o InteractBind, um conjunto de dados e benchmark proteína-ligante de grande escala derivado de complexos resolvidos experimentalmente no Protein Data Bank (PDB).

• Construção do Conjunto de Dados: O conjunto de dados compreende aproximadamente 100.000 pares proteína-ligante cobrindo ~11.000 proteínas únicas e ~9.000 ligantes únicos. Para cada par, os autores geram:

  • Representações de Sequência: Sequências FASTA canônicas e sequências conscientes de estrutura (SA) para proteínas; SMILES e SELFIES para ligantes.
  • Anotações de Interação: Utilizando ferramentas como PLIP e GetContacts, os autores detectam seis principais tipos de interações não covalentes: ligações de hidrogênio, pontes salinas, empilhamento $\pi$–$\pi$, interações cátion–$\pi$, contatos hidrofóbicos e forças de van der Waals.
  • Mapas de Interação: Essas interações são projetadas em mapas em nível de sequência, criando matrizes $m \times n$ (átomos do ligante $\times$ resíduos da proteína) com pontuações de interação ponderadas. Um mapa agregado define o sítio de ligação da proteína (resíduos que participam de pelo menos uma interação).
  • Rótulos: Rótulos binários de ligação (derivados de pontuações de afinidade baseadas em acoplamento: $\le -7$ kcal/mol como positivo, $> -5$ kcal/mol como negativo) e valores de afinidade.

• Design do Benchmark:

  • Tarefa Principal: Localização de sítio de ligação. A métrica de avaliação primária é a Taxa de Acerto de Resíduo de Ligação nos Top-K (BRHR@K), que mede se os resíduos da proteína previstos nos top-$K$ se sobrepõem aos resíduos de ligação verdadeiros.
  • Divisões: Para garantir uma avaliação realista de generalização, o conjunto de dados inclui:
    • Distribuição Interna (ID): Uma divisão consciente de afinidade usando validação cruzada de 5 dobras.
    • Fora da Distribuição (OOD): Quatro divisões controladas por similaridade de proteína (similaridade máxima treino-teste de 25%, 28%, 31%, 33%) para avaliar o desempenho em alvos proteicos menos familiares.
  • Baselines: Oito modelos representativos baseados em sequência e conscientes de interação (por exemplo, MolTrans, TransformerCPI, DrugBAN, FusionDTI) foram avaliados.

Principais Contribuições

1. Conjunto de Dados InteractBind: Um novo recurso de grande escala fornecendo não apenas rótulos binários e pontuações de afinidade, mas também anotações de sítio de ligação em nível de resíduo e seis mapas distintos de interações não covalentes.
2. Paradigma de Avaliação de Granularidade Fina: A formulação da localização de sítio de ligação como uma tarefa central, apoiada por métricas BRHR e análise específica por tipo de interação, indo além de resultados em nível de par.
3. Benchmarking Sistemático: A avaliação de oito modelos de última geração revela que, embora arquiteturas conscientes de interação mostrem sinais mensuráveis de localização de sítio de ligação, há espaço substancial para melhoria, particularmente na identificação de padrões específicos de contato físico-químico.

Resultados

• Desempenho Binário vs. Localização: Existe uma discrepância significativa entre a predição binária de ligação e a localização de sítio de ligação. O modelo de melhor desempenho, FusionDTI, alcançou 98,3% de AUROC para predição binária, mas apenas 21,6% de BRHR@1 para localização de sítio de ligação. Isso indica que uma forte predição binária não garante a identificação confiável dos resíduos específicos envolvidos na ligação.
• Variabilidade por Tipo de Interação: O desempenho varia marcadamente entre os tipos de interações não covalentes. Os modelos localizam contatos comuns e espacialmente amplos (van der Waals, hidrofóbicos, ligações de hidrogênio) mais efetivamente (por exemplo, FusionDTI atingiu 33% de BRHR@5 para van der Waals) do que arranjos geométricos específicos como empilhamento $\pi$–$\pi$ (18,2%) e interações cátion–$\pi$ (~16,1%).
• Generalização: Sob divisões OOD controladas por similaridade de proteína, o desempenho tanto para predição binária quanto para localização de sítio de ligação diminui à medida que a similaridade entre as proteínas de treino e teste cai, destacando a dificuldade de localizar sítios de ligação para alvos proteicos novos. A similaridade do ligante teve um efeito comparativamente menor no desempenho.

Significado e Alegações
O artigo alega que o InteractBind estabelece um novo paradigma de benchmark que incentiva o desenvolvimento de modelos proteína-ligante mais interpretáveis e fundamentados fisicamente. Os autores argumentam que os modelos atuais frequentemente dependem de correlações específicas do conjunto de dados para prever a ocorrência de ligação sem realmente aprender os determinantes mecânicos do reconhecimento molecular. Ao fornecer supervisão explícita em nível de resíduo e anotações específicas por tipo de interação, o InteractBind permite uma avaliação sistemática de se os modelos localizam sítios de ligação e identificam as interações não covalentes que os estabilizam. Os resultados sugerem que, embora os modelos atuais conscientes de interação capturem alguns sinais de sítio de ligação, eles ainda não são confiáveis para localização de granularidade fina, particularmente para tipos específicos de interação ou alvos proteicos novos. Os autores posicionam este trabalho como um passo em direção a mudar a avaliação de métricas focadas apenas no resultado para avaliação de granularidade fina, o que é crítico para melhorar a confiabilidade dos pipelines de descoberta computacional de fármacos e evitar conclusões biológicas enganosas.

Limitações
Os autores notam explicitamente que o benchmark atual foca na avaliação em nível de sequência e ainda não inclui um benchmark em nível de estrutura. Eles reconhecem que estender a avaliação para estruturas 3D é desafiador devido à ambiguidade de pose e flexibilidade conformacional, o que pode introduzir ruído e reduzir a interpretabilidade em comparação com a avaliação baseada em sequência em nível de resíduo.