HonestAffinity: Leak-Aware Evaluation of Protein and Pocket Priors for Binding Affinity Prediction

Resumo Técnico: HonestAffinity

Problema
A aprendizagem profunda baseada em sequências oferece uma alternativa escalável à pontuação baseada em estrutura para a predição de afinidade de ligação proteína-ligante, permitindo a triagem em escala de bibliotecas para alvos sem estruturas resolvidas. No entanto, o progresso neste campo é difícil de interpretar devido a duas fontes primárias de incerteza:

1. Representação de Proteína: Continua incerto se modelos de linguagem de proteínas pré-treinados (PLMs), como o ESM-2, que codificam pistas evolutivas e estruturais, melhoram a predição sob uma avaliação estrita de "sem vazamento" (no-leak) em comparação com embeddings de resíduos aprendidos.
2. Divisões de Avaliação: As divisões padrão do PDBbind (geral/refinada/núcleo) frequentemente apresentam vazamento de classes de similaridade proteína-ligante entre os conjuntos de treinamento e teste. Modelos que sofrem overfitting a essas classes podem reportar um desempenho forte em benchmarks canônicos (ex: CASF-2016), enquanto falham em alvos dissimilar. A reorganização LP-PDBBind livre de vazamentos aborda isso, mas tem visto adoção limitada em estudos apenas de sequência.

Metodologia
Os autores introduzem o HonestAffinity, um preditor de afinidade de entrada 1D compacto projetado como um teste controlado para isolar os efeitos de dois priors arquitetônicos comuns:

• Embeddings de ESM-2 Congelados: Embeddings de 1280 dimensões por resíduo provenientes de um modelo de 650 milhões de parâmetros.
• Marcador de Posição de Bolsa Aprendido: Uma máscara binária indicando resíduos da bolsa (pocket).

A arquitetura utiliza um codificador de convolução 1D multiescala, um bloco residual, uma única camada Transformer e uma pontuação de compatibilidade de produto de matriz seguida por um cabeçalho MLP. O ramo do ligante processa strings SMILES usando um template similar.

Três variantes específicas do mesmo template são avaliadas:

1. HonestAffinity-Pocket: Utiliza ESM-2 + marcador de bolsa.
2. HonestAffinity-NoPocket: Utiliza ESM-2 apenas (sem anotação de bolsa).
3. HonestAffinity-Pocket-NoESM: Utiliza um embedding de resíduo aprendido com vocabulário de 21 + marcador de bolsa (substituindo o ESM-2).

Protocolo Experimental

• Treinamento: Todas as variantes treinam em 11.513 complexos LP-PDBBind em aproximadamente 3 horas de GPU em uma única Tesla V100. Os pesos do ESM-2 estão congelados.
• Avaliação: Os modelos são testados contra cinco baselines reproduzidos (DeepDTA, Pafnucy, DeepDTAF, DEAttentionDTA, Multi-scale matrix-product) através de:
  • Hold-out de 3 níveis do LP-PDBBind (test_cl1, test_cl2, test_cl3), que excluem progressivamente pares proteína/ligante similares.
  • CASF-2016 (benchmark canônico de poder de pontuação).
  • Um subconjunto não-treino do CASF-2016 (161 entradas que não estão no split de treinamento LP).
• Relato: Cada método reporta a média ± desvio padrão sobre três sementes aleatórias. Nenhum "melhor rodada" único é escolhido manualmente; a seleção do modelo é baseada no RMSE de validação dentro de cada semente.

Resultos Principais
O achado central é uma reversão condicionada ao split, onde componentes arquitetônicos que melhoram o desempenho em splits familiares/canônicos degradam o desempenho em níveis estritos de sem vazamento:

1. Efeito do Marcador de Bolsa:

   • Splits Canônicos (val, CASF-2016): Adicionar o marcador de bolsa melhora o Pearson R (ex: +0,042 na validação).
   • Splits Estritos LP (test_cl1–cl3): Adicionar o marcador de bolsa reduz o Pearson R (ex: -0,018 no test_cl1). A variante sem o marcador (HonestAffinity-NoPocket) supera a variante equipada com o marcador nos níveis estritos.

2. Efeito do ESM-2:

   • Splits Canônicos: Usar embeddings congelados de ESM-2 melhora o Pearson R (ex: +0,019 na validação).
   • Splits Estritos LP: Usar ESM-2 reduz o Pearson R (ex: -0,024 no test_cl1). A variante que substitui o ESM-2 por embeddings aprendidos (HonestAffinity-Pocket-NoESM) alcança o maior Pearson R médio em todos os três níveis estritos de LP (test_cl1–cl3).

3. Desempenho Geral:

   • HonestAffinity-Pocket alcança o melhor Pearson R médio na validação, CASF-2016 e no subconjunto não-treino do CASF-2016.
   • HonestAffinity-Pocket-NoESM alcança o melhor Pearson R médio em cada nível estrito de sem vazamento do LP (test_cl1–cl3), superando tanto as variantes com ESM quanto o melhor baseline (DeepDTAF) no test_cl2 e test_cl3.

Significância e Alegações
O artigo argumenta que modelos de afinidade de ligação não devem ser julgados por uma única configuração padrão global. Em vez disso, os autores propõem:

• Ablações Pareadas: Reportar tanto a avaliação canônica quanto a livre de vazamentos é um sanity check necessário. O relato de regime único oculta o fato de que componentes como marcadores de bolsa e características de PLM podem se tornar contraproducentes quando a distribuição de teste é dissimilar da distribuição de treinamento.
• Correspondência de Regime de Implantação: A variante ideal do modelo depende do contexto de implantação:
  • Use HonestAffinity-Pocket para alvos familiares/anotados onde a sobreposição da distribuição de treinamento é alta.
  • Use HonestAffinity-Pocket-NoESM para alvos do estilo estrito LP com anotações de bolsa.
  • Use HonestAffinity-NoPocket para alvos sem anotações de bolsa.
• Mecanismo: Os autores sugerem que as características de PLM e os marcadores de bolsa atuam como biases indutivos em direção a estruturas da distribuição de treinamento (assinaturas de família, geometria de bolsa). Esses biases são informativos quando o alvo de teste sobrepõe a família de treinamento, mas tornam-se enganosos ou não informativos quando a filtragem rigorosa de similaridade remove essa sobreposição.

O artigo conclui que a pontuação aumentada por PLM de entrada 1D e a pontuação baseada em estrutura são regimes complementares em vez de competidores, com o HonestAffinity oferecendo uma alternativa rápida (~10 ms de inferência) e de baixo recurso para alvos que carecem de poses 3D de alta qualidade.