HonestAffinity: Leak-Aware Evaluation of Protein and Pocket Priors for Binding Affinity Prediction

Resumen Técnico: HonestAffinity

Planteamiento del Problema
El aprendizaje profundo basado en secuencias ofrece una alternativa escalable al puntaje basado en estructuras para la predicción de la afinidad de unión proteína-ligando, permitiendo el cribado a escala de bibliotecas para dianas sin estructuras resueltas. Sin embargo, el progreso en este campo es difícil de interpretar debido a dos fuentes primarias de incertidumbre:

1. Representación de la Proteína: No está claro si los modelos de lenguaje de proteínas preentrenados (PLM), como ESM-2, que codifican pistas evolutivas y estructurales, mejoran la predicción bajo una evaluación estricta de "no fuga" (no-leak) en comparación con las incrustaciones (embeddings) de residuos aprendidas.
2. Divisiones de Evaluación: Las divisiones estándar de PDBbind (general/refinada/núcleo) a menudo presentan fugas de clases de similitud proteína-ligando entre los conjuntos de entrenamiento y de prueba. Los modelos que se sobreajustan a estas clases pueden reportar un rendimiento sólido en benchmarks canónicos (p. ej., CASF-2016) mientras fallan en dianas disímiles. La reorganización LP-PDBBind libre de fugas aborda esto, pero ha tenido una adopción limitada en estudios basados solo en secuencias.

Metodología
Los autores introducen HonestAffinity, un predictor de afinidad de entrada 1D compacto diseñado como un banco de pruebas controlado para aislar los efectos de dos priors arquitectónicos comunes:

• Incrustaciones de ESM-2 Congeladas: Incrustaciones de 1280 dimensiones por residuo de un modelo de 650 millones de parámetros.
• Marcador de Posición de Bolsillo Aprendido: Una máscara binaria que indica los residuos del bolsillo.

La arquitectura utiliza un codificador de convolución 1D multiescala, un bloque residual, una única capa Transformer y un puntaje de compatibilidad de producto de matrices seguido de un cabezal MLP. La rama del ligando procesa cadenas SMILES utilizando un template similar.

Se evalúan tres variantes específicas del mismo template:

1. HonestAffinity-Pocket: Utiliza ESM-2 + marcador de bolsillo.
2. HonestAffinity-NoPocket: Utiliza ESM-2 únicamente (sin anotación de bolsillo).
3. HonestAffinity-Pocket-NoESM: Utiliza una incrustación de residuo aprendida de vocabulario de 21 + marcador de bolsillo (reemplazando a ESM-2).

Protocolo Experimental

• Entrenamiento: Todas las variantes se entrenan en 11,513 complejos LP-PDBBind en aproximadamente 3 horas de GPU en una sola Tesla V100. Los pesos de ESM-2 están congelados.
• Evaluación: Los modelos se comparan contra cinco baselines reproducidos (DeepDTA, Pafnucy, DeepDTAF, DEAttentionDTA, Multi-scale matrix-product) a través de:
  • Hold-out de 3 niveles de LP-PDBBind (test_cl1, test_cl2, test_cl3), que excluyen progresivamente pares proteína/ligando similares.
  • CASF-2016 (benchmark canónico de potencia de puntuación).
  • Un subconjunto de no-entrenamiento de CASF-2016 (161 entradas que no están en el split de entrenamiento de LP).
• Reporte: Cada método reporta la media ± la desviación estándar sobre tres semillas aleatorias. No se selecciona a mano un único "mejor run"; la selección del modelo se basa en el RMSE de validación dentro de cada semilla.

Resultos Clave
El hallazgo central es una reversión condicionada por el split, donde los componentes arquitectónicos que mejoran el rendimiento en splits familiares/canónicos degradan el rendimiento en niveles estrictos sin fuga:

1. Efecto del Marcador de Bolsillo:

   • Splits Canónicos (val, CASF-2016): Añadir el marcador de bolsillo mejora el Pearson R (p. ej., +0.042 en validación).
   • Splits Estrictos de LP (test_cl1–cl3): Añadir el marcador de bolsillo reduce el Pearson R (p. ej., -0.018 en test_cl1). La variante sin el marcador (HonestAffinity-NoPocket) supera a la variante con marcador en los niveles estrictos.

2. Efecto de ESM-2:

   • Splits Canónicos: El uso de incrustaciones de ESM-2 congeladas mejora el Pearson R (p. ej., +0.019 en validación).
   • Splits Estrictos de LP: El uso de ESM-2 reduce el Pearson R (p. ej., -0.024 en test_cl1). La variante que reemplaza a ESM-2 con incrustaciones aprendidas (HonestAffinity-Pocket-NoESM) logra el Pearson R medio más alto en los tres niveles estrictos de LP (test_cl1–cl3).

3. Rendimiento General:

   • HonestAffinity-Pocket logra el mejor Pearson R medio en validación, CASF-2016 y el subconjunto de no-entrenamiento de CASF-2016.
   • HonestAffinity-Pocket-NoESM logra el mejor Pearson R medio en cada nivel estricto sin fuga de LP (test_cl1–cl3), superando tanto a las variantes con ESM como al mejor baseline (DeepDTAF) en test_cl2 y test_cl3.

Significancia y Reivindicaciones
El artículo argumenta que los modelos de afinidad de unión no deben juzgarse mediante una única configuración global por defecto. En su lugar, los autores proponen:

• Ablaciones Pareadas: Reportar tanto la evaluación canónica como la libre de fugas es un chequeo de sanidad necesario. El reporte de un solo régimen oculta el hecho de que componentes como los marcadores de bolsillo y las características de los PLM pueden volverse contraproducentes cuando la distribución de prueba es disímil a la distribución de entrenamiento.
• Emparejamiento del Régimen de Despliegue: La variante óptima del modelo depende del contexto de despliegue:
  • Use HonestAffinity-Pocket para dianas familiares/anotadas donde el solapamiento de la distribución de entrenamiento es alto.
  • Use HonestAffinity-Pocket-NoESM para dianas de estilo estricto de LP con anotaciones de bolsillo.
  • Use HonestAffinity-NoPocket para dianas sin anotaciones de bolsillo.
• Mecanismo: Los autores sugieren que las características de los PLM y los marcadores de bolsillo actúan como sesgos inductivos hacia estructuras de la distribución de entrenamiento (firmas de familia, geometría del bolsillo). Estos sesgos son informativos cuando la diana de prueba se solapa con la familia de entrenamiento, pero se vuelden engañosos o poco informativos cuando el filtrado estricto de similitud elimina dicho solapamiento.

El artículo concluye que el puntaje aumentado por PLM de entrada 1D y el puntaje basado en estructura son regímenes complementarios en lugar de competidores, ofreciendo HonestAffinity una alternativa rápida (~10 ms de inferencia) y de bajos recursos para dianas que carecen de poses 3D de alta calidad.