A Large-Scale Dataset and Benchmark: Do Protein-Ligand Models Learn Binding Sites or Just Binding Likelihood?

Resumen Técnico: InteractBind – Un Conjunto de Datos y un Punto de Referencia a Gran Escala para la Localización de Sitios de Unión Proteína-Ligando

Enunciado del Problema
El modelado de proteínas y ligandos es central para el descubrimiento computacional de fármacos; sin embargo, los puntos de referencia existentes evalúan principalmente los modelos en la predicción binaria de unión (¿ocurre la interacción?) o en la regresión de afinidad de unión (¿cuán fuerte es la interacción?). Estas tareas miden si un modelo predice la ocurrencia o la fuerza de la unión, pero proporcionan evidencia limitada sobre si los modelos pueden localizar sitios de unión específicos o identificar las interacciones no covalentes subyacentes que impulsan el reconocimiento molecular. Los conjuntos de datos basados en secuencias actuales rara vez ofrecen anotaciones de interacción a nivel de residuo a gran escala, lo que dificulta determinar si los mapas de interacción aprendidos capturan genuinamente patrones de contacto fisicoquímicos o simplemente se correlacionan con etiquetas de unión binarias. En consecuencia, existe una falta de evaluación sistemática de la capacidad de los modelos para localizar residuos de unión y distinguir entre diferentes tipos de interacciones no covalentes.

Metodología
Para abordar esta brecha, los autores introducen InteractBind, un conjunto de datos y un punto de referencia a gran escala para proteínas y ligandos derivados de complejos resueltos experimentalmente en el Protein Data Bank (PDB).

• Construcción del Conjunto de Datos: El conjunto de datos comprende aproximadamente 100.000 pares proteína-ligando que cubren ~11.000 proteínas únicas y ~9.000 ligandos únicos. Para cada par, los autores generan:

  • Representaciones de Secuencia: Secuencias FASTA canónicas y secuencias conscientes de la estructura (SA) para proteínas; SMILES y SELFIES para ligandos.
  • Anotaciones de Interacción: Utilizando herramientas como PLIP y GetContacts, los autores detectan seis tipos principales de interacciones no covalentes: enlaces de hidrógeno, puentes salinos, apilamiento $\pi$–$\pi$, interacciones catión–$\pi$, contactos hidrofóbicos y fuerzas de van der Waals.
  • Mapas de Interacción: Estas interacciones se proyectan sobre mapas a nivel de secuencia, creando matrices $m \times n$ (átomos de ligando $\times$ residuos de proteína) con puntuaciones de interacción ponderadas. Un mapa agregado define el sitio de unión de la proteína (residuos que participan en al menos una interacción).
  • Etiquetas: Etiquetas de unión binarias (derivadas de puntuaciones de afinidad basadas en acoplamiento: $\le -7$ kcal/mol como positivo, $> -5$ kcal/mol como negativo) y valores de afinidad.

• Diseño del Punto de Referencia:

  • Tarea Principal: Localización del sitio de unión. La métrica de evaluación principal es la Tasa de Aciertos de Residuos de Unión en Top-K (BRHR@K), que mide si los residuos de proteína predichos en los primeros $K$ se superponen con los residuos de unión reales.
  • Divisiones: Para garantizar una evaluación realista de la generalización, el conjunto de datos incluye:
    • Dentro de la Distribución (ID): Una división consciente de la afinidad utilizando validación cruzada de 5 pliegues.
    • Fuera de la Distribución (OOD): Cuatro divisiones controladas por similitud de proteínas (similitud máxima entrenamiento-prueba de 25%, 28%, 31%, 33%) para evaluar el rendimiento en objetivos proteicos menos familiares.
  • Líneas Base: Se evaluaron ocho modelos representativos basados en secuencias y conscientes de la interacción (por ejemplo, MolTrans, TransformerCPI, DrugBAN, FusionDTI).

Contribuciones Clave

1. Conjunto de Datos InteractBind: Un nuevo recurso a gran escala que proporciona no solo etiquetas binarias y puntuaciones de afinidad, sino también anotaciones de sitios de unión a nivel de residuo y seis mapas distintos de interacciones no covalentes.
2. Paradigma de Evaluación de Alta Resolución: La formulación de la localización del sitio de unión como una tarea principal, respaldada por métricas BRHR y análisis específico del tipo de interacción, avanzando más allá de los resultados a nivel de par.
3. Evaluación Sistemática: La evaluación de ocho modelos de última generación revela que, aunque las arquitecturas conscientes de la interacción muestran señales medibles de localización del sitio de unión, existe un espacio sustancial para la mejora, particularmente en la identificación de patrones de contacto fisicoquímicos específicos.

Resultados

• Rendimiento Binario vs. Localización: Existe una discrepancia significativa entre la predicción binaria de unión y la localización del sitio de unión. El mejor modelo, FusionDTI, logró un 98,3% de AUROC para la predicción binaria, pero solo un 21,6% de BRHR@1 para la localización del sitio de unión. Esto indica que una fuerte predicción binaria no garantiza la identificación fiable de los residuos específicos involucrados en la unión.
• Variabilidad por Tipo de Interacción: El rendimiento varía marcadamente entre los tipos de interacciones no covalentes. Los modelos localizan contactos comunes y espacialmente amplios (van der Waals, hidrofóbicos, enlaces de hidrógeno) de manera más efectiva (por ejemplo, FusionDTI alcanzó 33% de BRHR@5 para van der Waals) que arreglos geométricos específicos como el apilamiento $\pi$–$\pi$ (18,2%) y las interacciones catión–$\pi$ (~16,1%).
• Generalización: Bajo divisiones OOD controladas por similitud de proteínas, el rendimiento tanto para la predicción binaria como para la localización del sitio de unión disminuye a medida que disminuye la similitud entre las proteínas de entrenamiento y prueba, destacando la dificultad de localizar sitios de unión para objetivos proteicos novedosos. La similitud de ligandos tuvo un efecto comparativamente menor en el rendimiento.

Significado y Afirmaciones
El artículo afirma que InteractBind establece un nuevo paradigma de punto de referencia que fomenta el desarrollo de modelos proteína-ligando más interpretables y fundamentados físicamente. Los autores argumentan que los modelos actuales a menudo dependen de correlaciones específicas del conjunto de datos para predecir la ocurrencia de la unión sin aprender verdaderamente los determinantes mecánicos del reconocimiento molecular. Al proporcionar supervisión explícita a nivel de residuo y anotaciones específicas del tipo de interacción, InteractBind permite una evaluación sistemática de si los modelos localizan sitios de unión e identifican las interacciones no covalentes que los estabilizan. Los resultados sugieren que, aunque los modelos actuales conscientes de la interacción capturan algunas señales del sitio de unión, aún no son fiables para la localización de alta resolución, particularmente para tipos de interacción específicos o objetivos proteicos novedosos. Los autores posicionan este trabajo como un paso hacia el cambio de la evaluación desde métricas de solo resultados hacia una evaluación de alta resolución, lo cual es crítico para mejorar la fiabilidad de las tuberías de descubrimiento computacional de fármacos y evitar conclusiones biológicas engañosas.

Limitaciones
Los autores señalan explícitamente que el punto de referencia actual se centra en la evaluación a nivel de secuencia y aún no incluye un punto de referencia a nivel de estructura. Reconocen que extender la evaluación a estructuras 3D es un desafío debido a la ambigüedad de la pose y la flexibilidad conformacional, lo cual puede introducir ruido y reducir la interpretabilidad en comparación con la evaluación basada en secuencias a nivel de residuo.