PoseBusters: AI-based docking methods fail to generate physically valid poses or generalise to novel sequences

Este artículo presenta PoseBusters, una herramienta de validación que demuestra que los métodos actuales de acoplamiento proteína-ligando basados en aprendizaje profundo a menudo fallan al generar estructuras físicamente plausibles o al generalizar a secuencias novedosas, rindiendo así por debajo de las herramientas de acoplamiento clásicas que incorporan mejor los principios físicos esenciales.

Lo esencial

Imagina que estás intentando encontrar la llave perfecta para encajar en una cerradura muy específica y compleja. En el mundo del descubrimiento de fármacos, la "cerradura" es una proteína en tu cuerpo, y la "llave" es una medicina potencial (una molécula). El proceso de averiguar exactamente cómo esa llave encaja en la cerradura se llama acoplamiento (docking).

Durante años, los científicos han utilizado programas informáticos tradicionales basados en reglas para hacer esto. Recientemente, ha llegado una nueva ola de programas de "IA" (Aprendizaje Profundo), que prometen hacer el trabajo de forma más rápida y mejor. Estos modelos de IA son como estudiantes brillantes que se han memorizado millones de ejemplos de llaves y cerraduras.

Sin embargo, un nuevo estudio llamado PoseBusters sugiere que, si bien estos estudiantes de IA son muy buenos memorizando la forma de la llave, son terribles entendiendo la física de cómo funciona realmente.

Aquí tienes un desglose sencillo de lo que encontró el artículo:

1. La trampa del "RMSD": Parecer bueno en el papel

Los científicos suelen juzgar qué tan bien funciona un programa de acoplamiento midiendo el RMSD. Piensa en el RMSD como una regla. Si la IA predice dónde va la llave, y esa predicción está dentro de 2 milímetros (Angstroms) de donde la llave se sitúa realmente en una foto de la vida real (una estructura cristalina), la IA obtiene una nota de aprobado.

El artículo encontró que muchos programas de IA obtienen puntuaciones altas en esta prueba de la regla. Dicen: "¡Mira! ¡Somos un 90% precisos!".

2. La prueba de realidad: La llave "imposible"

El problema es que estos programas de IA están tan concentrados en coincidir con la medida de la regla que, a veces, crean llaves físicamente imposibles.

Imagina que la IA predice una llave que:

• Tiene un enlace (una conexión entre átomos) que está tan estirado que se rompería como una rama seca.
• Tiene una forma de anillo que está retorcida como un pretzel, a pesar de que la química dice que debería ser plana como un panqueque.
• Tiene dos partes de la llave chocando entre sí, como dos coches intentando pasar por la misma puerta al mismo tiempo.

El artículo llama a esto "físicamente implausible". Es como si la IA dibujara la imagen de una llave que se ve bien desde la distancia, pero si intentaras construirla, se desarmaría o rompería la cerradura.

3. Entra PoseBusters: El inspector

Para atrapar estas malas predicciones, los autores construyeron una herramienta llamada PoseBusters. Piensa en PoseBusters como un estricto inspector de edificios o un gerente de control de calidad.

En lugar de solo medir la regla (RMSD), PoseBusters comprueba las "leyes de la física" para cada predicción:

• Validez Química: ¿Tiene sentido la molécula químicamente? (por ejemplo, ¿es correcta la carga? ¿están los átomos conectados correctamente?)
• Geometría: ¿Son los anillos planos? ¿Tienen los enlaces la longitud adecuada?
• Choques (Clashes): ¿Chocó la llave contra la cerradura u otras partes de la máquina?

Si una predicción falla estas comprobaciones, se marca como "inválida", sin importar lo buena que fuera la medida de la regla.

4. La gran revelación: Lo viejo vs. lo nuevo

Los investigadores probaron cinco nuevos métodos de acoplamiento de IA frente a dos métodos tradicionales más antiguos (AutoDock Vina y Gold).

• En cerraduras familiares (Datos de entrenamiento): Cuando la IA fue probada en cerraduras que ya había visto durante su entrenamiento, se veía increíble en la prueba de la regla. Una IA (DiffDock) parecía superar a los métodos antiguos.
• El filtro de la "Física": Pero cuando PoseBusters comprobó la física, el rendimiento de la IA cayó drásticamente. Muchas de sus predicciones "perfectas" eran en realidad estructuras imposibles. Los métodos antiguos y tradicionales, aunque un poco más lentos, producían llaves que eran precisas y físicamente posibles.
• En cerraduras nuevas y desconocidas (Generalización): Cuando los investigadores probaron la IA en cerraduras completamente nuevas (un "Conjunto de Referencia"), la IA tuvo grandes dificultades. No pudo generalizar. Los métodos antiguos, que dependen de reglas físicas en lugar de solo memorización de patrones, manejaron estas nuevas cerraduras mucho mejor.

5. El "ajuste" no lo arregla todo

Los autores intentaron ayudar a la IA añadiendo un paso de "pulido" después de la predicción, utilizando un motor de física (llamado campo de fuerza) para suavizar las formas extrañas.

• El resultado: Esto ayudó a la IA a arreglar algunas de sus llaves rotas, pero no las hizo mejores que los métodos tradicionales antiguos. Los métodos antiguos ya estaban partiendo de una base sólida; la IA tenía que intentar reparar una base rota.

La conclusión final

El artículo concluye que los métodos de acoplamiento basados en IA aún no están listos para reemplazar a las herramientas tradicionales.

Aunque son rápidos y pueden adivinar la ubicación correcta, a menudo ignoran las leyes básicas de la química y la física. Para ser verdaderamente "de vanguardia", un método necesita pasar dos pruebas:

1. La prueba de la regla: ¿Está en el lugar correcto?
2. La prueba de la física: ¿Es un objeto real y construible?

Actualmente, los métodos tradicionales pasan ambas. Los métodos de IA pasan la primera, pero a menudo fallan la segunda. Los autores esperan que, mediante el uso de su herramienta "PoseBusters", los desarrolladores puedan arreglar estos modelos de IA para que entiendan mejor la física, conduciendo a predicciones de fármacos verdaderamente precisas en el futuro.

Resumen técnico

Problema
En años recientes ha surgido un número considerable de métodos de acoplamiento (docking) de proteína-ligando basados en aprendizaje profundo (DL), los cuales prometen mejoras significativas en velocidad y precisión para el descubrimiento de fármacos basado en la estructura. Sin embargo, se ha identificado una falla crítica: aunque estos métodos suelen reportar un rendimiento de vanguardia basado en la desviación de la raíz cuadrática media (RMSD) de los modos de unión predichos con respecto a las estructuras cristalinas, frecuentemente generan estructuras moleculares físicamente implausibles. Estas estructuras pueden violar reglas químicas fundamentales, tales como longitudes de enlace incorrectas, anillos aromáticos distorsionados o choques estéricos severos entre el ligando y la proteína. En consecuencia, evaluar los métodos de docking únicamente mediante RMSD es insuficiente, particularmente para los enfoques basados en DL que pueden carecer de los "sesgos inductivos" inherentes a los métodos clásicos basados en la física para asegurar la consistencia química y el realismo físico.

Metodología
Para abordar esta brecha, los autores presentan PoseBusters, un paquete de Python que utiliza el kit de herramientas de quimioinformática RDKit para realizar un conjunto exhaustivo de controles de calidad sobre las predicciones de docking. El conjunto de pruebas valida tres categorías de propiedades:

1. Validez Química y Consistencia: Los controles incluyen la sanitización de RDKit, la preservación de la fórmula molecular, la conectividad de los enlaces, la quiralidad tetraédrica y la estereoquímica de doble enlace en relación con el ligando de entrada.
2. Validez Intramolecular: Este grupo evalúa la plausibilidad física del propio ligando, incluyendo longitudes y ángulos de enlace (dentro del 25% de los límites de la geometría de distancia), la planariedad de anillos aromáticos y dobles enlaces (dentro de 0.25 Å), choques estéricos internos y relaciones de energía conformacional (utilizando el Campo de Fuerza Universal, UFF).
3. Validez Intermolecular: Este grupo evalúa las interacciones entre el ligando y su entorno, verificando choques entre proteína-ligando y ligando-cofactor basados en los radios de van der Waals (con un umbral de 0.75) y el solapamiento de volumen (limitando la intersección a <7.5%).

Los autores aplicaron PoseBusters para evaluar siete métodos de docking: cinco enfoques basados en DL (DeepDock, DiffDock, EquiBind, TankBind y Uni-Mol) y dos métodos clásicos establecidos (AutoDock Vina y CCDC Gold). La evaluación se realizó en dos conjuntos de datos:

• Astex Diverse Set: Un benchmark estándar que contiene 85 complejos, muchos de los cuales se solapan con los datos de entrenamiento de los métodos de DL.
• PoseBusters Benchmark Set: Un nuevo y riguroso conjunto de prueba de 308 complejos de alta calidad publicado después de 2021, lo que asegura que no hay solapamiento con los datos de entrenamiento (PDBbind General Set v2020) de los métodos de DL probados. Este conjunto se utilizó para evaluar la generalización a nuevas secuencias y estructuras.

Además, los autores realizaron una minimización de energía post-docking utilizando campos de fuerza de mecánica molecular (AMBER ff14sb y Sage) en las predicciones de DL para determinar si la plausibilidad física podía recuperarse mediante el refinamiento clásico.

Contribuciones Clave

• Suite de Pruebas PoseBusters: El desarrollo de una herramienta de código abierto que identifica sistemáticamente poses de ligandos químicamente inconsistentes y físicamente implausibles, yendo más allá de las simples métricas de RMSD.
• Benchmarking Riguroso: Un análisis comparativo que demuestra que los métodos actuales de docking basados en DL fallan al generalizar a secuencias novedosas y a menudo producen estructuras inválidas, incluso cuando logran puntuaciones de RMSD bajas.
• Identificación de la Física Ausente: Evidencia de que los métodos de DL carecen de sesgos inductivos específicos respecto a la geometría química y las restricciones estéricas, los cuales están codificados naturalmente en los campos de fuerza clásicos.

Resultados

• Desempeño en el Astex Diverse Set: Aunque DiffDock pareció superior basándose únicamente en RMSD (72% de las predicciones dentro de 2 Å), su desempeño cayó significamente cuando se consideró la plausibilidad física (47% PB-válido). Los métodos clásicos (Gold y AutoDock Vina) superaron a todos los métodos de DL cuando se requirieron tanto el RMSD como la validez física.
• Desempeño en el PoseBusters Benchmark Set: En estos datos no vistos, la brecha se amplió. Gold y AutoDock Vina se mantuvieron como los mejores exponentes. El mejor método de DL, DiffDock, logró solo un 12% de validez PB, mientras que casi todos los demás métodos de DL (EquiBind, Uni-Mol, TankBind) generaron casi ninguna pose físicamente válida.
• Generalización y Sobreajuste: Los métodos de DL funcionaron significativamente peor en proteínas con baja identidad de secuencia (<30%) con sus conjuntos de entrenamiento, lo que sugiere un sobreajuste severo a los objetivos de entrenamiento.
• Impacto de la Minimización de Energía: La aplicación de la minimización de energía post-docking mejoró significativamente la plausibilidad física de las predicciones de DL (aumentando el número de poses válidas), indicando que los campos de fuerza contienen la física relevante para el docking que falta en los modelos actuales de DL. Sin embargo, incluso con este refinamiento, los métodos de DL no superaron a las herramientas clásicas.
• Modos de Falla Específicos: El estudio identificó patrones de falla distintos para cada método de DL, tales como TankBind pasando por alto la estereoquímica, Uni-Mol prediciendo longitudes de enlace no estándar y EquiBind generando choques proteína-ligando.

Significancia
El artículo argumenta que el estándar actual de evaluar los métodos de docking únicamente mediante RMSD es inadecuado y engañoso. Postula que para que un método sea considerado "de vanguardia", debe no solo predecir modos de unión similares al nativo, sino también generar estructuras químicamente consistentes y físicamente plausibles. Los autores afirman que PoseBusters proporciona un marco necesario para identificar los sesgos inductivos faltantes en los modelos de aprendizaje profundo. Al resaltar que los métodos de DL actuales aún no superan a las herramientas de docking clásicas cuando se tiene en cuenta el realismo físico, el trabajo busca impulsar el desarrollo de métodos de predicción más precisos y realistas que integren la velocidad del aprendizaje profundo con el rigor físico de los campos de fuerza clásicos.