🧬 biology

ShallowBench: Benchmarking Generative Drug Design Models on Shallow-Pocket Targets

Este artículo presenta ShallowBench, un conjunto de referencia curado de 5.780 dianas de bolsillos poco profundos, para evaluar y exponer las limitaciones de los modelos actuales de IA generativa en el diseño de ligandos para interfaces de baja concavidad históricamente "no tratables" como KRAS y MYC.

Autores originales: Saket Reddy, Shiwei Liu

Publicado 2026-06-08

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Saket Reddy, Shiwei Liu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Imagina que eres un maestro arquitecto intentando diseñar una llave personalizada que encaje perfectamente en una cerradura específica. Durante décadas, los mejores arquitectos (modelos de IA) han sido entrenados para construir llaves para cerraduras profundas, como cuevas. Estas cuevas son fáciles de trabajar porque las paredes rodean la llave por todos lados, proporcionando al arquitecto límites claros que seguir. La IA aprende a "acurrucar" la llave dentro de estos agujeros profundos, creando un ajuste apretado y seguro.

Sin embargo, en el mundo real de la medicina, muchas de las "cerraduras" más peligrosas (objetivos de enfermedades como KRAS y MYC) no son cuevas profundas, sino que son superficies planas y abiertas, como una mesa o una pared lisa. Estos son los objetivos "indrogables" que históricamente han sido imposibles de tratar.

Este artículo presenta un nuevo campo de pruebas llamado ShallowBench para ver qué tan bien nuestros arquitectos de IA pueden diseñar llaves para estas superficies planas.

El Problema: La Lucha con la "Superficie Plana"

Los autores descubrieron que los modelos de IA actuales son como arquitectos que solo han construido llaves para cuevas. Cuando les pides que diseñen una llave para una mesa plana:

Se pierden: Sin las paredes profundas que los guíen, la IA no sabe dónde colocar la llave. La llave podría simplemente "flotar" en el aire sobre la mesa en lugar de pegarse a ella.
Cometen errores: La IA tiene dificultades para mantener la llave unida correctamente, creando a veces formas que no tienen sentido químico.
Pierden su agarre: Incluso cuando lo intentan, la llave no se adhiere tan bien como lo hace en una cueva.

Cómo Construyeron la Prueba (ShallowBench)

Para demostrar esto, los investigadores necesitaban una prueba justa. No podían usar los conjuntos de datos antiguos porque estaban llenos de cuevas profundas. Así que crearon un nuevo conjunto de datos llamado ShallowBench a partir de una enorme biblioteca de 166,500 estructuras de proteínas.

Utilizaron un ingenioso truco de "medición de volumen" para encontrar las que eran planas:

Imagina colocar una tapa transparente y abovedada sobre la superficie de una proteína.
Calcularon el espacio dentro de la tapa frente al espacio ocupado por los átomos de la proteína.
Si la diferencia (el "espacio vacío" bajo la tapa) era pequeña, significaba que la superficie era plana y poco profunda.
Filtraron las cuevas profundas y conservaron 5,780 objetivos planos que aún tenían suficiente área superficial para albergar un fármaco.

Luego dividieron esto en un conjunto de "entrenamiento" y uno de "prueba", asegurándose de que la IA no pudiera hacer trampa memorizando proteínas similares.

Los Resultados: La IA Tropieza

Los investigadores probaron tres modelos de IA de alto nivel en esta nueva prueba de superficie plana. Esto es lo que sucedió:

Los Modelos de "Cueva" Fallaron: Todos los modelos tuvieron un desempeño peor en las superficies planas que en las cuejas profundas. Su capacidad predicha para "pegarse" al objetivo disminuyó significamente.
El Problema de lo "Flotante": Un modelo (TargetDiff) intentó abrazar la superficie plana, pero terminó creando llaves químicamente rotas (moléculas que no funcionarían en la vida real). Estaba tan desesperado por ajustarse a la forma que olvidó las reglas de la química.
El Problema de "Válido pero Flojo": Otro modelo (DiffSBDD) creó llaves químicamente válidas y perfectas, pero eran tan sueltas y sin forma que no encajaban en absoluto con la superficie plana. Era como hacer una llave perfecta pero ponerla en el lado equivocado de la mesa.
El Modelo de "Puntuación": Un tercer modelo (SimpleSBDD) fue el mejor al adherirse, pero no estaba realmente "diseñando" llaves nuevas desde cero; simplemente estaba eligiendo las existentes de una biblioteca que casualmente encajaba bien.

La Conclusión

El artículo concluye que, si bien la IA es increíble para diseñar fármacos para cavidades profundas como cuevas, actualmente es ciega a las superficies planas.

Los autores sugieren que, para solucionar esto, no podemos limitarnos a seguir entrenando de la misma manera. Necesitamos:

Enseñar a la IA de forma diferente: Mostrarle más ejemplos de superficies planas durante el entrenamiento.
Cambiar las reglas: Crear nuevas "funciones de pérdida" (reglas que la IA intenta minimizar) que la castiguen por dejar que la llave "flote" lejos de la superficie plana.
Construir nuevas herramientas: Tal vez la IA necesite aprender a mirar todo el paisaje proteico, no solo el agujero inmediato, para entender cómo anclar un fármaco a una pared plana.

En resumen: Nuestra IA de diseño de fármacos es una gran exploradora de cuevas, pero actualmente es terrible construyendo sobre terreno plano. ShallowBench es el mapa que nos muestra exactamente dónde está fallando, para que podamos construir mejores herramientas para abordar las enfermedades "indrogables".

Resumen Técnico: ShallowBench

Planteamiento del Problema

Los modelos de IA generativa han alcanzado un éxito significativo en el diseño de fármacos basado en la estructura (SBDD, por sus siglas en inglés), particularmente en la generación de ligandos químicamente válidos y de alta afinidad para dianas con bolsillos de unión profundos y estructuralmente definidos. Estos cavidades profundas proporcionan restricciones geométricas claras y una amplia superficie para interacciones de Van der Waals, lo que ancla eficazmente las coordenadas generadas. Sin embargo, persiste una vulnerabilidad crítica: estos modelos tienen dificultades para generar ligandos efectivos para superficies proteicas poco profundas o intrínsecamente desordenadas.

Muchas dianas terapéuticas de alta prioridad, como las dianas oncológicas KRAS y MYC, carecen de bolsillos de unión de alta concavidad tradicional. Los ligandos que intentan unirse a estas interfaces planas enfrentan una mayor competencia del solvente voluminoso, carecen de envoltorios estructurales bien definidos y sufren de áreas de contacto dispersas. Además, los conjuntos de datos de referencia estándar (por ejemplo, CrossDocked2020, PDBbind) están dominados por dianas de bolsillos profundos, lo que conduce a un sesgo de entrenamiento y evaluación donde los modelos aprenden distribuciones sesgadas. En consecuencia, la degradación del rendimiento de los modelos de SBDD de vanguardia en superficies planas permanece sin cuantificar, lo que impide el desarrollo de arquitecturas capaces de abordar estos objetivos "no tratables" (undruggable).

Metodología

Curación del Conjunto de Datos: ShallowBench

Para abordar la falta de un benchmark dedicado para dianas poco profundas, los autores curaron ShallowBench, un conjunto de datos de 5,780 dianas de bolsillos poco profundos extraídos del conjunto de datos CrossDocked2020. El proceso de curación involucró un riguroso enfoque volumétrico de dos pasos para aislar interfaces con baja concavidad asegurando al mismo tiempo una superficie suficiente para la unión:

Cálculo de Volumen: Para cada complejo proteína-ligando, el entorno de unión local se definió extrayendo los átomos de la proteína dentro de un radio de 8.0 Å del centro de masa (COM) del ligando nativo.
Métrica de Concavidad: Los autores definieron la concavidad como la diferencia entre dos volúmenes:
- $V_{atom}$ : El volumen ocupado estrictamente por los átomos de la proteína, mapeado a una rejilla de vóxeles 3D (tamaño de vóxel de 1.0 Å).
- $V_{lid}$ : Un volumen de cobertura generado por una malla de Alpha Shape (usando $\alpha = 0.15$ ) que actúa como una "tapa" simulada sobre la interfaz.
- Fórmula: $\text{Concavidad} = V_{lid} - V_{atom}$ .
Criterios de Filtrado: Las dianas fueron seleccionadas si cumplían con un límite superior estricto de Concavidad < 500.0 Å³** y un límite inferior de **Superficie de Área > 50.0 Å² (calculada usando una rejilla de vóxeles de 2.0 Å). Este proceso redujo el conjunto inicial de 166,500 dianas a 5,780.

División de Datos y Control

División de Entrenamiento/Prueba: Para evitar la fuga de datos (data leakage), el conjunto de datos se dividió basándose en el agrupamiento por identidad de secuencia del 30%. Esto resultó en 4,995 dianas de entrenamiento y 785 dianas de prueba, asegurando que ninguna diana de prueba comparta una homología significativa con el conjunto de entrenamiento.
Conjunto de Control: Se creó un conjunto de control estructuralmente diverso de 5,780 dianas a partir de CrossDocked2020 mediante un muestreo estratificado round-robin. Este conjunto refleja el tamaño de ShallowBench, pero representa la distribución estándar de dianas de bolsillos profundos, permitiendo una evaluación comparativa uno a uno.

Marco de Evaluación

Los autores evaluaron tres modelos de SBDD generativos de vanguardia—DiffSBDD, SimpleSBDD y TargetDiff—tanto en ShallowBench como en los conjuntos de datos de control sin ajuste fino (fine-tuning). La evaluación utilizó las siguientes métricas:

Validez Química: Proporción de moléculas que pasan las comprobaciones de valencia, aromaticidad y sanitización (RDKit).
QED Medio: Estimación Cuantitativa de la Similitud con Fármacos (Druglikeness).
Afinidad Vina: Energía de unión predicha (kcal/mol) mediante AutoDock Vina.
Complementariedad de Forma (Sc): Ajuste geométrico entre el ligando y la proteína (algoritmo SCASA), que sirve como un control negativo para confirmar el éxito del filtrado de superficie poco profunda.

Resultados Clave

La evaluación reveló una disminución sistemática en el rendimiento de los modelos al transicionar de los controles de bolsillos profundos a las dianas de bolsillos poco profundos:

Disminución Sistemática de la Afinidad de Unión: Todos los modelos exhibieron afinidades de unión predichas más débiles en ShallowBench. Por ejemplo, la afinidad media de Vina de TargetDiff cayó de -7.33 kcal/mol (control) a -5.26 kcal/mol (ShallowBench). SimpleSBDD también cayó de -7.52 a -6.47 kcal/mol.
Compromisos en SimpleSBDD: SimpleSBDD logró las afinidades de Vina más fuertes en ambos conjuntos de datos, pero a costa de una menor Complementariedad de Forma (Sc) y validez química (~85%). Su rendimiento sugiere que funciona más como un filtro de puntuación para librerías de similitud con fármacos que como un generador 3D de novo puro.
Señal Condicional Débil de DiffSBDD: Aunque DiffSBDD mantuvo una alta validez química (~~98%), produjo moléculas con una Complementariedad de Forma casi nula y puntuaciones de QED bajas (~~0.25). Esto indica una señal condicional débil, donde el modelo genera moléculas válidas que no logran anclarse eficazmente a la geometría del bolsillo poco profundo.
Degradación de la Validez de TargetDiff: TargetDiff mostró una fuerte disminución en la validez química, cayendo del 87.51% en el conjunto de datos de control al 79.71% en ShallowBench. Esto sugiere que el proceso de difusión tiene dificultades para imponer el ensamblaje molecular fundamental cuando las restricciones de la proteína 3D son dispersas.
Anomalía de la Complementariedad de Forma: Mientras que DiffSBDD y SimpleSBDD cayeron a una Sc cercana a cero en superficies poco profundas, TargetDiff mantuvo una Sc relativamente alta (0.6088). Esto implica que TargetDiff intenta conformarse más agresivamente a la topología de la superficie, incluso si compromete la validez química.

Significado y Contribuciones

El artículo posiciona a ShallowBench como una herramienta necesaria para exponer las limitaciones de los modelos actuales de biología generativa. Los autores afirman las siguientes contribaciones:

Creación de un Benchmark: La introducción de un benchmark estrictamente curado de 5,780 dianas de bolsillos poco profundos, llenando un vacío crítico en el campo donde anteriormente no existía un conjunto de datos grande y dedicado para dianas de baja concavidad.
Innovación Metodológica: El desarrollo de un enfoque volumétrico de dos pasos utilizando cálculos de "tapa" de Alpha Shape para aislar eficazmente las interfaces de baja concavidad preservando al mismo tiempo el área de superficie relevante para la unión.
Provisión de Recursos: La publicación de un conjunto de datos de entrenamiento y prueba rigurosamente dividido (vía Hugging Face) diseñado para prevenir la fuga de homología, permitiendo a los investigadores realizar ajustes finos específicamente para dianas desafiantes.
Evidencia Empírica de Vulnerabilidad: La demostración de que los modelos de SBDD de vanguardia sufren una degradación sistemática del rendimiento en superficies planas. Los resultados resaltan que las arquitecturas actuales, entrenadas con sesgos de bolsillos profundos, tienen dificultades para navegar sitios de unión no tradicionales, lo que requiere nuevas innovaciones arquitectónicas o funciones de pérdida.

Los autores concluyen que ShallowBench proporciona una base rigurosa para evaluar modelos generativos y subraya la necesidad urgente de avances arquitectónicos capaces de manejar las restricciones físicas únicas de las dianas de bolsillos poco profundos.