🧬 biology

A z-averaged ensemble of three orthogonal models improves protein–ligand virtual screening on leakage-controlled benchmarks

Este artículo demuestra que un conjunto promediado en z de tres modelos de aprendizaje profundo representacionalmente ortogonales mejora significativamente el rendimiento del cribado virtual de proteína-ligando en evaluaciones de control de fuga mediante la consecución de una verdadera generalización fuera de la distribución, superando así las limitaciones de los enfoques de modelo único en dianas noveles.

Autores originales: Yuguang Mu, Yang Liu, weifeng li

Publicado 2026-07-06

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuguang Mu, Yang Liu, weifeng li

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

El Gran Problema: La Trampa de la "Hoja de Trucos"

Imagina que estás tomando un examen difícil para predecir qué fármacos funcionarán contra un virus específico. Durante años, los modelos computacionales han afirmado ser genios, obteniendo puntuaciones del 90% o más en exámenes de práctica.

Sin embargo, los investigadores descubrieron que estos modelos estaban haciendo trampa. Las pruebas de práctica (benchmarks) utilizaban "filtración por homología" (homology leakage). Esto es como darle a un estudiante un examen de práctica donde las preguntas son casi idénticas a las que estudió en su libro de texto. Los modelos no estaban aprendiendo realmente cómo encontrar nuevos fármacos; solo estaban memorizando patrones de proteínas que ya habían visto durante su entrenamiento.

Cuando los científicos crearon pruebas con "control de filtración" —donde el virus es completamente nuevo y no tiene parientes en los datos de entrenamiento del modelo— las puntuaciones de los modelos se desplomaron. Cayeron del 90% a aproximadamente un 70-75%. Resultó que intentar crear un único modelo superinteligente ya no estaba funcionando.

La Solución: El "Monstruo de Tres Cabezas"

En lugar de intentar construir un único modelo perfecto y superinteligente, los autores probaron un enfoque diferente: El Trabajo en Equipo.

Tomaron tres modelos existentes que fueron construidos de formas muy distintas y los combinaron. Piensa en esto como contratar a tres detectives diferentes para resolver un misterio:

Detective A (BIND-z): Mira únicamente el código genético de la proteína (la secuencia).
Detective B (SaProt-v2): Mira el código genético pero también presta atención a la forma tridimensional del "plegamiento" de la proteína.
Detective C (DrugCLIP): No mira el código en absoluto; en su lugar, observa la estructura física tridimensional del bolsillo de la proteína y la compara con la forma del fármaco.

Cómo los Combinaron: El Promedio de "Z-Score"

No puedes simplemente sumar sus puntuaciones porque hablan "lenguajes" diferentes. El Detective A podría dar una puntuación de 100, mientras que el Detective C da una de 0.5.

Los autores utilizaron un truco ingenioso llamado promedio de z-score.

La Analogía: Imagina tres jueces en un concurso de talentos. El Juez 1 es severo y da puntuaciones entre 1 y 5. El Juez 2 es permisivo y da entre 80 y 100. El Juez 3 es extraño y da entre -10 y +10.
Si solo sumas sus números, la opinión del Juez 2 dominará.
En su lugar, los autores preguntaron: "¿Qué tan mejor es este concursante respecto al promedio de este juez específico?"
Convirtieron cada puntuación en un "rango relativo" (un z-score) y luego tomaron el promedio. Esto dio a cada detective una voz igualitaria, independientemente de su estilo de puntuación.

Los Resultados: Por Qué Tres es Mejor que Uno

Cuando probaron este "equipo de tres detectives" en los virus nuevos y difíciles (los benchmarks con control de filtración), encontraron algo sorprendente:

No coincidían mucho: Los tres modelos a menudo daban respuestas diferentes para el mismo fármaco. Sus opiniones eran "ortogonales" (independientes). Cuando un modelo se confundía, los otros solían estar en lo cierto.
El Equipo Ganó: Al promediar sus opiniones independientes, el equipo mejoró la precisión en una cantidad pequeña pero estadísticamente significativa (de 0.817 a 0.834).
La Brecha de "Filtración" se Redujo: El equipo dependía menos de haber visto virus similares anteriormente. Añadir al tercer detective (DrugCLIP) hizo que todo el grupo fuera más robusto contra la "trampa" de la memorización.

La Conclusión Clave

El artículo argumenta que la diversidad es más importante que la potencia bruta.

Forma Antigua: Intentar construir un modelo gigante y supercapaz. (Esto se ha estancado).
Nueva Forma: Tomar tres modelos diferentes, de capacidad moderada, que miren el problema desde ángulos totalmente distintos y dejar que voten.

Debido a que los modelos cometen diferentes tipos de errores, el promedio logra cancelar dichos errores. El artículo concluye que para encontrar nuevos fármacos en objetivos verdaderamente novedosos, la ortogonalidad entre modelos (tener perspectivas diferentes) es el ingrediente secreto, no solo hacer los modelos más grandes o más inteligentes.

Lo Que No Reclamaron

No afirmaron que esto cure enfermedades o que funcione en un hospital todavía.
No afirmaron que esto funcione en todos los benchmarks posibles (de hecho, tuvo dificultades en un conjunto de datos específico llamado LIT-PCBA).
No afirmaron que añadir un cuarto modelo ayudaría definitivamente; sugieren que añadir un cuarto modelo que piense como los dos primeros sería inútil. Se necesita una nueva perspectiva para obtener más beneficios.

Resumen Técnico: Un conjunto de tres modelos ortogonales con promedio z para el cribado virtual de proteína-ligando

Planteamiento del problema
Los modelos de aprendizaje profundo para el cribado virtual (VS) de proteína-ligando han reportado un alto rendimiento (AUROC > 0.90) en benchmarks estandarizados como DUD-E. Sin embargo, los autores argumentan que estas métricas están infladas por dos modos principales de falla:

Fuga de homología secuencia-prueba (Training-Test Sequence Homology Leakage): La mayoría de las proteínas de los benchmarks tienen homólogos casi idénticos en los conjuntos de entrenamiento de los modelos entrenados con BindingDB o PDBBind. Los embeddings de los modelos de lenguaje de proteínas preentrenados hacen que la generalización sea trivial en estos casos, permitiendo que los modelos dependan de la homología en lugar de la verdadera física de unión.
Sesgo de señuelos (Decoy Bias): Los benchmarks como DUD-E contienen asimetrías estructurales donde los activos y los señuelos difieren en descriptores físico-químicos (p. ej., enlaces rotables, área de superficie polar), lo que permite que los clasificadores discriminen sin condicionarse a la proteína.

Cuando se evalúan en objetivos con "control de fuga" (donde la homología entrenamiento-prueba está estrictamente filtrada, p. ej., <30% de identidad), el rendimiento de un modelo único se estanca en el rango de 0.70–0.75 AUROC. Las mejoras arquitectónicas recientes (ajuste fino, capas conscientes del bolsillo, pérdidas contrastivas) no han logrado cerrar significativamente esta brecha en objetivos verdaderamente novedosos.

Metodología
Los autores proponen una estrategia de conjunto agnóstica al modelo y post-hoc, en lugar de construir un único modelo más complejo. El enfoque consiste en combinar tres modelos de puntuación representacionalmente ortogonales entrenados de forma independiente:

BIND-z: Un modelo basado solo en secuencias que utiliza un codificador ESM-2 congelado con atención cruzada y cabezales de afinidad Huber, entrenado en un subconjeto de BindingDB con filtrado de homología.
SaProt-v2: Un codificador de secuencias consciente de la estructura (SaProt-650M congelado con tokens AA+3Di) entrenado con una pérdida contrastiva InfoNCE y un cabezal de agrupación por atención.
DrugCLIP: Un modelo de recuperación tipo CLIP publicado que alinea características de átomos del bolsillo 3D (Uni-Mol) con características de ligandos 2D.

Estrategia de fusión:
Los modelos producen puntuaciones en diferentes escalas. Para combinarlas, los autores emplean una normalización z por objetivo. Para cada objetivo $t$ , la puntuación bruta $s_{m,t,i}$ para el ligando $i$ del modelo $m$ se normaliza:
$z_{m,t,i} = \frac{s_{m,t,i} - \mu_{m,t}}{\sigma_{m,t}}$
donde $\mu$ y $\sigma$ son la media y la desviación estándar de las puntuaciones del modelo sobre todos los ligandos para ese objetivo específico. Las puntuaciones del conjunto son:

ens2: Promedio de BIND-z y SaProt-v2.
ens3: Promedio de BIND-z, SaProt-v2 y DrugCLIP.

Contribuciones clave

Identificación de la ortogonalidad: Los autores demuestran que los tres modelos son débilmente correlacionados a nivel de ligando individual. La correlación de Pearson entre los dos modelos basados en secuencias (BIND-z y SaProt-v2) es $r \approx 0.22$ , mientras que DrugCLIP muestra una correlación cercana a cero ( $r \approx 0.05\text{--}0.08$ ) con cualquiera de los modelos de secuencia. Esto sugiere que DrugCLIP proporciona información genuinamente independiente.
Ganancia estadísticamente significativa: El conjunto de tres modelos (ens3) logra un AUROC medio de 0.834 en 204 evaluaciones combinadas de DUD-E y DUD-AD, comparado con 0.817 para el mejor conjunto de dos modelos (ens2). Esto representa una ganancia de +0.017 AUROC (t pareada $= 3.50$ , $p = 5.8 \times 10^{-4}$ ). La ganancia es direccionalmente consistente a través de seis benchmarks, incluyendo subconjuntos estrictos de control de fuga.
Reducción de la dependencia de la homología: El conjunto reduce la dependencia de la homología entrenamiento-prueba. La "brecha de fuga" (caída de rendimiento al pasar de objetivos ricos en homología a objetivos con control de fuga) es de +0.085 para ens3, frente a +0.091 para ens2. Esto indica que el conjunto generaliza mejor a objetivos fuera de la distribución.

Resultados

Rendimiento Zero-Shot: En el benchmark combinado primario ( $n=204$ ), ens3 supera a ens2 con alta significancia estadística. En subconjuntos estrictos de control de fuga (p. ej., DUD-E-strict, $n=7$ ), ens3 alcanza un AUROC de 0.779, una mejora significativa respecto a los modelos individuales, aunque la significancia estadística es limitada por el tamaño de la muestra.
Modos de falla: El conjunto no resuelve el benchmark LIT-PCBA (AUROC absoluto ~0.608), el cual está diseñado para ser resistente a los modelos actuales basados solo en secuencia o bolsillo.
Despliegue en distribución (In-Distribution): Cuando se evalúa en un régimen "en distribución" (donde los datos de entrenamiento incluyen homólogos de los objetivos de prueba), el conjunto (combinando una torre SaProt de todos los datos y BIND-full) sigue produciendo una ganancia de +0.012 a +0.015 en AUROC sobre el componente individual más fuerte, confirmando que la ortogonalidad beneficia el despliegue incluso sin las restricciones estrictas de zero-shot.
Límites del modelo único: Los autores probaron sistemáticamente mejoras en modelos únicos (ajuste fino del codificador, rediseño de bolsillos, alternativas de pérdida, capas conscientes de la pose) y encontraron que estas producían ganancias insignificantes o negativas en objetivos con control de fuga, sugiriendo que el cuello de botella es la distribución de entrenamiento, no la capacidad del modelo.

Significancia y afirmaciones
El artículo argumenta que la ortogonalidad inter-modelo, en lugar de la capacidad de un modelo único, es la palanca práctica para mejorar el cribado virtual en nuevas proteínas diana.

Mecanismo: La ganancia surge de la reducción de la varianza en estructuras de error estadísticamente casi independientes. Añadir un cuarto modelo con arquitectura similar (p. ej., otro clasificador basado en ESM) probablemente produciría rendimientos decrecientes debido a la alta correlación de error.
Implicación práctica: Una fusión post-hoc simple de modelos existentes y diversos es más efectiva que entrenar un modelo único más grande o complejo.
Benchmarking: Los autores abogan por el reporte rutinario de subconjuntos con "control de fuga" junto con los benchmarks estándar para distinguir entre memorización y verdadera generalización.
Alcance: El conjunto se presenta como una solución robusta para objetivos que carecen de homólogos cercanos en el entrenamiento, mientras que se recomienda un "conjunto de despliegue" separado (usando datos de entrenamiento sin filtrar) para escenarios donde los homólogos están disponibles y el costo de inferencia es una preocupación secundaria.

Los autores concluyen que el camino hacia un cribado virtual confiable reside en la combinación de señales diversas y ortogonales, en lugar de perseguir incrementos incrementales en la capacidad arquitectónica dentro de una misma familia de modelos.