Resumen Técnico: FlexRibbon

Planteamiento del Problema

Los modelos fundacionales de proteínas (PFMs) han avanzado rápidamente, pero generalmente caen en dos paradigmas dominantes con limitaciones distintas. Los modelos de lenguaje basados en secuencias (p. ej., ESM-2, ProtT5) capturan la semántica de la secuencia a escala, pero carecen de relevancia física e información geométrica tridimensional, lo que limita su capacidad para modelar la base estructural de la función proteica. Por el contrario, los predictores basados en MSA (p. ej., AlphaFold 2/3) alcanzan una alta precisión explotando acoplamientos evolutivos, pero dependen fuertemente de secuencias homólogas. Esta dependencia los hace menos fiables en regímenes con alineamientos dispersos, regiones altamente mutadas o interfaces flexibles (como los bucles CDR de anticuerpos y las regiones intrínsecamente desordenadas). Además, los modelos conjuntos existentes suelen tratar la estructura como una señal auxiliar en lugar de modelarla bidireccionalmente, o sufren cuellos de botella de memoria al intentar el aprendizaje estructural de átomo completo junto con la semántica de la secuencia.

Metodología

FlexRibbon es un modelo de proteína preentrenado de 3 mil millones de parámetros diseñado para aprender conjuntamente de secuencias de aminoácidos y estructuras tridimensionales sin requerir Alineamientos de Secuencias Múltiples (MSAs).

1. Estrategia de Preentrenamiento

La innovación central es un objetivo de preentrenamiento unificado que combina el Modelado de Lenguaje Enmascarado (MLM) con la Difusión de Denoisado (Denoising). Esto permite un aprendizaje bidireccional de secuencia-estructura:

• Modelado de Lenguaje Enmascarado Informado por la Estructura (SIMLM): El modelo integra ruido de difusión en las representaciones estructurales durante la recuperación de la secuencia. Emplea tres modos de entrenamiento: (1) Secuencia-a-Estructura (difusión estándar), (2) Perturbación Acoplada (enmascaramiento de residuos y adición de ruido a sus estructuras locales), y (3) Perturbación Global de Secuencia Enmascarada (enmascaramiento de residuos mientras se aplica ruido a todas las estructuras). Esto fomenta un aprendizaje robusto de la relación bidireccional entre la identidad de la secuencia y la conformación 3D.
• Preentrenamiento de Difusión: El modelo utiliza un proceso de difusión de varianza creciente para denoisar las coordenadas 3D de los átomos pesados. Impone la invarianza rotacional mediante aumentación de datos (rotaciones SO(3) aleatorias) en lugar de arquitecturas equivariantes pesadas, y elimina la libertad de traslación centrando las estructuras en su centro de masa.

2. Arquitectura

FlexRibbon utiliza una arquitectura jerárquica de tres etapas para equilibrar la eficiencia y la expresividad:

• Módulo de Secuencia: Un codificador Transformer que incrusta conjuntamente los residuos proteicos y los átomos de moléculas pequeñas. Incorpora características de enlace covalente 2D mediante una proyección aprendida, lo que permite al modelo recuperar patrones de unión a partir de las identidades atómicas.
• Módulo de Estructura de Gran Escala (Coarse-Grained): Un Transformer de Difusión (DiT) que denosa las coordenadas a nivel de residuo para proteínas y a nivel de átomo para moléculas pequeñas, condicionado por las incrustaciones de la secuencia.
• Módulo de Estructura de Átomo Completo (All-Atom): Un segundo DiT que refina las salidas de gran escala hacia una resolución de átomo completo. Utiliza sesgos de atención aprendibles para los enlaces covalentes para asegurar la validez química, reconciliando el contexto global del residuo con las interacciones atómicas detalladas.

3. Entrenamiento y Funciones de Pérdida

El objetivo de entrenamiento integra cuatro componentes:

• Pérdida de Difusión ($L_{MSE}$): Pérdida de denoisado para la reconstrucción estructural.
• Pérdida de MLM ($L_{MLM}$): Recuperación de secuencia mediante la predicción de residuos enmascarados.
• Pérdida de Distancia ($L_{Dist}$): Regulariza las distancias inter-residuo predichas para mantener una geometría terciaria realista.
• Pérdida de Smooth-lDDT ($L_{smooth-lDDT}$): Alinea el entrenamiento con métricas de precisión geométrica local.
• Ponderación Adaptativa: Una pérdida de difusión ponderada por confianza escala las contribuciones basadas en pesos sigmoides derivados de pLDDT, reduciendo el ruido de las regiones de baja confianza (p. ej., estructuras predichas de AlphaFold 2) mientras enfatiza las señales fiables.

El entrenamiento procede en tres etapas progresivas (A, B, C) que incrementan la longitud de la secuencia (384 $\to$ 768 $\to$ 1024 residuos) e introducen el entrenamiento de MLM y de la cabeza de confianza en las etapas posteriores.

Contribuciones Clave

1. Estrategia de Preentrenamiento Novedosa: FlexRibbon unifica la predicción y el diseño de la estructura de proteínas combinando MLM con denoisado basado en difusión, aprendiendo un mapeo bidireccional secuencia-estructura en lugar de un mapeo unidireccional de secuencia-a-estructura.
2. Modelado Jerárquico: Introduce una estrategia que equilibra la capacidad escalable entre las representaciones de secuencia y estructura, superando los cuellos de botella de memoria de los modelos previos de átomo completo y permitiendo un aprendizaje estructural a gran escala efectivo.
3. Capacidad de Co-diseño: El modelo permite el co-diseño de la secuencia y la estructura proteica, destacando especialmente en regiones altamente mutadas y flexibles (p. ej., bucles CDR de anticuerpos/nanocuerpos) donde los métodos basados en MSA tienen dificultades.
4. Generalización Amplia: Demuestra mejoras consistentes en 12 tareas diversas, mostrando que el preentrenamiento de secuencia-estructura se transfiere ampliamente más allá del simple plegamiento de proteínas.

Resultados Experimentales

FlexRibbon fue evaluado en tres familias de tareas: predicción/diseño de interfaces flexibles, predicción de interacciones intermoleculares y predicción de función proteica.

• Interfaces Flexibles: En la predicción de la interfaz antígeno-anticuerpo y antígeno-nanocuerpo (SAb23H2), FlexRibbon alcanzó tasas de éxito del 61.3% (antígeno-anticuerpo) y 51.1% (antígeno-nanocuerpo), superando a IgGM en un 14.6% y 7.1% respectivamente. En la predicción de la interfaz proteína-péptido (FoldBench), alcanzó una tasa de éxito del 91.4%, superando a AlphaFold 3 y PepGLAD.
• Diseño de Anticuerpos/Nanocuerpos: FlexRibbon logró una recuperación de aminoácidos (AAR) del 41.4% para anticuerpos y del 21.8% para nanocuerpos, con tasas de éxito del 46.0% y 43.7%, respectivamente, superando a baselines como dyMEAN e IgGM.
• Interacciones Intermoleculares:
  • Docking: En el benchmark PoseBusters V1, FlexRibbon alcanzó una tasa de éxito del 71.82% (random-1) y 78.70% (oracle), alcanzando la paridad con métodos basados en MSA como AlphaFold 3 y superando significativamente a los baselines de secuencia única.
  • Cambio Conformacional: En la predicción de cambios conformacionales inducidos por ligando, FlexRibbon logró un puntaje TM-ens de 0.889 (zero-shot), mejorando a ESMDiff por 0.038.
  • Afinidad de Unión: En CASF-2016, FlexRibbon logró el mejor RMSE (1.150) y correlación de Pearson (0.848) entre los baselines comparados.
• Predicción de Función: En las tareas de Ontología Génica (GO) y Comisión de Enzimas (EC), FlexRibbon alcanzó puntuaciones F1 de 0.891 (EC), 0.539 (GO-BP), 0.694 (GO-MF) y 0.560 (GO-CC), superando a los baselines de solo secuencia e híbridos.
• Predicción de Estructura: En CASP15, FlexRibbon alcanzó un TM-score de 0.703, superando a ESMFold y ESM3.
• Estimación de Confianza: Los puntajes pTM predichos por el modelo mostraron una fuerte correlación (R = 0.89) con los TM-scores observados en CASP15.

Significación y Reivindicaciones

El artículo afirma que FlexRibbon establece un nuevo estado del arte en 12 tareas diversas, con ganancias particularmente fuertes en entornos ricos en mutaciones donde los métodos basados en MSA suelen fallar. Los autores sostienen que los resultados resaltan las ventajas consistentes del preentrenamiento conjunto de secuencia-estructura, demostrando que tal enfoque permite el co-diseño de secuencia y estructura y captura conformaciones flexibles críticas para la función biológica. Al modelar con éxito las dependencias bidireccionales sin depender de los MSAs, FlexRibbon se presenta como un modelo fundacional de propósito general que extiende los beneficios del modelado de proteínas más allá del plegamiento hacia tareas complejas de diseño y predicción de interacciones.