Resumen Técnico: Enmascaramiento Consciente de la Estructura para el Aprendizaje de Representaciones de Proteínas

Planteamiento del Problema

El Modelado de Lenguaje Enmascarado (MLM) es el objetivo estándar para entrenar Modelos de Lenguaje de Proteínas (PLM). La práctica convencional implica enmascarar aleatoriamente aproximadamente el 15% de los residuos de manera uniforme a lo largo de la secuencia, tratando todas las posiciones como igualmente informativas. Aunque efectiva en el procesamiento del lenguaje natural (PLN), esta estrategia no se alinea con la realidad biofísica de las proteínas. En las proteínas, las dependencias funcionales y estructurales surgen de la geometría tridimensional (3D), donde los residuos distantes en el espacio de secuencia a menudo forman interacciones críticas y no contiguas (por ejemplo, sitios activos, interfaces de unión, redes alostéricas). El enmascaramiento aleatorio estándar no fomenta explícitamente que los modelos aprendan estos acoplamientos a larga distancia y no locales, lo que podría limitar la calidad de las representaciones para tareas posteriores como la predicción de aptitud, particularmente aquellas que involucran interaciones mutacionales de orden superior.

Metodología: Enmascaramiento por Cubetas

Los autores introducen el Enmascaramiento por Cubetas, una estrategia de enmascaramiento consciente de la estructura diseñada para inyectar sesgos inductivos estructurales directamente en el proceso de corrupción del MLM, sin requerir parámetros adicionales del modelo ni datos estructurales durante la inferencia.

Mecanismo Central

El Enmascaramiento por Cubetas opera agrupando residuos basándose en su proximidad espacial en el espacio 3D en lugar de su posición en la secuencia lineal. El proceso involucra tres etapas principales:

1. Construcción del Mapa de Contactos: Partiendo de una estructura resuelta de una proteína de tipo silvestre (WT), se construye un grafo de contactos donde las aristas representan residuos dentro de un umbral de distancia específico ($\tau = 7$ Å). Esto crea un mapa de vecinos estructurales.
2. Proyección en Alineación de Secuencias Múltiples (MSA): Para aplicar esta estrategia a secuencias homólogas durante el entrenamiento (donde pueden no existir estructuras resueltas), los autores desarrollan un algoritmo ligero para proyectar el grafo de contactos de la WT sobre el espacio de coordenadas de las secuencias homólogas en una Alineación de Secuencias Múltiples (MSA). Este mapeo asume que las relaciones estructurales clave se conservan entre homólogos, permitiendo que las "cubetas" estructurales derivadas de la WT guíen el enmascaramiento para secuencias sin requerir predicción de estructura por secuencia.
3. Algoritmo de Enmascaramiento: Durante el entrenamiento, se determina un presupuesto total de enmascaramiento mediante una tasa muestreada $r$. Este presupuesto se divide entre:
   • Enmascaramiento Estructural ($N_{struct}$): Se seleccionan residuos como "semillas" del grafo de contactos. Sus vecindades estructurales se acumulan iterativamente para formar tramos contiguos en el espacio de secuencia que corresponden a regiones interactuantes en el espacio 3D.
   • Enmascaramiento Aleatorio ($N_{rand}$): Los tokens de enmascaramiento restantes se seleccionan uniformemente al azar para garantizar la cobertura completa de la secuencia y la exploración.
   • La relación entre el enmascaramiento estructural y el aleatorio se controla mediante una tasa de exploración $\lambda$ (establecida en 0.2 en los experimentos).

Los tokens corruptos se procesan luego utilizando la regla estándar de corrupción 80-10-10 de BERT (80% enmascarado, 10% token aleatorio, 10% sin cambios).

Contribuciones Clave

1. Propuesta del Enmascaramiento por Cubetas: Una estrategia de enmascaramiento novedosa que aprovecha los grafos de contactos de residuos para enmascarar preferentemente regiones estructuralmente acopladas, desplazando el objetivo de aprendizaje hacia el modelado de interacciones a larga distancia críticas para la función de la proteína.
2. Proyección Escalable: Un algoritmo ligero de proyección en MSA que permite la aplicación del enmascaramiento estructural derivado de la WT a grandes familias de secuencias homólogas sin requerir predicción de estructura para cada instancia de entrenamiento.
3. Validación Empírica: Evaluación sistemática en 17 proteínas y cuatro tareas distintas de extrapolación, demostrando mejoras consistentes sobre el enmascaramiento aleatorio estándar y ablaciones basadas en tramos.
4. Análisis de Sesgo Inductivo: Estudios de ablación controlada que establecen que las ganancias en el rendimiento surgen específicamente de la colocación de las máscaras (proximidad estructural) y no del tamaño de los tramos enmascarados, enmarcando el enmascaramiento como un sesgo inductivo posicional.

Resultados

Los autores evaluaron el Enmascaramiento por Cubetas ajustando finamente ESM-2 (650M) en homólogos de una MSA centrada en la WT y probando en tareas posteriores de predicción de aptitud de proteínas.

• Ganancias de Rendimiento: El Enmascaramiento por Cubetas superó consistentemente al enmascaramiento aleatorio estándar en las cuatro tareas de extrapolación.
  • Extrapolación de Régimen: Logró una mejora promedio del 13.9% (aumento de Spearman $\rho$ de +0.069) en la predicción de interacciones mutacionales de orden superior.
  • Extrapolación de Posición: Logró una mejora promedio del 11.3% (+0.031) en la generalización de efectos mutacionales a posiciones de secuencia no vistas.
  • Extrapolación de Mutación y Vecindad: Mostró ganancias modestas pero consistentes (+3.9% y +0.6%, respectivamente).
• Recuperación de Priors de Preentrenamiento: A diferencia de otras estrategias de enmascaramiento que degradaron el rendimiento en tareas dominadas por priors de preentrenamiento (extrapolación de mutación y posición), el Enmascaramiento por Cubetas recuperó o superó el rendimiento de la línea base ESM-2, sugiriendo que preserva características bioquímicas fundamentales mientras añade restricciones estructurales.
• Hallazgos de Ablación: Las comparaciones con el enmascaramiento de "Tramo Coincidente con Geometría" (que utiliza los mismos tamaños de tramo que el Enmascaramiento por Cubetas pero aleatoriza la colocación) confirmaron que la posición de la máscara es el principal motor de mejora. El Enmascaramiento por Cubetas destacó particularmente en proteínas con muchos contactos estructurales a larga distancia y en regímenes de distancia de secuencia media a larga.

Significado y Afirmaciones

El artículo afirma que el Enmascaramiento por Cubetas reencuadra el proceso de corrupción en el MLM como una decisión de diseño deliberada para imponer un sesgo inductivo estructural. Al forzar al modelo a reconstruir residuos basándose en un contexto estructural no local, las incrustaciones resultantes encapsulan mejor las dependencias a larga distancia que modulan la función de la proteína.

Los autores afirman que este enfoque:

• Mejora la calidad de la representación para la extrapolación funcional sin modificar la arquitectura del modelo.
• No requiere datos estructurales durante la inferencia, lo que lo hace compatible con las pipelines existentes de PLM solo de secuencia.
• Sugiere que el objetivo de enmascaramiento debe tratarse como un prior específico de la tarea, alineando las representaciones aprendidas más estrechamente con las restricciones físicas del pliegue de la proteína.

El estudio concluye que, aunque el método se basa en la suposición de que las relaciones estructurales se conservan entre homólogos (lo cual se cumple en la mayoría de los casos pero puede degradarse para secuencias con deleciones sustanciales o MSA poco profundos), ofrece un camino robusto y escalable para mejorar el aprendizaje de representaciones de proteínas mediante auto-supervisión consciente de la estructura.