Resumen Técnico: Hacia la Comprensión de la Forma de las Representaciones en Modelos de Lenguaje de Proteínas

Declaración del Problema

Los Modelos de Lenguaje de Proteínas (PLM), como la familia de Modelado a Escala Evolutiva (ESM), han demostrado un potencial significativo en el diseño de proteínas de novo, la predicción de estructuras y la anotación funcional. Aunque se comprende empíricamente que las representaciones de los PLM sirven como inicializaciones efectivas para modelos de plegamiento, la naturaleza precisa de la información codificada dentro de estas representaciones ocultas permanece poco comprendida. Los esfuerzos existentes de interpretabilidad se han centrado mayoritariamente en cómo las secuencias individuales se transforman en vectores latentes o en la identificación de características específicas (por ejemplo, motivos de unión, estadísticas de coevolución) dentro de secuencias individuales. Sin embargo, estos enfoques descuidan la estructura geométrica de todo el espacio de representaciones de proteínas y cómo las diferentes proteínas se relacionan entre sí dentro de este espacio latente. Además, las prácticas estándar a menudo colapsan la dimensión de la secuencia (por ejemplo, mediante promedios), descartando así la información de "forma" inherente a la representación tensorial completa. Este artículo aborda la brecha en la comprensión de la geometría métrica global de los espacios de representación de los PLM y las longitudes de contexto específicas en las que se codifican las características estructurales.

Metodología

Los autores proponen un marco para analizar la "forma" de las representaciones de proteínas mapeándolas a espacios métricos utilizando dos enfoques matemáticos principales:

1. Representaciones de Velocidad de Raíz Cuadrada (SRV)

Para analizar la geometría global de los espacios de representación, los autores tratan las secuencias de proteínas y sus incrustaciones de PLM como nubes de puntos ordenadas.

• Interpolación de Curvas: Las nubes de puntos (que representan estructuras 3D o incrustaciones de PLM) se interpolan utilizando splines cuadráticos para formar curvas continuas $\gamma(t)$ en $\mathbb{R}^m$.
• Transformación SRV: Estas curvas se transforman en representaciones de Velocidad de Raíz Cuadrada (SRV), $q(t) = \dot{\gamma}(t)/\sqrt{\|\dot{\gamma}(t)\|^2}$, que las proyecta sobre una esfera de dimensión infinita $S^\infty$.
• Cociente: Para imponer invarianza ante traslación y rotación (isometrías de $SE(m)$), los autores cuocientan el grupo de rotación $SO(m)$ utilizando la Descomposición en Valores Singulares (SVD) para encontrar la rotación óptima que alinea dos curvas.
• Espacio Métrico: Este proceso crea un espacio de formas riemanniano donde se pueden calcular distancias entre proteínas. Los autores utilizan este espacio para calcular:
  • Radio de Fréchet: La distancia media de todas las representaciones desde su media de Fréchet, que sirve como medida de la dispersión de las formas.
  • Dimensión Efectiva: Calculada mediante Análisis de Componentes Principales en el Espacio Tangente (Tangent PCA) en la variedad del espacio de formas, midiendo la dimensionalidad intrínseca de las variaciones en la forma.

2. Filtraciones de Grafos

Para investigar la sensibilidad a la longitud de contexto de los PLM, los autores emplean un enfoque de filtración de grafos derivado del Análisis Topológico de Datos.

• Construcción de Grafos: Para una proteína dada y su representación de PLM, se construyen grafos de $k$-vecinos más cercanos basados en distancias euclidianas entre residuos.
• Filtración: Variando el número de vecinos $k$ (o un umbral de distancia $t$), se genera una filtración de grafos.
• Comparación Métrica: Los autores comparan las matrices de adyacencia de los grafos de la estructura 3D real de la proteína con las matrices de adyacencia de los grafos de la representación de PLM.
• Momento de Filtración de Grafos: Se define una métrica normalizada como la relación entre la distancia entre la estructura de la proteína y su incrustación de PLM, y la distancia entre la estructura de la proteína y nubes de puntos aleatorias. Esto cuantifica qué tan bien el PLM preserva la proximidad estructural a diferentes escalas (longitudes de contexto).

El análisis se realizó sobre 1.377 proteínas muestreadas del conjunto de datos SCOPe, procesadas a través de varios modelos ESM2 de diferentes tamaños y el modelo Ankh.

Resultados Clave

1. Geometría de los Espacios de Forma de los PLM

• Expansión y Contracción de Dimensiones: La dimensión efectiva del espacio de formas sigue un patrón no lineal a través de las capas. Las capas iniciales exhiben una expansión significativa en la dimensionalidad, particularmente en modelos más grandes, seguida de una contracción en capas más profundas.
• Subespacio de Baja Dimensión: En las capas finales, la dimensión efectiva se vuelve muy baja, significativamente menor que la dimensión de incrustación ambiental. Esto sugiere que, aunque los PLM abarcan un espacio de alta dimensión, las variaciones en las formas de las proteínas pueden describirse mediante unos pocos descriptores de forma específicos.
• Radio de Fréchet: El radio de Fréchet generalmente disminuye con la profundidad, lo que indica que las representaciones se vuelven más agrupadas en el espacio de formas. Cabe destacar que la variabilidad entre formas es baja en todos los modelos, y el radio no varía significativamente con el tamaño del modelo.
• Generalizabilidad: Este patrón de expansión-contracción se observó tanto en los modelos ESM2 como en el modelo Ankh, lo que sugiere que es una propiedad fundamental de la arquitectura de los PLM.

2. Sensibilidad a la Longitud de Contexto

• Codificación Bimodal: El análisis de filtración de grafos revela un patrón bimodal en la codificación estructural. Los PLM codifican óptimamente las características estructurales 3D en dos escalas distintas:
  1. Vecinos Inmediatos: En longitudes de contexto muy cortas (aproximadamente 2 residuos).
  2. Vecindades Locales: En longitudes de contexto ligeramente más largas (aproximadamente 8 residuos).
• Dependencia de la Capa: La codificación estructural está presente en toda la red, pero no es óptima en la capa final. La mejor fidelidad estructural se encuentra en las capas inmediatamente anteriores a la última.
• Variaciones de Clase: Diferentes clases de proteínas exhiben grados variables de fidelidad estructural. Las proteínas Alfa/Beta muestran la mayor similitud entre sus representaciones de PLM y sus estructuras 3D, mientras que las proteínas pequeñas y diseñadas muestran formas más distintas.
• Independencia de la Longitud: En capas más profundas, la codificación de la estructura del contexto local parece ser independiente de la longitud total de la proteína.

Significado y Afirmaciones

El artículo afirma proporcionar una perspectiva geométrica novedosa sobre las representaciones de los PLM, avanzando más allá del análisis de secuencias individuales para comprender la estructura colectiva del espacio de representación.

• Interpretabilidad: El trabajo demuestra que los PLM codifican la estructura de las proteínas de forma implícita, a pesar de haber sido entrenados únicamente en tareas de modelado de lenguaje enmascarado sin supervisión estructural explícita. El hallazgo de que la estructura se codifica en longitudes de contexto específicas (2 y 8 residuos) sugiere que el modelo aprende restricciones geométricas locales y semilocales como un subproducto de la predicción de secuencias.
• Perspectivas sobre la Arquitectura del Modelo: El patrón observado de expansión-contracción en la dimensión efectiva se alinea con teorías de regímenes de alta abstracción en las capas tempranas y regímenes específicos y semánticamente ricos en las capas posteriores. La baja dimensión efectiva en las capas profundas implica que la tarea compleja del plegamiento de proteínas puede ser navegable mediante un pequeño número de transformaciones de forma.
• Implicaciones Prácticas para el Plegamiento: Los autores sugieren que la codificación estructural subóptima en la capa final, en contraste con la alta fidelidad en las capas anteriores, ofrece una vía potencial para mejorar los modelos de plegamiento de proteínas. Específicamente, inicializar modelos de plegamiento con representaciones de las capas justo antes de la última (en lugar de la capa final en sí) podría rendir un mejor desempeño. Sin embargo, los autores señalan que los intentos iniciales de verificar esto con modelos lineales o redes pequeñas no generalizaron, lo que indica que se requiere más investigación con modelos más grandes.

En resumen, el artículo establece que los espacios de representación de los PLM poseen una estructura geométrica distinta caracterizada por una expansión dimensional seguida de una contracción, y que estas representaciones capturan las características estructurales de las proteínas de manera más efectiva en longitudes de contexto específicas, cortas a moderadas, particularmente en las capas que preceden a la salida final.