Resumen Técnico: Un Atlas Geométrico de la Organización de Modalidades de ESM3

Declaración del Problema

Los modelos de lenguaje de proteínas (PLM) han avanzado en la predicción de la estructura y función de las proteínas mediante el aprendizaje de representaciones de propósito general a partir de grandes conjuntos de datos. Los modelos multimodales como ESM3 ingieren múltiples canales de entrada simultáneamente —incluyendo secuencia de aminoácidos, estructura 3D, estructura secundaria (SS8), accesibilidad al solvente (SASA) y anotaciones funcionales discretas— sumando sus embeddings en un único flujo residual. Mientras que trabajos previos de interpretabilidad han examinado cabezales de atención y características aprendidas en modelos de solo secuencia, poco se sabe sobre la organización mecánica de estas distintas modalidades de entrada dentro de una arquitectura multimodal. Específicamente, no está claro si estas modalidades ocupan subespacios separados, en qué profundidad se fusionan, y si esta fusión es un artefacto arquitectónico o una propiedad aprendida.

Metodología

Los autores emplean un enfoque descriptivo de "prioridad geométrica" para crear un atlas de la organización de las modalidades a través de la profundidad de ESM3 (específicamente el modelo esm3-sm-open-v1: 1.4 mil millones de parámetros, 48 capas de transformer, embedding de 1536 dimensiones).

Diseño Experimental:

• Aislamiento y Agregación: Para cada proteína del conjunto de datos, el modelo se ejecuta de forma aislada para cada una de las cinco condiciones de modalidad única (secuencia, estructura, SS8, SASA, función) y una condición de "todas las modalidades".
• Recolección de Datos: El flujo residual se lee en cada capa (1–48). Las representaciones se analizan tanto como vectores de nivel de proteína mediante el promedio (mean-pooling) como, para un subconjunto, como activaciones individuales a nivel de residuo.
• Conjuntos de Datos: El análisis cubre un conjunto humano de 892 proteínas para los resultados primarios y un conjunto diverso de 5,555 proteínas de 12 organismos (abarcando Eukaryota, Bacteria y Archaea para probar la universalidad). Un conjunto de control de 177 proteínas con estructuras experimentales (Rayos X/criomicroscopía electrónica) valida los hallazgos frente a las coordenadas predichas por AlphaFold.
• Métricas:
  • Coeficiente de Silueta (Silhouette Score): Mide la separación entre las condiciones de modalidad en cada capa.
  • Alineación de Kernel Centrado (CKA): Rastrea la alineación entre pares de condiciones para determinar el tiempo de fusión.
  • Índice de Integración: El CKA promedio por pares de todas las modalidades físicas.
  • Rango Efectivo (Effective Rank): Mide la dimensionalidad de la varianza dentro de la nube de representación.
  • Sondas Lineales (Linear Probes): Sondas logísticas entrenadas para decodificar la identidad de la modalidad a partir del flujo.
• Controles: El estudio incluye un modelo inicializado aleatoriamente (pesos de entrenamiento reiniciados en el tronco y los embeddings, preservando el codificador de estructura) para distinguir la fusión aprendida de los artefactos de suma arquitectónica.

Resultados Clave

1. Fusión Nítida y Ordenada de las Modalidades Físicas

Las cuatro modalidades físicas (secuencia, estructura, SS8, SASA) comienzan en subespacios distintos en la entrada. Permanecen máximamente separadas durante la primera mitad de la red, alcanzando la separación máxima (Silhouette score ~0.42) alrededor de la capa 24. Ocurre una transición brusca entre las capas 25 y 35, donde estas modalidades colapsan en un subespacio compartido de baja dimensión.

• Orden de Fusión: La fusión es ordenada. Las modalidades derivadas de la estructura (estructura, SS8, SASA) están mutuamente alineadas desde la entrada (Capa 0). La secuencia, que porta información no derivable de la estructura, se une a la fusión al final, integrándose significativamente después de la capa 28.

2. Ortogonalidad Persistente de las Anotaciones Funcionales

A diferencia de las modalidades físicas, la modalidad de anotación funcional nunca se fusiona con el subespacio físico.

• Ortogonalidad: El CKA por pares entre el canal de función y cualquier modalidad física permanece cerca de 0.01–0.07 a través de todas las 48 capas.
• Independencia de Granularidad: Esta separación se mantiene incluso cuando se utilizan anotaciones funcionales por residuo (derivadas de InterPro) en lugar de anotaciones de proteína completa, lo que indica que la separación está impulsada por el contenido y no es un artefacto de la granularidad de la tokenización.
• Retención de Información: A pesar de la ortogonalidad, la información funcional no se pierde; las sondas lineales pueden decodificar clases de enzimas y clases de plegamiento (fold classes) a partir del subespacio físico fusionado con alta precisión, lo que sugiere que la red extrae el contenido funcional hacia el subespacio físico mientras mantiene el canal de función explícito en un eje separado y delgado.

3. La Fusión es una Propiedad Aprendida

Un modelo inicializado aleatoriamente con la misma arquitectura no muestra una fusión dependiente de la profundidad. La separación de las condiciones permanece alta y constante, y el índice de integración no cambia con la profundidad. Esto confirma que la fusión observada es el resultado del entrenamiento, no simplemente una consecuencia matemática de la suma de los embeddings.

4. Reorganización de la Varianza sin Isotropía

La fusión no resulta en un colapso hacia un único punto o en una difusión hacia la isotropía.

• Rango Efectivo: El rango efectivo de la nube de representación colapsa a ~3 en el pico de separación (capa 24), se expande a ~85 dimensiones en la zona de fusión (capas 25–35) y luego se contrae.
• Cambio de Varianza: La fusión desplaza la varianza de entre condiciones a dentro de las condiciones. La identidad de la modalidad sigue siendo decodificable (precisión ~1.0 en el espacio completo) incluso después de la fusión, lo que indica una reorganización controlada en lugar de una pérdida de información.

5. Universalidad y Dependencias Estructurales

• Universalidad: El patrón de fusión es universal a través de diversos organismos. Cada superreino (Eukaryota, Bacteria, Archaea) y cada organismo individual en el estudio alcanza la fusión máxima (separación mínima) exactamente en la capa 35.
• Dependencia Estructural: La profundidad de la fusión es independiente de la longitud de la proteína, pero se retrasa por el desorden estructural. Las proteínas con mayores fracciones de coil (ovillo) se fusionan más tarde, mientras que las proteínas helicoidales bien plegadas se fusionan antes. El efecto no está correlacionado con las puntuaciones de confianza de AlphaFold (pLDDT).

Significado y Reivindicaciones

El artículo afirma proporcionar el primer atlas geométrico integral de cómo se organiza la información multimodal en un modelo de lenguaje de proteínas. La principal significancia radica en revelar que ESM3 organiza sus entradas en dos regímenes distintos:

1. Un régimen físico unificado donde la secuencia y las características estructurales se fusionan en un subespacio compartido de baja dimensión en la profundidad media, lo que sugiere que la red construye características específicas de la modalidad antes de comprometerse con una representación física unificada una vez que se resuelve la estructura secundaria.
2. Un régimen funcional separado donde las etiquetas funcionales discretas se mantienen en un eje ortogonal a lo largo de toda la red, independientemente de si esa información es redundante con las modalidades físicas.

Los autores concluyen que esta organización fijada por la profundidad es intrínseca al modelo entrenado y no un artefacto de proteomas o coordenadas de predicción específicos. Los hallazgos sugieren que el "razonamiento" de la red implica un orden temporal específico de integración, donde la consistencia estructural se establece antes de que la información de la secuencia se integre completamente, mientras que las etiquetas funcionales permanecen distintas. Este trabajo establece una base para la interpretabilidad mecánica en modelos biológicos multimodales, demostando que la fusión es un fenómeno aprendido, universal y ordenado.