🤖 machine learning

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

Este artículo demuestra que las señales de contacto de proteínas, extraídas previamente mediante el costoso proceso computacional del Jacobiano Categórico que requiere aproximadamente 19L pasadas hacia adelante, ya se encuentran concentradas en un pequeño subconjunto de cabezales de atención que pueden identificarse con un mínimo de datos etiquetados para lograr un rendimiento superior o comparable en una sola pasada hacia adelante en evaluaciones libres de filtración.

Autores originales: Rome Thorstenson

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Rome Thorstenson

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Encontrar un atajo en el "cerebro" de las proteínas

Imagina que un modelo de lenguaje de proteínas (PLM) es como un estudiante superinteligente que ha leído millones de secuencias de proteínas. Debido a esto, el estudiante ha aprendido cómo las proteínas se pliegan en formas 3D, aunque nunca se le enseñó geometría explícitamente.

Los científicos han estado intentando "leer la mente" de este estudiante para ver qué partes de la proteína se mantienen unidas (contactos) para formar esa forma 3D.

La Forma Antigua (El "Jacobiano Categórico"):
Anteriormente, el mejor método era como un detective muy meticuloso pero exhaustivo. Para averiguar si dos partes de una proteína son amigas, el detective haría lo siguiente:

Tomar la proteína.
Cambiar la primera letra de la secuencia por cada una de las otras letras posibles (19 veces).
Observar cómo cambia la respuesta del estudiante.
Repetir esto para cada una de las letras de la proteína.

Si una proteína tiene 300 letras, este detective tiene que pasar al estudiante por la prueba 5,700 veces (300 letras × 19 cambios) solo para obtener una respuesta. Es preciso, pero increíblemente lento y costoso computacionalmente.

La Nueva Forma (La "Fusión de Atención"):
Este artículo sostiene que el estudiante en realidad escribió la respuesta en sus notas mientras leía la proteína la primera vez. Estas notas se llaman "mapas de atención".

Los autores descubrieron que, si miras las notas del estudiante, la información sobre qué partes de la proteína se mantienen unidas ya está ahí, concentrada en solo unos pocos "cabezales" específicos (piensa en estos como cuadernos o páginas específicas en el cerebro del estudiante).

En lugar de realizar la prueba 5,700 veces, el nuevo método simplemente:

Pasa la proteína por el estudiante una sola vez.
Busca las páginas específicas (cabezales de atención) donde el estudiante escribió las notas sobre "mantenerse unido".
Promedia esas páginas para obtener la respuesta.

El Resultado: El nuevo método es tan preciso (y a menudo mejor) que el antiguo método del detective, pero toma un solo paso en lugar de miles. Es como encontrar una hoja de trucos en la parte posterior del libro de texto en lugar de volver a derivar toda la fórmula desde cero.

Hallazgos Clave Explicados

1. El Problema de la "Filtración" (La Prueba de Trampa)

Los autores notaron que estudios previos podrían haber estado "haciendo trampa". Las proteínas de prueba utilizadas para evaluar estos modelos eran a veces similares a las proteínas que el estudiante ya había memorizado durante su entrenamiento. Es como darle a un estudiante un examen final que utiliza preguntas que ya vio en la tarea.

Para solucionar esto, los autores crearon una prueba "libre de filtración". Utilizaron solo proteínas que fueron descubiertas después de que el estudiante terminó de estudiar.

¿Qué pasó? Cuando eliminaron la ventaja de la "trampa", el viejo método del detective (Jacobiano Categórico) empeoró mucho. El nuevo método de la "hoja de trucos" (Fusión de Atención) se mantuvo fuerte.
La Conclusión: El método antiguo dependía en parte de la memoria del estudiante sobre las preguntas específicas del examen. El nuevo método realmente entiende la estructura.

2. Los Cuadernos "Difusos" vs. "Concentrados"

Los autores descubrieron que diferentes modelos escriben sus notas de manera distinta:

Modelos Concentrados: Algunos modelos escriben la respuesta en un solo cuaderno específico. Si miras ese cuaderno, obtienes la respuesta.
Modelos Difusos: Otros modelos distribuyen la respuesta en muchos cuadernos. Ningún cuaderno individual tiene la imagen completa, pero si los promedias todos, la respuesta aparece.

El artículo muestra que puedes determinar qué tipo de modelo tienes mirando unos pocos ejemplos, y luego sabrás si debes buscar en un solo cuaderno o promediar diez.

3. El Callejón sin Salida "Causal"

Los autores probaron un tipo diferente de modelo (un modelo "Causal") que lee las proteínas como una oración, de izquierda a derecha, sin mirar hacia atrás.

El Resultado: Tanto el viejo método del detective como el nuevo método de la hoja de trucos fallaron por completo en estos modelos.
La Conclusión: Esto sugiere que para entender cómo las proteínas se mantienen unidas en 3D, el modelo necesita ser capaz de mirar la proteína completa a la vez (bidireccional), no solo leerla palabra por palabra.

4. Velocidad y Costo

La diferencia de velocidad es masiva.

Método Antiguo: Si quieres analizar 1,000 proteínas, el método antiguo podría costarte cientos de dólares en tiempo de computación porque tiene que ejecutar la simulación miles de veces por proteína.
Nuevo Método: Cuesta una fracción de eso porque solo se ejecuta una vez por proteína. Es como la diferencia entre contar manualmente cada grano de arena en una playa frente a tomar una foto satelital y usar un algoritmo simple para estimar el total.

Resumen

El artículo afirma que los modelos de proteínas ya saben cómo se pliegan las proteínas; solo esconden ese conocimiento en sus mecanismos internos de "atención". Al aprender a leer esas notas específicas directamente, podemos predecir las estructuras de las proteínas de manera mucho más rápida y precisa que antes, sin necesidad de ejecutar miles de simulaciones costosas. Esto funciona mejor en modelos que pueden mirar la proteína completa a la vez (bidireccionales), y se mantiene firme incluso cuando probamos los modelos con datos nuevos que no han visto antes.

Resumen Técnico: Los contactos proteicos ya están en la atención

Planteamiento del problema

Los modelos de lenguaje de proteínas (PLM) entrenados en vastos corpora de secuencias no etiquetadas aprenden representaciones ricas de la estructura proteica. Una cuestión central es si este conocimiento estructural puede extraerse sin entrenamiento supervisado con etiquetas de estructura. Zhang et al. [2024] propusieron el Jacobiano Categórico Estándar (CJ) como solución: mediante la perturbación de cada residuo con cada aminoácido alternativo y midiendo la respuesta en los logits del modelo de lenguaje enmascarado (MLM), se puede reconstruir un mapa de contactos. Aunque el CJ logra una alta precisión (P@L ≈ 0.80 en ciertos benchmarks), es computacionalmente costoso, requiriendo aproximadamente $19L$ pasadas hacia adelante para una proteína de longitud $L$ . Además, el CJ está vinculado estructuralmente a arquitecturas con una cabeza categórica por posición (MLM bidireccionales enmascarados), lo que limita su aplicabilidad a modelos de codificador-decodificador o causales.

Evaluaciones recientes también han planteado preocupaciones sobre la fuga de datos (data leakage), donde los corpora de preentrenamiento pueden solaparse con los conjuntos de evaluación, inflando las métricas de rendimiento. Existe la necesidad de un método que sea computacionalmente eficiente, aplicable a diversas arquitecturas y robusto ante la fuga de preentrenamiento.

Metodología

Los autores proponen que la señal de contacto reconstruida por el Jacobiano Categórico ya está presente explícitamente en los mapas de atención del modelo, concentrada en un subconjunto pequeño e identificable de cabezas de atención.

1. Fusión de Atención Top-K

En lugar de perturbar las entradas, el método propuesto extrae las señales de contacto directamente de los mecanismos de atención del PLM:

Extracción: Para cada cabeza de atención, el mapa de atención se simetriza, se desdiagonaliza y se corrige utilizando la Corrección de Producto Promedio (APC).
Selección: Las cabezas se clasifican según su capacidad para predecir contactos (medida por la precisión de largo alcance top-L/2) en un pequeño conjunto de selección etiquetado y disjunto (tan solo 10 proteínas).
Fusión: Las top- $K$ cabezas seleccionadas se combinan utilizando una media aritmética simple y sin ponderar. Esto requiere solo una pasada hacia adelante por proteína durante la inferencia.
Eficiencia de etiquetas: La selección de las top- $K$ cabezas es el único paso supervisado, requiriendo un presupuesto mínimo de proteínas etiquetadas (10 para selección, 50 para un control de presupuesto igualado contra regresión supervisada).

2. Representación-CJ (Repr-CJ)

Para comparar contra el CJ en arquitecturas que carecen de una cabeza MLM (por ejemplo, modelos de codificador-decodificador o causales), los autores introducen la Representación-CJ. Esto generaliza la construcción del Jacobiano reemplazando la respuesta del logit por la respuesta del estado oculto:
$J_{repr}[i, a', j] = \| h_{i \to a'}[\ell, j] - h_{unpert}[\ell, j] \|_2$
donde $h$ representa el estado oculto en la posición $j$ y la capa $\ell$ cuando el residuo $i$ es perturbado al aminoácido $a'$ . Esto mantiene el mismo costo computacional ( $19L + 1$ pasadas hacia adelante) que el logit-CJ, pero se aplica a cualquier arquitectura que exponga estados ocultos.

3. Protocolo de Evaluación

El estudio emplea una estrategia de evaluación de fuga-limpia (leakage-clean) para asegurar que los resultados no sean artefactos del solapamiento de preentrenamiento:

CAMEO-PTA25: Un conjunto de evaluación primario que consiste en cadenas de proteínas depositadas después de la fecha de corte de preentrenamiento de los modelos (post-2022-09), filtradas contra UniRef50 actual con un 50% de identidad.
Selección Disjunta: La selección de cabezas y la evaluación se realizan en subconjuntos de datos disjuntos para evitar la fuga de información.
Baselines: El método se compara contra el Jacobiano Categórico Estándar (logit-CJ), la mejor cabeza de atención individual y baselines de regresión L1-logística supervisada.

Contribuciones Clave

Eficiencia y Rendimiento: El método de fusión de atención Top-K recupera las señales de contacto en una sola pasada hacia adelante, superando al Jacobiano Cográfico en datos de fuga-limpia para cada modelo bidireccional probado (familia ESM-2, ESM-1b, ProtT5-XL).
Validación de Fuga-Limpia: En un split de CAMEO libre de fuga, el método de fusión supera significativamente al CJ (por ejemplo, +9 puntos porcentuales en ESM-2-650M). Crucialmente, en estos datos limpios, el Jacobiano Categórico ya no supera a la mejor cabeza de atención individual, lo que sugiere que su superioridad previa in-distribution se debió en parte a la memorización.
Generalización Arquitectónica: Los autores demuestran que la señal de contacto existe en modelos de codificador-decodificador (ProtT5-XL) mediante la fusión de atención e introducen Repr-CJ para extender el análisis basado en el Jacobiano a estas arquitecturas.
Perspectiva Mecanicista (Difusión): El número óptimo de cabezas ( $K$ $K$ ) a fusionar depende de la "difusión" de la señal de contacto dentro del modelo.
- Clústeres Concentrados: Algunos modelos (ej. ESM-2-8M, AMPLIFY-350M) concentran la señal en una sola cabeza dominante; promediar más cabezas diluye la señal.
- Clústeres Difusos: Modelos más grandes (ej. ESM-2-650M, ProtT5-XL) distribuyen la señal en muchas cabezas; el promedio es necesario para recuperar el consenso.
Limitación de los Modelos Causales: Tanto la fusión como los métodos CJ colapsan en modelos de lenguaje causales (ProGen2-large y -xlarge), lo que sugiere que el preentrenamiento bidireccional es necesario para que los mecanismos de atención codifiquen estructuras de pares simétricas.

Resultados

Brecha de Rendimiento: En datos de fuga-limpia, la fusión supera al CJ por aproximadamente 9 puntos porcentuales en ESM-2-650M. Ambos métodos caen entre 30 y 36 puntos porcentuales en precisión absoluta al pasar de los benchmarks in-distribution (Zhang eval-200) a los de fuga-limpia (CAMEO-PTA25), indicando que los resultados previos de predicción de contactos no supervisados estaban significativamente inflados por el solapamiento de preentrenamiento.
Supervisado vs. No Supervisado: Con un presupuesto de etiquetas igualado (50 proteínas), una media sin ponderar de las top- $K$ cabezas realiza un desempeño estadísticamente indistinguible de un ajuste de regresión L1-logística supervisada sobre las mismas cabezas. Esto implica que la selección de las cabezas es el principal motor del rendimiento, no la forma paramétrica de la lectura.
Economía de Cómputo: La fusión requiere una pasada hacia adelante por proteína, mientras que el CJ requiere $\sim 19L$ . El punto de equilibrio para el costo computacional es inferior a 20 proteínas de prueba, lo que hace que la fusión sea mucho más eficiente para aplicaciones a gran escala.
Validación de Repr-CJ: El Repr-CJ se correlaciona estrechamente con el logit-CJ (Pearson $r > 0.90$ ) en arquitecturas donde ambos están definidos, validándolo como una generalización fiel para modelos no-MLM.

Significado y Reivindicaciones

El artículo afirma que el Jacobiano Categórico no extrae nueva información de contacto, sino que reconstruye la información de pares estructurales que el modelo ya representa en sus patrones de atención. El hallazgo principal es que esta señal es accesible mediante un simple promedio sin parámetros de un pequeño subconjunto de cabezas de atención, ofreciendo una alternativa computacionalmente superior a los métodos basados en perturbación.

Los autores enfatizan que la evaluación de "fuga-limpia" revela una brecha sustancial entre el rendimiento in-distribution y el de verdadera generalización, sugiriendo que los futuros benchmarks para la predicción de contactos no supervisados deben adoptar splits conscientes del preentrenamiento como estándar. El trabajo también destaca que la asignación de información estructural a través de las cabezas de atención es una propiedad aprendida del proceso de preentrenamiento y no una inevitabilidad arquitectónica, variando incluso dentro de la misma familia de modelos (ej. la escala de ESM-2).

Finalmente, el colapso de ambos métodos en los LM causales se presenta como evidencia de que el preentrenamiento bidireccional es un factor crítico para aprender estructuras de pares simétricas en la atención, aunque los autores señalan que esto es un hallazgo asociacional dado el alcance limitado de los modelos causales probados.