Resumen Técnico: Control de la Repetición en Modelos de Lenguaje de Proteínas

1. Definición del Problema

Los Modelos de Lenguaje de Proteínas (PLM, por sus siglas en inglés) han avanzado en la predicción de estructuras y el diseño de novo de proteínas, pero sufren un modo de fallo específico: la repetición patológica. A diferencia de lo que ocurre en el lenguaje natural, donde la repetición principalmente reduce la legibilidad, en las proteínas, esto conduce a secuencias con baja diversidad estructural, pliegues inestables y propiedades biológicas no funcionales.

El artículo identifica dos formas canónicas de este fallo:

1. Repetición a nivel de motivo: Fragmentos de $n$-gramas cortos (por ejemplo, dipéptidos o tripéptidos) que recurren cíclicamente (por ejemplo, AGAGAG).
2. Repetición de homopolímeros: Residuos de un solo aminoácido que se extienden en largas series (por ejemplo, AAAAAA).

Las soluciones existentes de Procesamiento de Lenguaje Natural (NLP), como las heurísticas de decodificación (escalado de temperatura, muestreo top-$p$, penalizaciones por repetición), suelen fallar en el dominio de las proteínas. Estos métodos tienden a intercambiar la reducción de la repetición por utilidad estructural, disminuyendo frecuentemente las puntuaciones de confianza de AlphaFold (pLDDT, pTM) y haciendo que las proteínas generadas sean biológicamente implausibles. Además, la repetición y la utilidad estructural están estrechamente entrelazadas en los PLM, lo que dificulta su desentrelazamiento sin un reentrenamiento.

2. Metodología: Dirección de Contraste Controlada por Utilidad (UCCS)

Los autores proponen UCCS, una intervención a nivel de representación que dirige la generación sin necesidad de reentrenamiento ni modificación de las heurísticas de decodificación. El método opera bajo la premisa de que la repetición puede controlarse mediante la inyección de vectores de dirección específicos en los estados ocultos, siempre que estos vectores se deriven de datos donde la repetición está desentrelazada de la utilidad estructural.

2.1 Cuantificación de la Repetición y la Utilidad

Para formalizar el problema, el artículo introduce dos métricas complementarias:

• Puntuación de Repetición ($R(x)$): Una métrica unificada que agrega:
  • Entropía a nivel de token ($H_{norm}$): Mide el desequilibrio global de aminoácidos.
  • Distinct-$n$ ($n=2,3$): Mide la diversidad de motivos locales.
  • Diversidad de homopolímeros ($R_{hpoly}$): Penaliza las series de residuos idénticos más largas que un umbral (por defecto $k=4$).
• Puntuación de Utilidad ($U(x)$): Derivada de proxies estructurales, específicamente el promedio de pLDDT (confianza local) y pTM (confianza de topología global) de AlphaFold.

2.2 Construcción del Conjunto de Datos Contrastivo

Un desafío central es que las secuencias de alta repetición se correlacionan naturalmente con una baja utilidad estructural. Para abordar esto, UCCS construye conjuntos de datos contrastivos ($D^+$ y $D^-$) que maximizan la diferencia en repetición ($\Delta R$) mientras restringen estrictamente la diferencia en utilidad ($\Delta U \le \epsilon$).

• Conjunto Positivo ($D^+$): Secuencias de baja repetición (proteínas naturales o generaciones de alta calidad de PLM).
• Conjunto Negativo ($D^-$): Secuencias de alta repetición (generaciones patológicas de PLM).
• Estrategia de Selección: Los autores utilizan la selección de frontera basada en Pareto o puntuación compuesta para asegurar que las secuencias seleccionadas tengan una plausibilidad estructural comparable a pesar de sus diferentes niveles de repetición.

2.3 Inyección del Vector de Dirección

Una vez establecidos los conjuntos contrastivos, se calcula un vector de dirección ($v_L$) en una capa de transformador específica $L$:
$$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$$
donde $\phi_L(x)$ es la representación de resumen de la secuencia (media agrupada para Modelos de Lenguaje Enmascarados, último token para modelos Autorregresivos).

Durante la inferencia, el vector se inyecta en los estados ocultos:
$$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$$
donde $\alpha$ es un escalar que controla la fuerza de la dirección. Esta operación suprime los patrones de repetición patológicos mientras preserva las características estructurales codificadas en el conjunto de datos emparejado por utilidad.

3. Contribuciones Clave

1. Caracterización Sistemática: El primer estudio sistemático que identifica la repetición patológica como un modo de fallo crítico en los PLM, categorizándola en repetición de nivel de motivo y de homopolímero.
2. Desarrollo de Métricas: Introducción de una puntuación de repetición unificada ($R(x)$) y una puntuación de utilidad ($U(x)$) para evaluar el compromiso entre diversidad y plegabilidad.
3. Método UCCS: Un método de dirección guiado por datos que desentrelaza el control de la repetición de la utilidad biológica, evitando la necesidad de reentrenar el modelo.
4. Evaluación Exhaustiva: Experimentos extensos a través de dos paradigmas de modelos (MLM enmascarado: ESM-3; Autorregresivo: ProtGPT2), tres conjuntos de datos (CATH, UniRef50, SCOP) y dos configuraciones de generación (incondicional y condicional).

4. Resultados Experimentales

El artículo evalúa UCCS frente a líneas base que incluyen los modelos originales, heurísticas de decodificación (temperatura, top-$p$, penalizaciones por repetición) e intervenciones a nivel de mecanismo (desactivación de neuronas, dirección de sondas).

• Rendimiento: UCCS logra consistentemente el mejor equilibrio, mejorando significativamente la puntuación de repetición $R(x)$ mientras mantiene o mejora ligeramente la puntuación de utilidad $U(x)$.
  • En ESM-3, UCCS mejoró $R(x)$ hasta en un 55% en la generación incondicional en CATH preservando la utilidad.
  • En ProtGPT2, UCCS redujo la repetición hasta en un 20% en comparación con el muestreo de temperatura sin violar las restricciones de utilidad.
• Comparación con Líneas Base:
  • Heurísticas de Decodificación: Aunque efectivas para aumentar la diversidad superficial, degradaron consistentemente la confianza estructural (menor pLDDT/pTM).
  • Líneas Base de Nivel de Mecanismo: La desactivación de neuronas y la dirección de sondas mostraron un rendimiento inestable, fallando a menudo en mejorar ambas métricas simultáneamente o degradando la utilidad.
• Estudios de Ablación:
  • Construcción del Conjunto de Datos: La selección estructurada (Pareto/Compuesta) superó a la selección aleatoria, particularmente en la reducción de la varianza.
  • Fuerza de Dirección ($\alpha$): Se encontró un rendimiento óptimo en $\alpha \approx 1.0 \sim 2.0$.
  • Inyección de Capa: La dirección efectiva ocurrió en las capas posteriores de la red (últimas capas para ESM-3; el último tercio para ProtGPT2).
• Generalización: El método fue validado adicionalmente en ProGen2 (autorregresivo) y DPLM (difusión), demostrando robustez a través de diferentes arquitecturas de generación.

5. Significado y Reivindicaciones

El artículo afirma establecer el control de la repetición como un desafío central para los PLM, distinto del problema de repetición en texto debido al impacto directo en la viabilidad estructural.

• Enfoque Principiado: Los autores argumentan que la dirección contrastiva guiada por datos ofrece una forma fundamentada de abordar el entrelazamiento de la repetición y la utilidad, algo que las heurísticas de decodificación no pueden resolver.
• Perspectiva Mecanicista: A través del sondeo por capas y el análisis de correlación a nivel de neurona, el artículo revela que la repetición es un fenómeno de representación distribuida que emerge tempranamente, se entrelaza en las capas medias y se agudiza en un estado atractor alineado con los logits en las capas finales. Se muestra que ESM-3 tiene un subespacio relacionado con la repetición más polarizado que ProtGPT2, lo que explica su degeneración más severa.
• Fiabilidad: El trabajo destaca que la generación fiable de proteínas requiere intervenciones que preserven la capacidad de plegado, posicionando a UCCS como un mecanismo "plug-and-play" que logra esto sin el coste computacional del reentrenamiento.

Los autores concluyen que, si bien la repetición patológica es un problema recién reconocido en el modelado de proteínas, controlar la repetición mediante la dirección de la representación es un paso necesario hacia la generación de proteínas de novo biológicamente viables.