Viral Proteins Reveal Geometry of Protein Language Models

Resumen Técnico: Las proteínas virales revelan la geometría de los modelos de lenguaje de proteínas

Planteamiento del problema
Los modelos de lenguaje de proteínas (pLM) se entrenan con conjuntos de datos altamente desequilibrados, dominados por organismos celulares, lo que plantea interrogantes sobre cómo representan a grupos biológicos subrepresentados. Las proteínas virales, que son evolutivamente distintas y están moldeadas por diferentes restricciones (por ejemplo, dependencia del huésped, altas tasas de mutación), son menos abundantes en los datos de preentrenamiento estándar. Aunque los pLM funcionan bien en benchmarks estándar, presentan dificultades con la predicción de efectos de mutación viral. Las preguntas centrales abordadas son: (1) ¿Se explica la separación de las proteínas virales en el espacio de incrustación (embedding) principalmente por una menor "natividad" (es decir, están menos bien modeladas por la distribución de preentrenamiento)? y (2) Más allá de esta brecha de natividad, ¿conservan las incrustaciones información viral específica que no es capturada por la dificultad de reconstrucción o por características de secuencia superficiales?

Metodología
Los autores analizan las representaciones de proteínas virales a través de tres familias de pLM (ESM2, ESMC y ESM3) que abarcan más de tres órdenes de magnitud en recuento de parámetros.

• Conjuntos de datos: El estudio utiliza un conjunto de datos biológicos multiorganismo que comprende diez grupos: seis celulares (bacterias, arqueas, plantas, hongos, insectos, humanos no virales) y cuatro virales (bacteriófagos, humanos, plantas, invertebrados). Los controles incluyen secuencias celulares/virales permutadas por posición y secuencias aleatorias uniformes i.i.d. Se utiliza un conjunto de datos específico de clasificación viral/celular humana (5,203 secuencias virales frente a 5,197 celulares) para la evaluación downstream.
• Métrica de natividad: Se utiliza la perplejidad de reconstrucción enmascarada (PPL) como una medida de natividad relativa al modelo. Una PPL baja indica que una secuencia está mejor modelada por la distribución de preentrenamiento.
• Análisis geométrico: Se aplica el Análisis de Componentes Principales (PCA) a las incrustaciones de secuencias con promedio de pooling (mean-pooled) para identificar los ejes dominantes de varianza. La alineación entre el primer componente principal (PC1) y la PPL se mide mediante correlación.
• Análisis de escalado: Se rastrea la fracción de secuencias virales que caen por debajo de un umbral de PPL similar al de una secuencia nativa a través de las escalas de los modelos para evaluar cómo el escalado afecta a las diferentes familias virales.
• Evaluación de clasificación: Para determinar si la señal viral persiste más allá de la dificultad de reconstrucción, los autores comparan tres clasificadores en un conjunto de prueba no utilizado (held-out):
  1. Un probe lineal (regresión logística) entrenado en incrustaciones con promedio de pooling.
  2. Un clasificador zero-shot basado únicamente en la PPL negada.
  3. Baselines superficiales basados en la longitud de la secuencia, la composición de aminoácidos y la composición de dipéptidos.

Contribuciones clave y resultados

1. Un eje de natividad dominante:
   El estudio identifica un "eje de natividad" dominante (PC1) en el espacio de representación de los pLM que explica una gran parte de la varianza (por ejemplo, 73.1% en ESMC-600M). Este eje está fuertemente alineado con la perplejidad de reconstrucción enmascarada ($\rho \approx +0.96$). Ordena las secuencias desde proteínas celulares bien modeladas (PPL baja) pasando por proteínas virales (PPL intermedia) hasta secuencias permutadas/aleatorias biológicamente sin sentido (PPL alta). Esta estructura geométrica es consistente en las familias ESM y se extiende a los modelos autorregresivos (ProGen2) y de difusión (EvoDiff), lo que sugiere que es una propiedad general de los modelos de secuencias enmascaradas entrenados con datos biológicos desequilibrados.

2. Efectos de escalado heterogéneos:
   Aumentar la escala del modelo contrae el eje de natividad, pero el efecto es desigual entre las familias virales. Mientras que la fracción promedio de proteínas virales "similares a las nativas" aumenta con la escala, familias específicas responden de manera diferente. Por ejemplo, Papillomaviridae y Retroviridae se desplazan significativamente hacia la región nativa a medida que los modelos escalan, mientras que familias como Orthomyxoviridae y Orthoherpesviridae permanecen persistentemente desplazadas incluso en las escalas más grandes (por ejemplo, 6B de parámetros). El artículo sugiere que esta heterogeneidad puede estar vinculada a la presencia de homólogos celulares; Retroviridae, que comparte dominios con retrotransposones eucariotas, es más compatible con el prior dominado por células.

3. Señal viral residual más allá de la natividad:
   Crucialmente, el estudio demuestra que la identidad viral está codificada linealmente en las incrustaciones más allá de lo que captura la dificultad de reconstrucción. Los probes lineales entrenados en las incustaciones logran una precisión cercana al techo (AUC $\in [0.97, 1.00]$) en todas las escalas, superando significativamente tanto a los clasificadores zero-shot basados en PPL como a los baselines de secuencias superficiales.

• Divergencia de escala: A medida que los modelos escalan, la discriminación basada en PPL a menudo se debilita o se vuelve no monotónica (disminuye para modelos muy grandes como ESM2-15B) porque algunas proteínas virales se vuelven más fáciles de reconstruir (PPL más baja), reduciendo la separación disponible solo desde la PPL. Sin embargo, el probe de incrustación lineal mantiene un alto rendimiento, indicando que las incrustaciones preservan señales estructurales o funcionales virales específicos que no son meros artefactos de la dificultad de reconstrucción.
• Robustez: Esta separabilidad se mantiene incluso cuando la clase negativa se restringe a proteínas del huésped humano (mismo huésped) y en la validación cruzada de dejar una familia fuera (leave-one-family-out), confirmando que la señal no se debe a la memorización de motivos específicos de la familia o diferencias taxonómicas amplias.

Significancia y afirmaciones
El artículo afirma que las representaciones de los pLM están estructuradas por una noción general de "natividad" relativa al prior de preentrenamiento, lo que sitúa a las proteínas virales en una región intermedia desplazada pero estructurada. Sin embargo, este desplazamiento no implica una pérdida de información; más bien, las incrustaciones retienen señales virales distintas que son linealmente accesibles.

Los autores sugieren que la "natividad" (PPL baja) puede servir como una herramienta de diagnóstico: las familias con baja natividad pueden requerir predicciones zero-shot más cautelosas. Además, la capacidad de las incrustaciones para distinguir secuencias virales de las celulares mediante métodos de homología sugiere una utilidad potencial para el cribado de bioseguridad, particularmente para la detección de variantes diseñadas o altamente divergentes que los filtros de homología estándar podrían pasar por alto. El trabajo se posiciona como una contribución a la evaluación de modelos biológicos más seguros en lugar de al despliegue de capacidades, destacando la necesidad de comprender cómo los modelos fundacionales representan a los grupos biológicos subrepresentados.