Resumen Técnico: LOGICA (Alineación Contrastiva en el Espacio de Logits)

Declaración del Problema

Los modelos de lenguaje biológicos preentrenados (BioFMs) proporcionan distribuciones de probabilidad de tokens normalizadas que son esenciales para el diseño de secuencias, la puntuación de variantes y la interpretación mecanística. Sin embargo, estas distribuciones se aprenden de corpus amplios y no etiquetados, y carecen de condicionamiento sobre contextos biológicos específicos, tales como socios de interacción (p. ej., ligandos, péptidos), entornos celulares o intervenciones terapéuticas.

Los métodos existentes para el emparejamiento contextual generalmente se dividen en dos categorías, ambas de las cuales comprometen la utilidad nativa de los BioFMs:

1. Enfoques en el espacio latente: Estos métodos descartan la interfaz a nivel de token, aprendiendo puntuaciones de compatibilidad escalares a partir de embeddings agrupados o espacios latentes contrastivos. Si bien son efectivos para la recuperación, pierden las verosimilitudes específicas de posición necesarias para el análisis de mutaciones locales y la generación basada en verosimilitud.
2. Modelado de Lenguaje Enmascarado (MLM) Condicional: Estos métodos preservan la interfaz de token mediante el ajuste fino con objetivos condicionales. Sin embargo, las pérdidas de reconstrucción estándar fomentan la recuperación de tokens, pero no logran separar explícitamente los contextos emparejados (compatibles) de los desemparejados (incompatibles), particularmente cuando los datos biológicos emparejados son escasos o ruidosos.

El desafío central es alinear distintas modalidades biológicas (p. ej., proteína y fármaco, TCR y péptido) a través de diferentes vocabularios sin destruir la interfaz probabilística nativa a nivel de token que hace que estos modelos sean útiles para el ranking local de variantes y la generación.

Metodología: LOGICA

Los autores presentan LOGICA (Alineación Contrastiva en el Espacio de Logits), un marco que realiza el aprendizaje contrastivo directamente en el espacio de logits de salida de los modelos preentrenados, en lugar de en un espacio de embedding latente compartido.

Arquitectura Central

• Adaptadores que Preservan la Cabeza Nativa: LOGICA acopla dos modelos de lenguaje biológicos preentrenados (p. ej., ESM-2 para proteínas, SELFormer para ligandos) utilizando adaptadores cross-modales con compuertas (gated). Estos adaptadores inyectan información contextual en los estados ocultos de cada modelo, pero están diseñados para devolver actualizaciones que sigan siendo compatibles con la cabeza de tokens nativa de cada modelo.
• Puntuación en el Espacio de Logits: En lugar de agrupar los estados ocultos, LOGICA utiliza las log-verosimilitudes de tokens contextualizados resultantes como las puntuaciones de compatibilidad. Para una secuencia $x$ y un contexto $y$, la puntuación se define como el promedio por sitio de la log-verosimilitud condicional:
  $$s_{\text{LOGICA}}(x, y; A) = \frac{1}{|A|} \sum_{i \in A} \log \pi_\theta(x_i | x_{\setminus i}, y)$$
  donde $A$ es el conjunto de posiciones evaluadas (p. ej., sitios de mutación).
• Alineación Bidireccional: El marco soporta la puntuación bidireccional, combinando las verosimilitudes de ambas direcciones ($x|y$ y $y|x$) mediante una mezcla convexa aprendida para manejar las diferencias en la longitud de la secuencia y la entropía del vocabulario.
• Entrenamiento Contrastivo: El modelo se entrena utilizando un objetivo de tipo InfoNCE (o pérdida de Bradley-Terry para pares), donde los "positivos" son pares biológicos emparejados y los "negativos" se construyen manteniendo una modalidad fija y corrompiendo la otra (p. ej., mediante mutaciones puntuales aleatorias o intercambio de socios).

Ventaja Teórica: Cancelación Local de Mutaciones

Una contribución teórica clave es la propiedad de cancelación local de mutaciones. Al comparar dos variantes ($x_A, x_B$) de la misma secuencia de tipo silvestre ($x_{wt}$) bajo el mismo contexto, y si comparten el mismo conjunto de posiciones mutadas $M$, los términos de anclaje del tipo silvestre en la razón de verosimilitud se cancelan exactamente:
$$s_M(x_A, y; x_{wt}) - s_M(x_B, y; x_{wt}) = \frac{1}{|M|} \sum_{i \in M} \left( \log \pi_\theta(x^A_i | \dots) - \log \pi_\theta(x^B_i | \dots) \right)$$
Esto reduce el objetivo de ranking a una comparación directa de las verosimilitudes de los tokens mutantes condicionadas al contexto en los sitios perturbados. Esta reducción exacta no está disponible generalmente en los modelos de espacio latente, que comparan representaciones globales de secuencias donde los términos compartidos no se cancelan algebraicamente.

Contribuciones Clave

1. Alineación Contrastiva en el Espacio de Logits: Un marco novedoso que alinea distintas modalidades directamente en el espacio de logits de salida, preservando la interfaz de probabilidad de tokens nativa de los modelos preentrenados.
2. Adaptadores Cross-Modales con Compuertas: Un mecanismo que contextualiza los codificadores preentrenados sin reemplazar sus cabezas nativas, permitiendo el uso de datos emparejados dispersos a través de diferentes vocabularios sin un tokenizador o decodificador compartido.
3. Ranking de Variantes Local a la Mutación: Una demostración de que preservar la interfaz de nivel de token permite la cancelación exacta de los términos del tipo silvestre, permitiendo el ranking preciso de variantes basándose únicamente en la verosimilitud de los tokens mutados en presencia de un contexto biológico.
4. Interpretabilidad y Generación: Al retener la cabeza de tokens nativa, LOGICA soporta el mapeo de dependencias a nivel de token (identificando qué residuos del contexto influyen en posiciones específicas de la secuencia) y la generación condicionada al contexto mediante muestreo de Gibbs.

Resultados Experimentales

Los autores evaluaron LOGICA en tres tareas biológicas distintas:

1. Unión Proteína–Ligando y Resistencia

• Configuración: Acoplamiento de ESM-2 (proteína) y SELFormer (ligando) sobre datos de BindingDB.
• Rendimiento: LOGICA superó a las líneas base de contraste latente (LatentCA) y de MLM condicional (LOGIMLM) en pruebas estándar de interacción fármaco-objetivo (DAVIS, BindingDB, BioSNAP).
• Resistencia a Fármacos: En el ranking de variantes condicionadas a fármacos (predicción de mutaciones de resistencia para oncogenes como KRAS, BRAF, EGFR), LOGICA mejoró significamente el AUC (de ~0.55 para las líneas base latentes a ~0.65) y la correlación de Spearman. Los métodos de espacio latente no lograron mejorar respecto al azar a pesar del ajuste fino, resaltando la necesidad de la interfaz de verosimilitud local a la mutación.
• Escalabilidad: El rendimiento escaló con el tamaño del backbone (hasta 650M de parámetros) y mostró robustez en regímenes de pocos ejemplos (10–15% de datos etiquetados).

2. Reconocimiento TCR–Péptido

• Configuración: Acoplamiento de TCRLang (TCR) y ESM-2 (péptido) sobre datos de IEDB.
• Ranking Zero-Shot: LOGICA alcanzó un rendimiento estado del arte zero-shot en el ranking de variantes de péptidos y TCR contra datos experimentales de escaneo de mutaciones profundas (DMS) (ePytope, BATCAVE, ATLAS).
• Comparación: Superó significativamente a las líneas base de contraste latente y de clasificadores. Notablemente, mientras que el MLM condicional (LOGIMLM) se desempeñó cerca del azar, la alineación contrastiva de LOGICA separó eficazmente los pares funcionales de los vecinos cercanos disfuncionales.
• Mapeo de Dependencias: El modelo identificó con éxito dependencias de residuos cross-modales que se solapaban con contactos estructurales (AUC ~0.74 para contactos péptido–CDR3$\beta$), demostrando que los logits aprendidos codifican señales estructurales biológicamente significativas.

3. Caso de Estudio: Optimización de Péptidos

• En un caso de estudio para optimizar el péptido NLVPMVATV para el reconocimiento de TCR, LOGICA posicionó altamente las variantes que aumentan la actividad validada experimentalmente (p. ej., L2I, L2V) (3ª y 8ª de 171), demostrando su utilidad para el diseño generativo.

Significado y Reivindicaciones

El artículo sostiene que LOGICA ofrece una alternativa fundamentada a la alineación de espacio latente para los modelos de lenguaje fundacionales biológicos. Su principal importancia radica en preservar la semántica probabilística de los modelos preentrenados mientras los hace sensibles al contexto.

• Modularidad: El marco permite que el contexto biológico externo reforme las probabilidades de los tokens sin reemplazar el vocabulario o la arquitectura aprendida del modelo, lo que lo hace aplicable a diversos backbones (proteínas, receptores inmunes, moléculas pequeñas, ADN/ARN).
• Local vs. Global: Los autores enfatizan que muchas preguntas biológicas son inherentemente locales al token (p. ej., cómo un ligando cambia la plausibilidad de una sustitución de residuo específica). LOGICA aborda esto manteniendo la puntuación en el espacio de salida donde se codifican estas semánticas locales, mientras que los métodos latentes diluyen esta señal en embeddings globales.
• Compromiso (Trade-off): El artículo reconoce modestamente que LOGICA es menos eficiente computacionalmente que los modelos de doble codificador para la recuperación a gran escala (requiere evaluaciones específicas de pares de $O(NM)$ frente a $O(N+M)$ para codificadores duales). En consecuencia, se posiciona como un modelo de re-ranking, puntuación de variantes o de interacción generativa, más que como un motor de recuperación de primera etapa.

En resumen, LOGICA demuestra que la supervisión contrastiva puede aplicarse eficazmente a datos biológicos cross-modales dispersos mediante la alineación de modelos en el espacio de logits, preservando así la capacidad de interpretación y las capacidades generativas de los modelos de lenguaje preentrenados originales.