Resumo Técnico: LOGICA (Alinhamento Contrastivo no Espaço de Logits)

Definição do Problema

Modelos de linguagem biológicos pré-treinados (BioFMs) fornecem distribuições de probabilidade de tokens normalizadas, essenciais para o design de sequências, pontuação de variantes e interpretação mecanística. No entanto, essas distribuições são aprendidas a partir de corpora amplos e não rotulados, carecendo de condicionamento em contextos biológicos específicos, como parceiros de interação (ex: ligantes, peptídeos), ambientes celulares ou intervenções terapêuticas.

Os métodos existentes para correspondência contextual geralmente se dividem em duas categorias, ambas as quais comprometem a utilidade nativa dos BioFMs:

1. Abordagens no espaço latente: Estes métodos descartam a interface ao nível do token, aprendendo pontuações de compatibilidade escalares a partir de embeddings agrupados ou espaços latentes contrastivos. Embora eficazes para recuperação, eles perdem as verossimilhanças específicas de posição necessárias para análise de mutação local e geração baseada em verossimilhança.
2. Modelagem de Linguagem Mascarada (MLM) Condicional: Estes métodos preservam a interface de token através do ajuste fino com objetivos condicionais. No entanto, as perdas de reconstrução padrão incentivam a recuperação de tokens, mas falham em separar explicitamente contextos correspondidos (compatíveis) de não correspondidos (incompatíveis), particularmente quando os dados biológicos pareados são esparsos ou ruidosos.

O desafio central é alinhar distintas modalidades biológicas (ex: proteína e fármaco, TCR e peptídeo) através de diferentes vocabulários sem destruir a interface probabilística nativa ao nível do token que torna esses modelos úteis para ranking de variantes e geração local.

Metodologia: LOGICA

Os autores introduzem o LOGICA (Logit-space Contrastive Alignment), um framework que realiza o aprendizado contrastivo diretamente no espaço de logits de saída de modelos pré-treinados, em vez de em um espaço de embedding latente compartilhado.

Arquitetura Central

• Adaptadores Preservadores da Cabeça Nativa: O LOGICA acopla dois modelos de linguagem biológica pré-treinados (ex: ESM-2 para proteínas, SELFormer para ligantes) usando adaptadores cross-modais com portão (gated). Esses adaptadores injetam informação contextual nos estados ocultos de cada modelo, mas são projetados para retornar atualizações que permaneçam compatíveis com a cabeça de token nativa de cada modelo.
• Pontuação no Espaço de Logits: Em vez de agrupar (pooling) estados ocultos, o LOGICA utiliza as log-verossimilhanças de tokens contextualizados resultantes como pontuações de compatibilidade. Para uma sequência $x$ e contexto $y$, a pontuação é definida como a média de sítio da log-verossimilhança condicional:
  $$s_{\text{LOGICA}}(x, y; A) = \frac{1}{|A|} \sum_{i \in A} \log \pi_\theta(x_i | x_{\setminus i}, y)$$
  onde $A$ é o conjunto de posições avaliadas (ex: sítios de mutação).
• Alinhamento Bidirecional: O framework suporta pontuação bidirecional, combinando verossimilhanças de ambas as direções ($x|y$ e $y|x$) via uma mistura convexa aprendida para lidar com diferenças de comprimento de sequência e entropia de vocabulário.
• Treinamento Contrastivo: O modelo é treinado usando um objetivo do tipo InfoNCE (ou perda de Bradley-Terry para pares), onde os "positivos" são pares biológicos correspondentes e os "negativos" são construídos mantendo uma modalidade fixa e corrompendo a outra (ex: via mutações pontuais aleatórias ou troca de parceiro).

Vantagem Teórica: Cancelamento Local de Mutação

Uma contribuição teórica fundamental é a propriedade de cancelamento local de mutação. Ao comparar duas variantes ($x_A, x_B$) da mesma sequência selvagem ($x_{wt}$) sob o mesmo contexto, e elas compartilharem o mesmo conjunto de posições mutadas $M$, os termos âncora da selvagem nos rácios de verossimilhança se cancelam exatamente:
$$s_M(x_A, y; x_{wt}) - s_M(x_B, y; x_{wt}) = \frac{1}{|M|} \sum_{i \in M} \left( \log \pi_\theta(x^A_i | \dots) - \log \pi_\theta(x^B_i | \dots) \right)$$
Isso reduz o objetivo de ranking a uma comparação direta de verossimilhanças de tokens mutantes condicionadas ao contexto nos sítios perturbados. Esta redução exata não está disponível genericamente em modelos de espaço latente, que comparam representações globais de sequência onde termos compartilhados não se cancelam algebricamente.

Principais Contribuições

1. Alinhamento Contrastivo no Espaço de Logits: Um novo framework que alinha distintas modalidades diretamente no espaço de logit de saída, preservando a interface de probabilidade de token nativa dos modelos pré-treinados.
2. Adaptadores Cross-Modais com Portão: Um mecanismo que contextualiza encoders pré-treinados sem substituir suas cabeças nativas, permitindo o uso de dados pareados esparsos através de diferentes vocabulários sem um tokenizer ou decoder compartilhado.
3. Ranking de Variantes Local à Mutação: Uma demonstração de que preservar a interface de token permite o cancelamento exato de termos selvagens, possibilitando o ranking preciso de variantes baseado apenas na verossimilhança dos tokens mutantes na presença de um contexto biológico.
4. Interpretabilidade e Geração: Ao manter a cabeça de token nativa, o LOGICA suporta o mapeamento de dependência ao nível do token (identificando quais resíduos de contexto influenciam posições específicas da sequência) e geração condicionada ao contexto via amostragem de Gibbs.

Resultados Experimentais

Os autores avaliaram o LOGICA em três tarefas biológicas distintas:

1. Ligação Proteína–Ligante e Resistência

• Configuração: Acoplamento de ESM-2 (proteína) e SELFormer (ligante) em dados do BindingDB.
• Desempenho: O LOGICA superou os baselines de contraste latente (LatentCA) e os baselines de MLM condicional (LOGIMLM) em benchmarks padrão de interação fármaco-alvo (DAVIS, BindingDB, BioSNAP).
• Resistência a Fármacos: No ranking de variantes condicionadas a fármacos (prevendo mutações de resistência para oncogenes como KRAS, BRAF, EGFR), o LOGICA melhorou significativamente o AUC (de ~0,55 para baselines latentes para ~0,65) e a correlação de Spearman. Métodos de espaço latente falharam em melhorar além do aleatório apesar do ajuste fino, destacando a necessidade da interface de verossimilhança local ao mutante.
• Escalabilidade: O desempenho escalou com o tamanho do backbone (até 650M de parâmetros) e mostrou robustez em regimes de poucos disparos (few-shot) (10–15% de dados rotulados).

2. Reconhecimento TCR–Peptídeo

• Configuração: Acoplamento de TCRLang (TCR) e ESM-2 (peptídeo) em dados do IEDB.
• Ranking Zero-Shot: O LOGICA alcançou desempenho estado-da-arte zero-shot no ranking de variantes de peptídeos e TCR contra dados experimentais de varredura de mutação profunda (DMS) (ePytope, BATCAVE, ATLAS).
• Comparação: Superou significativamente os baselines de contraste latente e de classificador. Notavelmente, enquanto o MLM condicional (LOGIMLM) performou próximo ao aleatório, o alinhamento contrastivo do LOGICA separou efetivamente vizinhos próximos funcionais de pares interrompidos.
• Mapeamento de Dependência: O modelo identificou com sucesso dependências de resíduos cross-modais que se sobrepunham a contatos estruturais (AUC ~0,74 para contatos peptídeo–CDR3$\beta$), demonstrando que os logits aprendidos codificam sinais estruturais biologicamente significativos.

3. Estudo de Caso: Otimização de Peptídeo

• Em um estudo de caso otimizando o peptídeo NLVPMVATV para reconhecimento de TCR, o LOGICA classificou altamente variantes que aumentam a atividade experimentalmente validadas (ex: L2I, L2V) (3º e 8º de 171), demonstrando sua utilidade para design generativo.

Significância e Alegações

O artigo afirma que o LOGICA oferece uma alternativa fundamentada ao alinhamento de espaço latente para modelos de fundação biológica. Sua principal significância reside em preservar a semântica probabilística dos modelos pré-treinados enquanto os torna sensíveis ao contexto.

• Modularidade: O framework permite que o contexto biológico externo reformule as probabilidades de tokens sem substituir o vocabulário ou a arquitetura aprendida do modelo, tornando-o aplicável a diversos backbones (proteínas, receptores imunes, pequenas moléculas, DNA/RNA).
• Local vs. Global: Os autores enfatizam que muitas questões biológicas são inerentemente locais ao token (ex: como um ligante altera a plausibilidade de uma substituição de resíduo específica). O LOGICA aborda isso ao manter a pontuação no espaço de saída onde essas semânticas locais são codificadas, enquanto métodos latentes diluem esse sinal em embeddings globais.
• Compromisso (Trade-off): O artigo reconhece modestamente que o LOGICA é menos eficiente computacionalmente do que modelos de dual-encoder para recuperação em escala massiva (exigindo $O(NM)$ avaliações específicas de par vs. $O(N+M)$ para dual encoders). Consequentemente, ele é posicionado como um modelo de reclassificação (reranking), pontuação de variantes ou interação condicionada, em vez de um motor de recuperação de primeira etapa.

Em resumo, o LOGICA demonstra que o aprendizado contrastivo pode ser aplicado efetivamente a dados biológicos cross-modais esparsos ao alinhar modelos no espaço de logits, mantendo assim a interpretabilidade e as capacidades generativas dos modelos de linguagem pré-treinados originais.