Resumo Técnico: Controlando a Repetição em Modelos de Linguagem de Proteínas

1. Definição do Problema

Os Modelos de Linguagem de Proteínas (PLMs) avançaram na predição de estruturas e no design de proteínas de novo, mas sofrem de um modo de falha específico: a repetição patológica. Diferente da linguagem natural, onde a repetição reduz primariamente a legibilidade, nas proteínas, ela leva a sequências com baixa diversidade estrutural, dobras instáveis e propriedades biológicas não funcionais.

O artigo identifica duas formas canônicas desta falha:

1. Repetição ao nível de motivo: Fragmentos de $n$-gramas curtos (ex: dipeptídeos ou tripeptídeos) recorrem ciclicamente (ex: AGAGAG).
2. Repetição de homopolímero: Resíduos de aminoácidos únicos estendem-se em longas corridas (ex: AAAAAA).

Soluções existentes de Processamento de Linguagem Natural (NLP), como heurísticas de decodificação (escalonamento de temperatura, amostragem top-$p$, penalidades de repetição), frequentemente falham no domínio proteico. Esses métodos tendem a trocar a redução de repetição por utilidade estrutural, frequentemente diminuindo os escores de confiança do AlphaFold (pLDDT, pTM) e tornando as proteínas geradas biologicamente implausíveis. Além disso, a repetição e a utilidade estrutural estão intimamente entrelaçadas nos PLMs, tornando difícil o desmembramento delas sem o retreinamento.

2. Metodologia: Direcionamento Contrastivo Controlado por Utilidade (UCCS)

Os autores propõem o UCCS, uma intervenção ao nível de representação que direciona a geração sem retreinar ou modificar as heurísticas de decodificação. O método opera sob a premissa de que a repetição pode ser controlada injetando vetores de direcionamento específicos nos estados ocultos, desde que esses vetores sejam derivados de dados onde a repetição é desmembrada da utilidade estrutural.

2.1 Quantificando Repetição e Utilidade

Para formalizar o problema, o artigo introduz dois métricas complementares:

• Escore de Repetição ($R(x)$): Uma métrica unificada que agrega:
  • Entropia ao nível de token ($H_{norm}$): Mede o desequilíbrio global de aminoácidos.
  • Distinct-$n$ ($n=2,3$): Mede a diversidade de motivos locais.
  • Diversidade de homopolímero ($R_{hpoly}$): Penaliza corridas de resíduos idênticos mais longas que um limiar (padrão $k=4$).
• Escore de Utilidade ($U(x)$): Derivado de proxies estruturais, especificamente a média do pLDDT (confiança local) e do pTM (confiança de topologia global) do AlphaFold.

2.2 Construção do Conjunto de Dados Contrastivo

Um desafio central é que sequências de alta repetição naturalmente correlacionam-se com baixa utilidade estrutural. Para abordar isso, o UCCS constrói conjuntos de dados contrastivos ($D^+$ e $D^-$) que maximizam a diferença em repetição ($\Delta R$) enquanto restringem estritamente a diferença em utilidade ($\Delta U \le \epsilon$).

• Conjunto Positivo ($D^+$): Sequências de baixa repetição (proteínas naturais ou gerações de alta qualidade de PLMs).
• Conjunto Negativo ($D^-$): Sequências de alta repetição (gerações patológicas de PLMs).
• Estratégia de Seleção: Os autores utilizam seleção baseada em fronteira de Pareto ou pontuação composta para garantir que as sequências selecionadas possuam comparabilidade em plausibilidade estrutural, apesar de seus diferentes níveis de repetição.

2.3 Injeção de Vetor de Direcionamento

Uma vez estabelecidos os conjuntos contrastivos, um vetor de direcionamento ($v_L$) é computado em uma camada específica do transformer $L$:
$$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$$
onde $\phi_L(x)$ é a representação de resumo da sequência (mean-pooling para Modelos de Linguagem Mascarada, last-token para modelos Autorregressivos).

Durante a inferência, este vetor é injetado nos estados ocultos:
$$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$$
onde $\alpha$ é um escalar que controla a força do direcionamento. Esta operação suprime padrões de repetição patológicos enquanto preserva as características estruturais codificadas no conjunto de dados pareado por utilidade.

3. Principais Contribuições

1. Caracterização Sistemática: O primeiro estudo sistemático identificando a repetição patológica como um modo de falha crítico em PLMs, categorizando-a em repetição de nível de motivo e de homopolímero.
2. Desenvolvimento de Métricas: Introdução de um escore de repetição unificado ($R(x)$) e um escore de utilidade ($U(x)$) para avaliar o compromisso entre diversidade e dobrabilidade.
3. Método UCCS: Um método de direcionamento guiado por dados que desmembra o controle de repetição da utilidade biológica, evitando a necessidade de retreinar o modelo.
4. Avaliação Abrangente: Experimentos extensos através de dois paradigmas de modelo (MLM mascarado: ESM-3; Autorregressivo: ProtGPT2), três conjuntos de dados (CATH, UniRef50, SCOP) e duas configurações de geração (incondicional e condicional).

4. Resultados Experimentais

O artigo avalia o UCCS contra baselines incluindo os modelos originais, heurísticas de decodificação (temperatura, top-$p$, penalidades de repetição) e intervenções ao nível de mecanismo (desativação de neurônios, direcionamento de sonda).

• Desempenho: O UCCS alcança consistentemente o melhor equilíbrio, melhorando significativamente o escore de repetição $R(x)$ enquanto mantém ou melhora levemente o escore de utilidade $U(x)$.
  • No ESM-3, o UCCS melhorou $R(x)$ em até 55% na geração incondicional no CATH, preservando a utilidade.
  • No ProtGPT2, o UCSS reduziu a repetição em até 20% em relação à amostragem de temperatura sem violar as restrições de utilidade.
• Comparação com Baselines:
  • Heurísticas de Decodificação: Embora eficazes em aumentar a diversidade superficial, elas consistentemente degradaram a confiança estrutural (menor pLDDT/pTM).
  • Baselines de Nível de Mecanismo: Desativação de neurônios e direcionamento de sonda mostraram desempenho instável, frequentemente falhando em melhorar ambos os métricas simultaneamente ou degradando a utilidade.
• Estudos de Ablação:
  • Construção do Conjunto de Dados: A seleção estruturada (Pareto/Composta) superou a amostragem aleatória, particularmente na redução da variância.
    • Força de Direcionamento ($\alpha$): O desempenho ideal foi encontrado em $\alpha \approx 1.0 \sim 2.0$.
  • Injeção de Camada: O direcionamento eficaz ocorreu nas camadas posteriores da rede (últimas camadas para ESM-3; último terço para ProtGPT2).
• Generalização: O método foi validado adicionalmente no ProGen2 (autorregressivo) e DPLM (difusão), demonstrando robustez através de diferentes arquiteturas de geração.

5. Significância e Alegações

O artigo afirma estabelecer o controle de repetição como um desafio central para PLMs, distinto do problema de repetição baseado em texto devido ao impacto direto na viabilidade estrutural.

• Abordagem Principiada: Os autores argumentam que o direcionamento contrastivo guiado por dados oferece uma maneira fundamentada de abordar o entrelaçamento de repetição e utilidade, o qual as heurísticas de decodificação não conseguem resolver.
• Insight Mecanístico: Através de sondagem camada a camada e análise de correlação de neurônios, o artigo revela que a repetição é um fenômeno representacional distribuído que emerge cedo, torna-se entrelaçada nas camadas médias e se afunila em um estado atrator alinhado aos logits nas camadas finais. Demonstra-se que o ESM-3 possui um subespaço relacionado à repetição mais polarizado que o ProtGPT2, explicando sua degeneração mais severa.
• Confiabilidade: O trabalho destaca que a geração confiável de proteínas requer intervenções que preservem a dobrabilidade, posicionando o UCCS como um mecanismo plug-and-play que alcança isso sem o custo computacional do retreinamento.

Os autores concluem que, embora a repetição patológica seja um problema recém-reconhecido na modelagem de proteínas, controlar a repetição via direcionamento de representação é um passo necessário para gerar proteínas de novo biologicamente viáveis.