🤖 machine learning

Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian

Este artigo demonstra que os sinais de contato de proteínas, anteriormente extraídos via o computacionalmente caro Jacobiano Categórico exigindo aproximadamente 19L passagens de ida, já estão concentrados em um pequeno subconjunto de cabeças de atenção que podem ser identificadas com dados rotulados mínimos para alcançar um desempenho superior ou comparável em uma única passagem de ida em benchmarks livres de vazamento.

Autores originais: Rome Thorstenson

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rome Thorstenson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: Encontrando um Atalho no "Cérebro" de Proteínas

Imagine um modelo de linguagem de proteína (PLM) como um estudante superinteligente que leu milhões de sequências de proteínas. Por causa disso, o estudante aprendeu como as proteínas se dobram em formas 3D, mesmo sem nunca ter sido explicitamente ensinado geometria.

Cientistas têm tentado "ler a mente" desse estudante para ver quais partes da proteína se conectam (contatos) para formar essa forma 3D.

O Jeito Antigo (O "Jacobiano Categórico"):
Anteriormente, o melhor método era como um detetive muito minucioso, mas exaustivo. Para descobrir se duas partes de uma proteína são amigas, o detetive faria o seguinte:

Pegaria a proteína.
Mudaria a primeira letra da sequência para cada outra letra possível (19 vezes).
Observaria como a resposta do estudante muda.
Repetiria isso para cada uma das letras da proteína.

Se uma proteína tem 300 letras, esse detetive tem que passar o estudante pelo teste 5.700 vezes (300 letras × 19 mudanças) apenas para obter uma resposta. É preciso, mas é incrivelmente lento e computacionalmente caro.

O Jeito Novo (A "Fusão de Atenção"):
Este artigo argumenta que o estudante, na verdade, já escreveu a resposta em suas notas enquanto lia a proteína pela primeira vez. Essas notas são chamadas de "mapas de atenção".

Os autores descobriram que, se você olhar as notas do estudante, a informação sobre quais partes da proteína se conectam já está lá, concentrada em apenas alguns "cabeças" específicos (pense neles como cadernos ou páginas específicas no cérebro do estudante).

Em vez de passar o teste 5.700 vezes, o novo método simplesmente:

Passa a proteína pelo estudante uma única vez.
Olha para as páginas específicas (cabeças de atenção) onde o estudante escreveu as notas sobre "conexão".
Faz a média dessas páginas para obter a resposta.

O Resultado: O novo método é tão preciso (e muitas vezes melhor) quanto o antigo método do detetive, mas leva apenas uma única passagem em vez de milhares. É como encontrar uma colinha no final do livro didático em vez de reeduzir toda a fórmula do zero.

Explicação das Principais Descobertas

1. O Problema do "Vazamento" (O Teste de Trapaça)

Os autores notaram que estudos anteriores poderiam estar "trapaceando". As proteínas de teste usadas para avaliar esses modelos eram, às vezes, semelhantes às proteínas que o estudante já havia memorizado durante o treinamento. É como dar a um aluno um exame final que usa questões que ele já viu nos exercícios de casa.

Para corrigir isso, os autores criaram um teste "livre de vazamento". Eles usaram apenas proteínas que foram descobertas depois que o estudante terminou de estudar.

O que aconteceu? Quando removeram a vantagem da "trapaça", o antigo método do detetive (Jacobiano Categórico) piorou muito. O novo método da "colinha" (Fusão de Atenção) manteve-se forte.
A Conclusão: O método antigo dependia parcialmente da memória do estudante sobre as perguntas específicas do teste. O novo método realmente entende a estrutura.

2. Cadernos "Difusos" vs. "Concentrados"

Os autores descobriram que diferentes modelos escrevem suas notas de formas diferentes:

Modelos Concentrados: Alguns modelos escrevem a resposta em apenas um caderno específico. Se você olhar para esse único caderno, você obtém a resposta.
Modelos Difusos: Outros modelos espalham a resposta por muitos cadernos. Nenhum caderno sozinho tem a imagem completa, mas se você fizer a média de todos eles, a resposta aparece.

O artigo mostra que você pode descobrir qual tipo de modelo você tem olhando para alguns exemplos e, então, saberá se deve olhar para um caderno ou fazer a média de dez.

3. O Beco Sem Saída "Causal"

Os autores testaram um tipo diferente de modelo (um modelo "Causal") que lê proteínas como uma frase, da esquerda para a direita, sem olhar para trás.

O Resultado: Tanto o antigo método do detetive quanto o novo método da colinha falharam completamente nesses modelos.
A Conclusão: Isso sugere que, para entender como as proteínas se conectam em 3D, o modelo precisa ser capaz de olhar para a proteína inteira de uma vez (bidirecional), e não apenas ler palavra por palavra.

4. Velocidade e Custo

A diferença de velocidade é massiva.

Método Antigo: Se você quiser analisar 1.000 proteínas, o método antigo pode custar centenas de dólares em tempo de computador porque tem que rodar a simulação milhares de vezes por proteína.
Método Novo: Custa uma fração disso porque só roda uma vez por proteína. É como a diferença entre contar manualmente cada grão de areia em uma praia versus tirar uma foto de satélite e usar um algoritmo simples para estimar o total.

Resumo

O artigo afirma que os modelos de proteína já sabem como as proteínas se dobram; eles apenas escondem esse conhecimento em seus mecanismos internos de "atenção". Ao aprender a ler essas notas específicas diretamente, podemos prever estruturas de proteínas de forma muito mais rápida e precisa do que antes, sem precisar rodar milhares de simulações caras. Isso funciona melhor em modelos que podem olhar para a proteína inteira de uma vez (bidirecionais) e mantém sua eficácia mesmo quando testamos os modelos em dados novos que eles nunca viram antes.

Resumo Técnico: Contatos de Proteínas já estão na Atenção

Declaração do Problema

Modelos de Linguagem de Proteínas (PLMs) treinados em vastos corpora de sequências não rotuladas aprendem representações ricas da estrutura de proteínas. Uma questão central é se esse conhecimento estrutural pode ser extraído sem treinamento supervisionado em rótulos de estrutura. Zhang et al. [2024] propuseram o Jacobiano Categórico Padrão (CJ) como uma solução: ao perturbar cada resíduo com cada aminoácido alternativo e medir a resposta nos logits do modelo de linguagem mascarada (MLM), é possível reconstruir um mapa de contatos. Embora o CJ alcance alta precisão (P@L ≈ 0,80 em certos benchmarks), ele é computacionalmente caro, exigindo aproximadamente $19L$ passagens para frente (forward passes) para uma proteína de comprimento $L$ . Além disso, o CJ está estruturalmente vinculado a arquiteturas com um cabeçalho categórico por posição (MLMs bidirecionais mascarados), limitando sua aplicabilidade a modelos codificador-decodificador ou causais.

Avaliações recentes também levantaram preocupações sobre vazamento de dados (data leakage), onde os corpora de pré-treinamento podem sobrepor-se aos conjuntos de avaliação, inflando as métricas de desempenho. Há uma necessidade de um método que seja computacionalmente eficiente, aplicável a diversas arquiteturas e robusto ao vazamento de pré-treinamento.

Metodologia

Os autores propõem que o sinal de contato reconstruído pelo Jacobiano Categórico já está explicitamente presente nos mapas de atenção do modelo, concentrado em um subconjunto pequeno e identificável de cabeças de atenção.

1. Fusão de Atenção Top-K

Em vez de perturbar as entradas, o método proposto extrai sinais de contato diretamente dos mecanismos de atenção do PLM:

Extração: Para cada cabeça de atenção, o mapa de atenção é simetrizado, o diagonal é zerado e corrigido usando a Correção de Produto Médio (APC).
Seleção: As cabeças são classificadas por sua capacidade de prever contatos (medida pela precisão de longo alcance top-L/2) em um pequeno conjunto de seleção rotulado e disjunto (tão pouco quanto 10 proteínas).
Fusão: As $K$ melhores cabeças selecionadas são combinadas usando uma média aritmética simples e não ponderada. Isso requer apenas uma passagem para frente por proteína durante a inferência.
Eficiência de Rótulo: A seleção das melhores $K$ cabeças é o único passo supervisionado, exigindo um orçamento mínimo de proteínas rotuladas (10 para seleção, 50 para um controle de orçamento correspondente contra regressão supervisionada).

2. Representação-CJ (Repr-CJ)

Para comparar com o CJ em arquiteturas que carecem de um cabeçalho MLM (ex: modelos codificador-decodificador ou causais), os autores introduzem o Representação-CJ. Ele generaliza a construção do Jacobiano substituindo a resposta do logit pela resposta do estado oculto:
$J_{repr}[i, a', j] = \| h_{i \to a'}[\ell, j] - h_{unpert}[\ell, j] \|_2$
onde $h$ representa o estado oculto na posição $j$ e camada $\ell$ quando o resíduo $i$ é perturbado para o aminoácido $a'$ . Isso mantém o mesmo custo computacional ( $19L + 1$ passagens para frente) do logit-CJ, mas aplica-se a qualquer arquitetura que exponha estados ocultos.

3. Protocolo de Avaliação

O estudo emprega uma estratégia de avaliação de vazamento-limpo (leakage-clean) para garantir que os resultados não sejam artefatos de sobreposição de pré-treinamento:

CAMEO-PTA25: Um conjunto de avaliação primário consistindo em cadeias de proteínas depositadas após o corte de pré-treinamento dos modelos (pós-2022-09), filtradas contra UniRef50 atual com 50% de identidade.
Seleção Disjunta: A seleção de cabeças e a avaliação são realizadas em subconjuntos disjuntos de dados para evitar vazamento de informação.
Baselines: O método é comparado contra o Jacobiano Categórico Padrão (logit-CJ), a melhor cabeça de atenção individual e baselines de regressão logística L1 supervisionada.

Principais Contribuições

Eficiência e Desempenho: O método de fusão de atenção Top-K recupera sinais de contato em uma única passagem para frente, superando o Jacobiano Cográfico em dados de vazamento-limpo para cada modelo bidirecional testado (família ESM-2, ESM-1b, ProtT5-XL).
Validação de Vazamento-Limpo: Em um split CAMEO livre de vazamento, o método de fusão supera significativamente o CJ (ex: +9 pontos percentuais no ESM-2-650M). Crucialmente, nesses dados limpos, o Jacobiano Categórico não supera mais a melhor cabeça de atenção individual, sugerindo que sua superioridade anterior in-distribution foi parcialmente devida à memorização.
Generalização Arquitetural: Os autores demonstram que o sinal de contato existe em modelos codificador-decodificador (ProtT5-XL) via fusão de atenção e introduzem o Repr-CJ para estender a análise baseada em Jacobiano a essas arquiteturas.
Insight Mecanístico (Difusão): O número ideal de cabeças ( $K$ $K$ ) para fundir depende da "difusão" do sinal de contato dentro do modelo.
- Clusters Concentrados: Alguns modelos (ex: ESM-2-8M, AMPLIFY-350M) concentram o sinal em uma única cabeça dominante; a média de mais cabeças dilui o sinal.
- Clusters Difusos: Modelos maiores (ex: ESM-2-650M, ProtT5-XL) espalham o sinal por muitas cabeças; a média é necessária para recuperar o consenso.
Limitação de Modelos Causais: Tanto o método de fusão quanto o CJ colapsam em modelos de linguagem causais (ProGen2-large e -xlarge), sugerindo que o pré-treinamento bidirecional é necessário para que os mecanismos de atenção codifiquem estruturas de pares simétricos.

Resultados

Lacuna de Desempenho: Em dados de vazamento-limpo, a fusão vence o CJ por aproximadamente 9 pontos percentuais no ESM-2-650M. Ambos os métodos caem de 30 a 36 pontos percentuais em precisão absoluta ao passar do benchmark in-distribution (Zhang eval-200) para o de vazamento-limpo (CAMEO-PTA25), indicando que os resultados anteriores de predição de contato não supervisionada foram significativamente inflados pela sobreposição de pré-treinamento.
Supervisionado vs. Não Supervisionado: Com um orçamento de rótulos correspondente (50 proteínas), uma média não ponderada das melhores $K$ cabeças performa estatisticamente indistinguível de um ajuste de regressão logística L1 supervisionada nas mesmas cabeças. Isso implica que a seleção de cabeças é o principal motor do desempenho, não a forma paramétrica da leitura (readout).
Economia de Computação: A fusão requer uma passagem para frente por proteína, enquanto o CJ requer $\sim 19L$ . O ponto de equilíbrio para o custo computacional é inferior a 20 proteínas de teste, tornando a fusão vastamente mais eficiente para aplicações de larga escala.
Validação do Repr-CJ: O Repr-CJ correlaciona-se fortemente com o logit-CJ (Pearson $r > 0,90$ ) em arquiteturas onde ambos são definidos, validando-o como uma generalização fiel para modelos não-MLM.

Significância e Alegações

O artigo alega que o Jacobiano Categórico não extrai nova informação de contato, mas sim reconstrói informações de pares estruturais que o modelo já representa em seus padrões de atenção. O achado principal é que esse sinal é acessível via uma média simples e sem parâmetros de um pequeno subconjunto de cabeças de atenção, oferecendo uma alternativa computacionalmente superior aos métodos baseados em perturbação.

Os autores enfatizam que a avaliação de "vazamento-limpo" revela uma lacuna substancial entre o desempenho in-distribution e o de generalização real, sugerindo que futuros benchmarks para predição de contato não supervisionada devem adotar splits conscientes do pré-treinamento como padrão. O trabalho também destaca que a alocação de informação estrutural através das cabeças de atenção é uma propriedade aprendida do processo de pré-treinamento e não uma inevitabilidade arquitetural, variando mesmo dentro da mesma família de modelos (ex: escalas do ESM-2).

Finalmente, o colapso de ambos os métodos em LMs causais é apresentado como evidência de que o pré-treinamento bidirecional é um fator crítico para aprender estruturas de pares simétricos na atenção, embora os autores notem que este é um achado associacional dado o escopo limitado de modelos causais testados.