From Words to Amino Acids: Does the Curse of Depth Persist?

1. Problema

Análises recentes de Modelos de Linguagem de Grande Escala (LLMs) identificaram o "Fléxio da Profundidade" (Curse of Depth), um fenômeno em que camadas mais profundas em transformadores autoregressivos contribuem minimamente para as previsões finais, enquanto a maioria dos cálculos relevantes para a tarefa ocorre em camadas iniciais ou intermediárias. Camadas posteriores servem primariamente ao refinamento incremental da distribuição de saída, em vez de gerar novas informações.

A questão central deste trabalho é se essa ineficiência de profundidade também existe em Modelos de Linguagem de Proteínas (PLMs). Diferentemente dos LLMs, os PLMs frequentemente utilizam:

• Objetivos não autoregressivos: Como Modelagem de Linguagem Mascada (MLM) e Difusão Discreta.
• Entradas multimodais: A inclusão de estrutura e função de proteínas além da sequência.
• Paradigmas de escalonamento diferentes: Incluindo arquiteturas de Mistura de Especialistas (MoE).

Os autores investigam se o "Fléxio da Profundidade" é uma propriedade universal de modelos profundos baseados em transformadores ou se as restrições únicas da modelagem de proteínas (estrutura biológica, restrições evolutivas) influenciam como a profundidade é utilizada.

2. Metodologia

Os autores realizaram uma análise sistemática de profundidade em 7 famílias de PLMs com 26 variantes de modelo, cobrindo um amplo espectro de tamanhos (8M a 15B parâmetros) e objetivos de treinamento (Autoregressivo, Mascado, Difusão e Multimodal).

Eles utilizaram um quadro unificado que combina três tipos de medições:

A. Análise de Intervenção (Pulo de Camada)

Adaptando o método "skiplayer" da pesquisa em LLMs, os autores mediram o efeito propagado do pulo de camadas específicas:

• Modelos Autoregressivos: Pulo de camadas para tokens iniciais e medição da influência nas previsões de tokens futuros.
• Modelos Mascados/Difusão: Pulo de camadas em um subconjunto de tokens mascados e medição da influência nos tokens mascados restantes não intervencionados.
• Métrica: A mudança relativa nos estados ocultos a jusante e nas normas de saída.

B. Análise de Similaridade de Representação

• Similaridade Camada-a-Camada: Cálculo da Linear CKA (Centered Kernel Alignment) entre as representações de várias camadas, para quantificar o quanto as informações mudam à medida que propagam pela rede.
• Similaridade Cross-Modal: Para modelos multimodais (ESM3, DPLM2), calcularam a Similaridade Cosseno entre representações baseadas em sequência e baseadas em estrutura em camadas correspondentes, para entender como as modalidades se alinham e diferem.

C. Evolução da Distribuição de Saída

Usando LogitLens e TunedLens, os autores extraíram a distribuição implícita de previsão de tokens em cada camada.

• Métricas: Medição da Divergência KL entre distribuições de camadas médias e a saída final, bem como a Sobreposição Top-1 (correspondência no token mais provável).

D. Avaliação do Benefício a Jusante

Para vincular medições intrínsecas ao desempenho prático, avaliaram o desempenho camada a camada no ProteinGym, um benchmark em grande escala para previsão Zero-Shot de efeitos de mutações (217 Ensaios de Varredura de Mutação Profunda). Mediram a correlação de postos de Spearman entre previsões feitas por camadas de Saída Antecipada (Early-Exit) e dados experimentais.

3. Principais Contribuições

1. Primeiro estudo sistemático de profundidade em PLMs: O artigo oferece a primeira análise abrangente do uso de profundidade através de diversas famílias de PLMs, objetivos e modalidades.
2. Quadro Unificado: Desenvolvimento de uma metodologia consistente para comparar modelos autoregressivos, mascados, baseados em difusão e multimodais, provando que a ineficiência de profundidade não se limita à previsão do Próximo Token.
3. Descoberta de uma Ineficiência de Profundidade Generalizada: Demonstrou-se que o "Fléxio da Profundidade" é uma característica comum de PLMs modernos, onde um subconjunto de camadas (frequentemente as médias) captura a maioria dos sinais relevantes a jusante, enquanto camadas posteriores oferecem retornos marginais decrescentes.
4. Insights Específicos de Modalidade: Revelação de perfis de profundidade distintos em modelos multimodais (especialmente ESM3) e explicação de seu comportamento através de dinâmicas de alinhamento Cross-Modal.

4. Principais Resultados

A. O Fléxio da Profundidade Persiste em PLMs

Através de todas as famílias de modelos (ESM2, DPLM, ProGen, etc.), os autores observaram um padrão consistente:

• Camadas Iniciais a Médias: O pulo dessas camadas causa perturbações significativas nos cálculos a jusante e reduz drasticamente o desempenho a jusante.
• Camadas Tardias: O pulo de uma grande proporção das últimas camadas (por exemplo, as últimas 30–50%) leva a mudanças mínimas nas representações a jusante e apenas perdas marginais no desempenho do ProteinGym.
• Efeito de Escala: Com o aumento do tamanho do modelo, essa ineficiência torna-se mais pronunciada. Em modelos grandes (por exemplo, ESM2-15B), o "joelho" onde o desempenho satura ocorre mais cedo na profundidade relativa.

B. Refinamento da Distribuição de Saída

• Análise TunedLens: A Divergência KL entre distribuições de camadas médias e a saída final diminui continuamente com a profundidade.
• Estabilidade: A previsão Top-1 frequentemente se estabiliza muito antes da última camada. Camadas posteriores refinam primariamente a confiança (massa de probabilidade) da previsão, em vez de alterar o próprio token previsto.

C. Modelos Multimodais e de Difusão

• Generalização: O padrão de ineficiência de profundidade aplica-se a modelos de Difusão (DPLM, DPLM2) e modelos multimodais (ESM3, DPLM2) ao processar entradas puramente baseadas em estrutura ou combinações de sequência-estrutura.
• Anomalia ESM3: O ESM3 exibe um perfil de profundidade distinto. Ao contrário de outros modelos, onde camadas iniciais são críticas, o ESM3 apresenta efeitos propagados fracos em camadas iniciais, com contribuições mais fortes ocorrendo em camadas médias a tardias.
  • Explicação: A análise de similaridade Cross-Modal revelou que as primeiras ~60% das camadas do ESM3 servem ao alinhamento de representações de sequência e estrutura em um espaço comum. Uma vez alinhadas, as camadas posteriores realizam o cálculo específico da tarefa.

D. Arquiteturas Esparsas (MoE)

• ProGen3: Como um modelo esparsos de Mistura de Especialistas (MoE), o ProGen3 mostrou um "Fléxio da Profundidade" menos pronunciado em comparação com modelos densos. A separação entre camadas de alto e baixo efeito não se intensificou tão fortemente com a escala, sugerindo que a esparsidade pode mitigar a ineficiência de profundidade.

5. Significado e Implicações

• Eficiência Arquitetônica: Os resultados indicam que os PLMs profundos atuais são computacionalmente ineficientes. Uma parte significativa dos custos de inferência (FLOPs) é gasta em camadas que contribuem pouco para a saída final.
• Direções Futuras: O artigo motiva o desenvolvimento de:
  • Cálculo Adaptativo: Mecanismos de Saída Antecipada (Early-Exit) ou políticas dinâmicas de profundidade que pulam camadas redundantes durante a inferência.
  • Arquiteturas Crescentes/Em Loop: Modelos que expandem a profundidade durante o treinamento ou reutilizam camadas (Looping) para melhorar a utilização.
  • Modelos Esparsos: O sucesso do ProGen3 sugere que arquiteturas MoE podem ser um caminho mais eficiente para escalar modelos de proteínas.
• Design Multimodal: O comportamento distinto do ESM3 sublinha que, em configurações multimodais, a profundidade inicial pode ser consumida pelo alinhamento de modalidades em vez de cálculo de tarefa, sugerindo que modelos futuros podem se beneficiar de módulos especializados de "Alinhamento" seguidos por pilhas de "Cálculo" específicas da tarefa.

Em resumo, o "Fléxio da Profundidade" não é exclusivo de LLMs autoregressivos, mas sim uma característica fundamental de modernos modelos de proteínas profundos baseados em transformadores, independentemente de seu objetivo de treinamento ou modalidade. Essa descoberta exige uma mudança de paradigma em direção a arquiteturas de IA de proteínas mais eficientes em profundidade.