Resumo Técnico: Um Atlas Geométrico da Organização de Modalidades do ESM3

Declaração do Problema

Modelos de linguagem de proteínas (PLMs) avançaram a predição de estrutura e função de proteínas ao aprender representações de propósito geral a partir de grandes conjuntos de dados. Modelos multimodais como o ESM3 ingerem múltiplos canais de entrada simultaneamente — incluindo sequência de aminoácidos, estrutura 3D, estrutura secundária (SS8), acessibilidade ao solvente (SASA) e anotações funcionais discretas — somando suas incorporações (embeddings) em um único fluxo residual. Embora trabalhos anteriores de interpretabilidade tenham examinado cabeças de atenção e características aprendidas em modelos apenas de sequência, pouco se sabe sobre a organização mecânica dessas distintas modalidades de entrada dentro de uma arquitetura multimodal. Especificamente, permanece incerto se essas modalidades ocupam subespaços separados, em que profundidade elas se fundem e se essa fusão é um artefato arquitetônico ou uma propriedade aprendida.

Metodologia

Os autores empregam uma abordagem descritiva de "geometria primeiro" para criar um atlas da organização de modalidades ao longo da profundidade do ESM3 (especificamente o modelo esm3-sm-open-v1: 1,4 bilhão de parâmetros, 48 camadas de transformer, 1536 dimensões de incorporação).

Desenho Experimental:

• Isolamento e Agregação: Para cada proteína no conjunto de dados, o modelo é executado isoladamente para cada uma das cinco condições de modalidade única (sequência, estrutura, SS8, SASA, função) e uma condição de "todas as modalidades".
• Coleta de Dados: O fluxo residual é lido em cada camada (1–48). As representações são analisadas tanto como vetores de nível de proteína com média agrupada (mean-pooled) quanto, para um subconjunto, como ativações individuais de resíduos.
• Conjuntos de Dados: A análise cobre um conjunto humano de 892 proteínas para os resultados primários e um conjunto diversificado de 5.555 proteínas de 12 organismos (abrangendo Eukaryota, Bacteria e Archaea) para testar a universalidade. Um conjunto de controle de 177 proteínas com estruturas experimentais (raio-X/criomicroscopia eletrônica) valida os achados contra coordenadas preditas pelo AlphaFold.
• Métricas:
  • Coeficiente de Silhueta (Silhouette Score): Mede a separação entre as condições de modalidade em cada camada.
  • Alinhamento de Núcleo Centrado (CKA): Rastreia o alinhamento entre pares de condições para determinar o tempo de fusão.
  • Índice de Integração: A média do CKA pareado entre todas as modalidades físicas.
  • Posto Eficaz (Effective Rank): Mede a dimensionalidade da variância dentro da nuvem de representação.
  • Sondas Lineares (Linear Probes): Sondas logísticas treinadas para decodificar a identidade da modalidade a partir do fluxo.
• Controles: O estudo inclui um modelo inicializado aleatoriamente (pesos treinados resetados no tronco e nas incorporações, preservando o codificador de estrutura) para distinguir a fusão aprendida de artefatos de soma arquitetônica.

Resultados Principais

1. Fusão Nítida e Ordenada de Modalidades Físicas

As quatro modalidades físicas (sequência, estrutura, SS8, SASA) começam em subespaços distintos na entrada. Elas permanecem maximamente separadas durante a primeira metade da rede, atingindo a separação máxima (coeficiente de silhueta ~0,42) por volta da camada 24. Uma transição nítida ocorre entre as camadas 25 e 35, onde essas modalidades colapsam em um subespaço compartilhado de baixa dimensão.

• Ordem de Fusão: A fusão é ordenada. As modalidades derivadas de estrutura (estrutura, SS8, SASA) são mutuamente alinhadas desde a entrada (Camada 0). A sequência, que carrega informação não derivável da estrutura, junta-se à fusão por último, integrando-se significativamente após a camada 28.

2. Ortogonalidade Persistente de Anotações Funcionais

Ao contrário das modalidades físicas, a modalidade de anotação funcional nunca se funde com o subespaço físico.

• Ortogonalidade: O CKA pareado entre o canal de função e qualquer modalidade física permanece próximo de 0,01–0,07 em todas as 48 camadas.
• Independência de Granularidade: Essa separação se mantém mesmo usando anotações funcionais por resíduo (derivadas do InterPro) em vez de anotações de proteína inteira, indicando que a separação é impulsionada pelo conteúdo, não é um artefato da granularidade de tokenização.
• Retenção de Informação: Apesar da ortogonalidade, a informação funcional não é perdida; sondas lineares podem decodificar classes de enzimas e classes de dobras (folds) do subespaço físico fundido com alta precisão, sugerindo que a rede extrai o conteúdo funcional para o subespaço físico enquanto mantém o canal de função explícito em um eixo separado e tênue.

3. A Fusão é uma Propriedade Aprendida

Um modelo inicializado aleatoriamente com a mesma arquitetura não mostra fusão dependente da profundidade. A separação das condições permanece alta e constante, e o índice de integração não muda com a profundidade. Isso confirma que a fusão observada é resultado do treinamento, não meramente uma consequência matemática da soma das incorporações.

4. Reorganização de Variância Sem Isotropia

A fusão não resulta em um colapso para um único ponto ou em uma difusão para a isotropia.

• Posto Eficaz: O posto eficaz da nuvem de representação colapsa para ~3 no pico de separação (camada 24), expande-se para ~85 dimensões na zona de fusão (camadas 25–35) e depois contrai-se.
• Mudança de Variância: A fusão desloca a variância de entre condições para dentro das condições. A identidade da modalidade permanece decodificável (acurácia ~1,0 no espaço total) mesmo após a fusão, indicando uma reorganização controlada em vez de uma perda de informação.

5. Universalidade e Dependências Estruturais

• Universalidade: O padrão de fusão é universal entre diversos organismos. Cada superreino (Eukaryota, Bacteria, Archaea) e cada organismo individual no estudo alcança o pico de fusão (separação mínima) exatamente na camada 35.
• Dependência Estrutural: A profundidade de fusão é independente do comprimento da proteína, mas é retardada pela desordem estrutural. Proteínas com frações de coil mais altas fundem-se mais tarde, enquanto proteínas helicoidais bem dobradas fundem-se mais cedo. O efeito não é correlacionado com os escores de confiança do AlphaFold (pLDDT).

Significância e Alegações

O artigo afirma fornecer o primeiro atlas geométrico abrangente de como a informação multimodal é organizada em um modelo de linguagem de proteína. A principal significância reside em revelar que o ESM3 organiza suas entradas em dois regimes distintos:

1. Um regime físico unificado onde as sequências e as características estruturais se fundem em um subespaço compartilhado de baixa dimensão na profundidade média, sugerindo que a rede constrói características específicas de modalidade antes de se comprometer com uma representação física unificada assim que a estrutura secundária é resolvida.
2. Um regime funcional separado onde os rótulos funcionais discretos são mantidos em um eixo ortogonal ao longo de toda a rede, independentemente de essa informação ser redundante com as modalidades físicas.

Os autores concluem que essa organização travada pela profundidade é intrínseca ao modelo treinado, e não um artefato de proteomas específicos ou coordenadas de predição. Os achados sugerem que o "raciocínio" da rede envolve uma ordem temporal específica de integração, onde a consistência estrutural é estabelecida antes que a informação de sequência seja totalmente integrada, enquanto os rótulos funcionais permanecem distintos. Este trabalho estabelece uma linha de base para a interpretabilidade mecânica em modelos biológicos multimodais, demonstrando que a fusão é um fenômeno aprendido, universal e ordenado.