Multi-Modal Protein Representation Learning with CLASP

O artigo apresenta o CLASP, um framework unificado tri-modal que integra aprendizado de geometria profunda, modelos de linguagem e aprendizado contrastivo para gerar representações de proteínas a partir de suas sequências, estruturas e descrições textuais, superando os métodos atuais em tarefas de classificação e recuperação sem supervisão.

O essencial

Imagine que você tem um livro de receitas muito antigo e complexo. Para entender uma receita, você pode olhar de três maneiras diferentes:

1. A Lista de Ingredientes: A sequência exata de palavras (aminoácidos) que compõem a receita.
2. A Foto do Prato Pronto: Como a comida fica na mesa, sua forma 3D e estrutura.
3. A Descrição do Chef: O texto que explica o sabor, para que serve e como é feito, escrito em linguagem humana.

Até hoje, os computadores eram especialistas em apenas uma dessas coisas. Alguns eram ótimos lendo a lista de ingredientes, outros em analisar a foto do prato, e outros em entender o texto. Mas, na vida real, para entender verdadeiramente uma proteína (que é como uma "receita" da vida), você precisa das três coisas juntas.

É aqui que entra o CLASP, o novo modelo apresentado neste artigo.

O que é o CLASP?

Pense no CLASP como um tradutor universal e um detetive genial que aprendeu a conectar essas três visões diferentes. O nome é um acrônimo para algo como "Pré-treinamento Contrastivo de Linguagem, Sequência de Aminoácidos e Estrutura".

A ideia principal é simples: o CLASP pega a estrutura 3D, a sequência de letras e a descrição em texto de uma proteína e as coloca todas em um mesmo "espaço de pensamento".

Como ele funciona? (A Analogia da Sala de Espelhos)

Imagine uma sala com três espelhos gigantes, cada um mostrando uma versão diferente da mesma pessoa:

• Espelho 1 (Estrutura): Mostra a pessoa de corpo inteiro, com suas curvas e ângulos (a forma 3D da proteína).
• Espelho 2 (Sequência): Mostra apenas a lista de roupas que a pessoa está vestindo, na ordem (os aminoácidos).
• Espelho 3 (Texto): Mostra um biógrafo descrevendo a personalidade e o trabalho da pessoa (a função da proteína).

Antes do CLASP, se você mostrasse a foto do Espelho 1 para um computador, ele não conseguiria dizer qual era a lista de roupas (Espelho 2) ou o que o biógrafo (Espelho 3) estava dizendo. Eles eram como idiomas que não conversavam.

O CLASP usa uma técnica chamada Aprendizado Contrastivo. É como se ele ensinasse o computador a gritar: "Ei! Essa foto do prato, essa lista de ingredientes e essa descrição do chef são todos da MESMA receita!".

• Se os dados combinam, o computador os coloca muito perto um do outro na memória.
• Se não combinam (ex: a foto de um bolo com a lista de ingredientes de um hambúrguer), o computador os empurra para longe.

Com o tempo, o computador cria um mapa mental unificado. Nesse mapa, não importa se você chega pela foto, pela lista ou pelo texto; você acaba no mesmo lugar.

O que o CLASP consegue fazer de incrível?

O artigo mostra que esse "detetive" é muito bom em três tarefas principais:

1. O Jogo do "Encontre o Par" (Classificação Zero-Shot):
   Imagine que você mostra ao computador apenas a foto de uma proteína (estrutura) e pergunta: "Qual é a sequência de letras desta?". O CLASP consegue adivinhar corretamente, mesmo nunca tendo visto aquela proteína específica antes. Ele faz o mesmo ao contrário: mostra o texto e ele acha a estrutura. Ele supera todos os modelos antigos que só olhavam para uma ou duas dessas coisas.

2. A Caça ao Tesouro (Recuperação de Sequência):
   Os pesquisadores testaram algo difícil: deram ao CLASP uma descrição escrita à mão, bem informal (como se um cientista estivesse rabiscando em um caderno), e pediram para ele encontrar a proteína correta em uma lista de 35.000 opções.

   • Resultado: O CLASP achou a proteína certa quase sempre, colocando-a no topo da lista (nos 99% melhores), mesmo com descrições confusas ou diferentes das que ele viu no treinamento. É como se você descrevesse um animal de forma vaga para um detetive e ele trouxesse o animal exato de um zoológico gigante.

3. Agrupamento por "Família":
   Se você colocar todas as proteínas no mapa mental do CLASP, elas se organizam sozinhas. As proteínas que são "primas" (da mesma família, como as quinases ou os receptores) ficam sentadas juntas em grupos, enquanto as que são "estranhas" ficam longe. Isso mostra que o modelo entendeu a biologia por trás das formas e textos.

Por que isso é importante?

Antes, os cientistas tinham que escolher entre olhar a estrutura (que é difícil de calcular) ou ler o texto (que é fácil, mas vago). O CLASP une o melhor dos dois mundos.

• Para a Medicina: Se você descobrir uma nova estrutura de proteína e quiser saber o que ela faz, o CLASP pode ler a estrutura e "ler" mentalmente os textos científicos para te dizer se ela está ligada a uma doença.
• Para a Descoberta de Remédios: Você pode descrever o que precisa (ex: "uma proteína que destrói bactérias") e o CLASP pode procurar na sua base de dados de estruturas 3D para encontrar candidatos perfeitos, sem precisar escrever código complexo.

Resumo em uma frase

O CLASP é como um poliglota biológico que aprendeu a falar a língua das formas 3D, a língua das sequências de letras e a língua humana ao mesmo tempo, permitindo que os computadores entendam as proteínas de uma forma muito mais completa e inteligente do que nunca antes.

Resumo técnico

Título: Aprendizado de Representação de Proteínas Multi-Modal com CLASP

1. Problema e Motivação

As proteínas são entidades biológicas complexas cujas funções são determinadas não apenas pela sua sequência linear de aminoácidos, mas também pela sua estrutura tridimensional (3D) e pelo seu contexto bioquímico e funcional descrito em linguagem natural.

• Limitações Atuais: Modelos de linguagem de proteínas (pLMs) existentes, como ESM ou ProtT5, aprendem representações ricas a partir de grandes bancos de dados de sequências, mas muitas vezes ignoram informações estruturais 3D cruciais. Por outro lado, métodos baseados apenas em estrutura (como redes neurais gráficas) frequentemente negligenciam anotações funcionais em texto livre.
• O Gap: A maioria dos modelos biotexto atuais é bimodal (alinhando apenas sequência e texto) ou foca apenas em estrutura. Existe uma necessidade crítica de um framework tri-modal que integre simultaneamente:
  1. Sequência: A string de aminoácidos.
  2. Estrutura: A geometria 3D (arquivos PDB).
  3. Texto: Descrições bioquímicas e funcionais curadas (ex: UniProt).
     A integração dessas três modalidades permitiria capturar relações causa-efeito (sequência $\to$ estrutura $\to$ função) e criar representações mais interpretáveis e robustas para tarefas como classificação zero-shot e recuperação de proteínas.

2. Metodologia: O Framework CLASP

O CLASP (Contrastive Language–Amino acid Sequence–Structure Pretraining) é um framework unificado que utiliza aprendizado contrastivo para mapear as três modalidades em um espaço vetorial compartilhado.

• Arquitetura:

  • Codificador de Estrutura (Estrutural): Utiliza Geometria Deep Learning. Os arquivos PDB são convertidos em grafos de átomos (nós = átomos com descritores bioquímicos; arestas = distâncias euclidianas). Um EGNN (Graph Neural Network invariante a E(3)) processa esses grafos. A invariância E(3) é crucial, garantindo que as representações dependam apenas da forma intrínseca da proteína, e não de sua rotação ou translação no espaço.
  • Codificadores de Sequência e Texto: Utilizam modelos pré-treinados e congelados (frozen):
    • Sequência: ProtT5 (um pLM baseado em Transformer) gera embeddings de 1024 dimensões.
    • Texto: BioGPT (um LLM ajustado para biologia) processa descrições do UniProt, gerando embeddings de 1024 dimensões.
  • Módulo de Alinhamento: As embeddings de todas as três modalidades passam por camadas de projeção linear treináveis para um espaço compartilhado de 512 dimensões.

• Objetivo de Treinamento (Loss Function):
  O modelo é treinado com um objetivo contrastivo tri-modal, inspirado no CLIP e no CG3D. A função de perda minimiza a distância entre embeddings de pares correspondentes (mesma proteína em modalidades diferentes) e maximiza a distância entre pares não correspondentes.
  A perda total é a média de três termos de entropia cruzada simétrica:

  1. Estrutura $\leftrightarrow$ Sequência
  2. Estrutura $\leftrightarrow$ Texto
  3. Sequência $\leftrightarrow$ Texto
     Isso força o modelo a aprender um espaço latente onde a estrutura 3D, a sequência e a descrição funcional de uma mesma proteína estejam próximas.

3. Contribuições Principais

1. Primeiro Framework Tri-Modal Unificado: CLASP é a primeira abordagem a integrar explicitamente estrutura 3D, sequência e texto descritivo em um único modelo de aprendizado contrastivo para proteínas.
2. Invariância Geométrica: A aplicação de EGNN garante que as representações estruturais sejam fisicamente significativas e invariantes a transformações rígidas.
3. Aprendizado Zero-Shot: O modelo demonstra capacidade de realizar tarefas de classificação e recuperação sem necessidade de ajuste fino (fine-tuning) específico para a tarefa, apenas usando o espaço de embedding aprendido.
4. Validação de Sinergia: Estudos de ablação provam que a combinação das três modalidades supera significativamente abordagens bimodais ou unimodais.

4. Resultados Experimentais

Os autores avaliaram o CLASP em várias tarefas de alinhamento e recuperação, comparando-o com state-of-the-art (SOTA) como Progres, COLLAPSE, ProstT5, ProteinCLIP e ProtST.

• Alinhamento Sequência-Estrutura:
  • CLASP superou todos os baselines com uma AUROC de 0.976 e MCC de 0.841.
  • Superou o Progres-CLIP em ~5-7% na AUROC, demonstrando a vantagem do encoder EGNN e do treinamento tri-modal.
• Alinhamento Texto-Estrutura:
  • Alcançou a melhor pontuação em todas as métricas (AUROC: 0.858, AUPRC: 0.846), superando modelos que usam apenas texto e estrutura sem a supervisão da sequência.
• Recuperação de Sequência via Texto:
  • Em um teste de recuperação em larga escala (35.911 candidatos), dado apenas uma descrição textual, o CLASP classificou a sequência correta acima do 98º percentil em todos os estilos de texto (UniProt curado, estilo literário e descrições manuais de especialistas).
• Agrupamento (Clustering) por Família:
  • As embeddings geradas pelo CLASP mostraram um agrupamento superior de proteínas por família (ex: quinases, GPCRs) em comparação com modelos apenas estruturais, medido por métricas como Silhouette Score e Índice Calinski-Harabasz.
• Estudos de Ablação:
  • Substituir o EGNN por um GNN padrão causou uma queda drástica no desempenho (MCC caiu ~15 pontos), confirmando a importância da invariância geométrica.
  • Remover a modalidade de texto ou usar apenas objetivos bimodais (CLIP padrão) resultou em desempenho inferior, validando a necessidade do treinamento tri-modal.

5. Significado e Impacto

O trabalho estabelece um novo paradigma para a representação de proteínas, demonstrando que a integração de sinais estruturais, sequenciais e semânticos (texto) cria um espaço de embedding mais rico e biologicamente fundamentado.

• Aplicações Práticas: O modelo permite a criação de motores de busca semântica para proteínas, onde um pesquisador pode encontrar estruturas ou sequências baseadas em descrições textuais complexas, ou inferir funções a partir de estruturas desconhecidas.
• Interpretabilidade: Ao alinhar a geometria molecular com a linguagem humana, o CLASP facilita a interpretação de modelos de IA em biologia, conectando dados moleculares de baixo nível com o conhecimento biológico de alto nível.
• Futuro: O framework abre caminho para modelos generativos condicionais (gerar estruturas a partir de texto) e a incorporação de modalidades adicionais, como contexto evolutivo ou expressão tecidual.

Em resumo, o CLASP prova que a aprendizagem contrastiva multi-modal é uma estratégia poderosa para unificar as diferentes visões da biologia de proteínas, superando as limitações dos modelos unimodais e bimodais atuais.