SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

O artigo apresenta o SELFormerMM, um framework de aprendizado multimodal que integra notações SELFIES, estruturas moleculares, descrições textuais e dados de redes de conhecimento biológico para gerar representações moleculares mais ricas e superar modelos unimodais em tarefas de predição de propriedades.

O essencial

Imagine que você quer entender completamente uma pessoa. Se você olhar apenas para a foto dela (a estrutura), você sabe como ela parece, mas não sabe o que ela pensa. Se você ler apenas o currículo dela (o texto), sabe o que ela faz, mas não vê sua personalidade. E se você olhar apenas para a lista de amigos dela (a rede de conhecimento), sabe com quem ela se relaciona, mas não a conhece pessoalmente.

Para entender alguém de verdade, você precisa juntar tudo: a foto, o currículo, a história de vida e a rede de conexões.

É exatamente isso que o SELFormerMM faz, mas em vez de pessoas, ele estuda moléculas (os blocos de construção dos medicamentos).

Aqui está uma explicação simples de como esse novo sistema funciona:

1. O Problema: O "Especialista de Um Só Olho"

Até agora, a maioria dos computadores que criam remédios funcionava como um especialista que só tinha um tipo de óculos.

• Alguns olhavam apenas para a sequência de letras da molécula (como um código).
• Outros olhavam apenas para o desenho 3D (a forma física).
• Outros olhavam apenas para o texto (o que os livros dizem sobre ela).

O problema é que uma molécula é complexa. Usar apenas um "óculo" deixa o computador cego para muitas informações importantes. É como tentar adivinhar o sabor de um bolo olhando apenas a receita escrita, sem nunca ter visto o bolo ou provado um pedaço.

2. A Solução: O "Maestro Multimodal"

Os pesquisadores criaram o SELFormerMM, que é como um maestro de orquestra ou um detetive superpoderoso. Ele não usa apenas um tipo de óculos; ele usa quatro ao mesmo tempo:

1. O Código (SELFIES): Ele lê a "receita" da molécula de uma forma muito segura e sem erros (diferente dos códigos antigos que podiam gerar receitas de bolos que nem existiam).
2. A Foto (Estrutura 2D): Ele vê o desenho da molécula, como os átomos estão conectados.
3. A História (Texto): Ele lê descrições em linguagem natural sobre o que a molécula faz, como se estivesse lendo um livro de biografia dela.
4. A Rede Social (Grafo de Conhecimento): Ele olha para quem a molécula "conhece" no mundo da biologia: quais proteínas ela ataca, quais genes ela afeta e quais doenças ela trata.

3. Como eles aprendem? (A Festa de Mistura)

O sistema passa por duas fases principais:

• Fase 1: A Grande Festa de Conhecimento (Pré-treinamento)
  Imagine que o computador tem uma festa com 3 milhões de moléculas. Cada molécula chega com seus quatro "amigos" (código, foto, texto e rede social). O trabalho do computador é aprender que, embora esses quatro amigos se pareçam diferentes e falem "línguas" diferentes, todos eles pertencem à mesma pessoa.
  Ele usa uma técnica chamada "aprendizado contrastivo" para dizer: "Ei, este código, esta foto e este texto são todos da mesma molécula! Vamos juntá-los na mesma sala." Isso cria uma representação única e rica de cada molécula.

• Fase 2: O Treino Específico (Ajuste Fino)
  Depois de aprender a reconhecer as moléculas de forma geral, o computador é treinado para tarefas específicas, como responder:

  • "Este remédio consegue atravessar a barreira do cérebro?"
  • "Este remédio é tóxico?"
  • "Quanto este remédio se dissolve na água?"

4. O Resultado: Por que isso é incrível?

Quando testaram o SELFormerMM, ele foi muito melhor do que os antigos especialistas de "um só óculos".

• Exemplo Prático: O sistema conseguiu prever com precisão se um remédio para Parkinson (o benserazide) não entra no cérebro (o que é bom, pois ele deve agir apenas no corpo) e se um remédio para TDAH (o dextroanfetamina) entra no cérebro (o que é necessário para funcionar).
• Ele aprendeu a combinar a "forma" da molécula com o "significado" do texto e as "conexões" biológicas para tomar decisões mais inteligentes.

Resumo em uma Analogia Final

Imagine que você quer contratar um jogador de futebol.

• O modelo antigo olhava apenas para o número da camisa (a sequência de letras).
• O SELFormerMM olha para o número da camisa, vê o jogo dele em vídeo (estrutura), lê as entrevistas (texto) e verifica quem são seus amigos e adversários (rede de conhecimento).

Com todas essas informações juntas, o SELFormerMM consegue prever muito melhor se aquele jogador será um campeão. Da mesma forma, ele ajuda os cientistas a descobrir novos remédios mais rápido, mais seguros e mais eficazes, unindo o mundo da química, da biologia e da linguagem em um único cérebro digital.

Resumo técnico

Título: SELFormerMM: Aprendizado de Representação Molecular Multimodal via Integração de SELFIES, Estrutura, Texto e Grafos de Conhecimento

1. Problema e Motivação

O aprendizado de representação molecular é fundamental para a descoberta computacional de fármacos. No entanto, a maioria dos modelos existentes baseia-se em modalidades únicas (unimodais), como apenas sequências (SMILES/SELFIES) ou apenas grafos estruturais. Essas abordagens capturam apenas aspectos limitados do comportamento molecular.

• Limitação Atual: Embora existam recursos complementares valiosos, como descrições textuais de propriedades e redes de interação biológica (grafos de conhecimento), unificar essas modalidades heterogêneas em um framework coerente é complexo.
• Desafio: A falta de integração impede a criação de representações mais informativas e fundamentadas biologicamente, essenciais para tarefas complexas de descoberta de medicamentos.

2. Metodologia

Os autores propõem o SELFormerMM, um framework de aprendizado de representação molecular multimodal que integra quatro visões distintas de uma molécula em um espaço latente compartilhado:

1. Sequência (SELFIES): Notações SELFIES (Self-Referencing Embedded Strings), que garantem 100% de validade sintética e robustez, superando as limitações do SMILES.
2. Estrutura (Grafos 2D): Grafos moleculares estruturais derivados das representações químicas.
3. Texto: Descrições em linguagem natural (obtidas do dataset M3-20M) que fornecem contexto semântico.
4. Grafo de Conhecimento (KG): Dados de interação biológica (ex: interações fármaco-alvo, proteína-proteína) extraídos do CROssBARv2-KG.

Arquitetura e Treinamento:

• Codificadores Específicos: O modelo utiliza quatro ramos:
  • Sequência: Um modelo baseado em Transformer (SELFormer/RoBERTa) treinado do zero.
  • Texto: SciBERT (pré-treinado e congelado).
  • Estrutura: Uni-Mol (pré-treinado e congelado).
  • KG: Arquitetura DMGI (Deep Mutual Graph Infomax) treinada no subgrafo biológico.
• Alinhamento Multimodal: Todos os embeddings são projetados em um espaço comum de 768 dimensões. O alinhamento é feito através de aprendizado contrastivo supervisionado (usando a função de perda SINCERELoss), que força as representações de diferentes modalidades da mesma molécula a se aproximarem, enquanto afasta as de moléculas diferentes.
• Estratégia de Dados: O modelo foi pré-treinado em um conjunto de dados massivo de ~3 milhões de moléculas. Para moléculas onde uma modalidade estava ausente (comum em texto e KG), vetores zero foram injetados para permitir o aprendizado robusto.
• Ajuste Fino (Fine-tuning): Após o pré-treinamento, o backbone multimodal é adaptado para tarefas específicas (classificação e regressão) com cabeças de previsão específicas, utilizando uma estratégia de congelamento parcial para preservar o alinhamento pré-treinado.

3. Principais Contribuições

• Integração Heterogênea em Escala: É um dos primeiros frameworks a integrar simultaneamente notações de sequência (SELFIES), grafos 2D, descrições textuais e redes de interação biológica em um único espaço de embedding.
• Escalabilidade: O pré-treinamento em ~3 milhões de moléculas, superando a escala de muitos modelos multimodais anteriores que utilizam conjuntos de dados menores e curados.
• Robustez a Dados Ausentes: O modelo foi projetado para lidar com a esparsidade natural de dados textuais e de grafos de conhecimento, aprendendo representações úteis mesmo quando modalidades estão faltando.
• Código Aberto: Disponibilização do código, modelos pré-treinados e embeddings pré-computados.

4. Resultados

O desempenho do SELFormerMM foi avaliado no benchmark MoleculeNet, cobrindo tarefas de classificação (ex: permeabilidade BBB, toxicidade) e regressão (ex: solubilidade, afinidade de ligação).

• Desempenho Geral: O modelo superou ou igualou abordagens unimodais e multimodais de ponta em várias tarefas.
  • Classificação: Alcançou o melhor desempenho no conjunto de dados SIDER (previsão de efeitos colaterais, ROC-AUC = 0.749) e um desempenho muito competitivo no BBBP (permeabilidade da barreira hematoencefálica, ROC-AUC = 0.918), superando modelos unimodais baseados apenas em estrutura ou texto.
  • Regressão: Obteve resultados superiores em Lipophilicidade (RMSE = 0.574) e melhorou significativamente a previsão de afinidade de ligação proteína-ligante (PDBbind) em comparação com o modelo unimodal SELFormer, demonstrando o valor do contexto biológico do KG.
• Análise de Ablação:
  • A integração de modalidades adicionais geralmente melhorou o desempenho em relação à base unimodal.
  • A informação de grafos 2D mostrou-se o sinal mais robusto e consistente.
  • A melhoria dependeu da cobertura dos dados: em tarefas onde texto e KG tinham baixa cobertura de amostras, o ganho foi menor, mas ainda positivo.
  • O ajuste fino (fine-tuning) foi crucial para extrair o máximo desempenho das representações pré-treinadas.

5. Significado e Impacto

O SELFormerMM demonstra que a unificação de perspectivas químicas (sequência e estrutura) com contexto biológico e semântico (texto e redes de interação) gera representações moleculares mais ricas e interpretáveis.

• Descoberta de Fármacos: O framework oferece uma base sólida para estratégias de modelagem molecular generalizáveis, permitindo uma exploração mais eficaz do espaço químico e a priorização de candidatos biologicamente relevantes.
• Validação Biológica: Estudos de caso (ex: previsão correta da permeabilidade da barreira hematoencefálica para anfetamina vs. benserazida) confirmam que o modelo aprende sinais biologicamente significativos.
• Futuro: O trabalho aponta para a necessidade de melhorar o tratamento de modalidades ausentes e a curadoria de dados textuais para futuras iterações, além de sugerir a aplicação em tarefas de interação fármaco-alvo e design de novo.

Em resumo, o SELFormerMM representa um avanço significativo na química computacional ao provar que a abordagem multimodal, quando bem alinhada e escalada, supera as limitações dos modelos unimodais tradicionais.