Multi-view biomedical foundation models for molecule-target and property prediction

Os autores desenvolveram o MMELON, um modelo fundamental multimodal que integra representações de grafos, imagens e texto de até 200 milhões de moléculas para prever propriedades e interações moleculares com desempenho robusto, validando sua eficácia na identificação de ligantes para receptores GPCRs associados à doença de Alzheimer.

O essencial

Imagine que você está tentando descrever um objeto complexo, como uma torre de Lego, para um amigo que nunca a viu.

Se você apenas escrever uma lista de peças (como "peça vermelha, peça azul, peça amarela"), seu amigo terá uma ideia, mas pode não entender a forma.
Se você apenas desenhar a torre, ele verá a forma, mas não saberá de quais peças específicas ela é feita.
Se você apenas mostrar o diagrama de montagem (o gráfico de conexões), ele saberá como as peças se encaixam, mas talvez não visualize a cor ou o estilo final.

Cada uma dessas descrições é uma "visão" diferente da mesma coisa. O problema é que, na ciência de descoberta de remédios, os cientistas muitas vezes escolhiam apenas uma dessas visões para treinar seus computadores, o que limitava o que a máquina podia aprender.

Este artigo apresenta uma nova solução chamada MMELON. Pense no MMELON como um super-intérprete ou um chef de cozinha que não confia em apenas uma receita. Ele reúne três especialistas diferentes para criar a melhor descrição possível de uma molécula:

1. O Especialista em Texto: Ele lê a "receita" da molécula (uma sequência de letras chamada SMILES, como um código de barras químico).
2. O Especialista em Imagem: Ele olha para o "desenho" 2D da molécula, vendo a forma e a simetria.
3. O Especialista em Gráfico: Ele analisa o "diagrama de conexões", entendendo como cada átomo está ligado ao outro, como um mapa de estradas.

Como funciona a "Fusão Tardia"?

A grande inovação deste trabalho é como eles juntam essas três opiniões. Eles não misturam tudo de uma vez bagunçado. Eles deixam cada especialista estudar milhões de moléculas sozinho primeiro (isso é o "pré-treinamento").

Depois, quando chega a hora de resolver um problema real (como prever se um remédio vai funcionar), eles trazem os três especialistas para uma sala de reuniões. O MMELON usa um mecanismo inteligente (chamado de "atenção") para decidir quem fala mais alto naquela situação específica.

• Às vezes, a imagem é a mais importante para entender a forma do remédio.
• Às vezes, o gráfico é crucial para entender a química.
• Às vezes, o texto ajuda a lembrar de propriedades conhecidas.

O sistema aprende a dar um "peso" diferente para cada especialista dependendo da tarefa. É como se, para um problema de solubilidade, o sistema dissesse: "Hoje, vamos ouvir mais o Especialista em Imagem", e para outro problema, "Hoje, o Especialista em Gráfico tem a palavra final".

O Grande Teste: A Doença de Alzheimer

Para provar que seu "super-intérprete" funciona, os cientistas o usaram em um desafio real: encontrar novos tratamentos para a Doença de Alzheimer.

Eles sabiam que certos receptores no cérebro (chamados GPCRs) estavam ligados à doença, mas não sabiam quais remédios ou substâncias naturais poderiam "travar" nesses receptores para curar o problema.

O MMELON vasculhou uma biblioteca gigante de:

• Remédios já aprovados (que sabemos que são seguros).
• Metabólitos do intestino (substâncias que nosso corpo produz a partir do que comemos).

O modelo identificou candidatos promissores. Por exemplo, ele sugeriu que uma substância chamada glutationa (um antioxidante que já usamos como suplemento) poderia se ligar a um receptor específico ligado ao Alzheimer.

Para confirmar, eles usaram simulações de computador (como se estivessem montando as peças de Lego virtualmente) e viram que a forma da molécula se encaixava perfeitamente no receptor, como uma chave na fechadura.

Por que isso é importante?

Antes, os cientistas tinham que escolher entre usar apenas texto, apenas imagem ou apenas gráficos. Era como tentar montar um quebra-cabeça olhando apenas para as bordas.

Com o MMELON, eles têm uma visão completa. O modelo é tão bom que, na maioria dos testes, ele bateu o recorde dos melhores modelos que usavam apenas uma visão. E o melhor: ele é flexível. Se no futuro quisermos adicionar uma visão 3D (como um holograma da molécula), o sistema pode simplesmente "convidar" esse novo especialista para a reunião.

Em resumo: Os pesquisadores criaram um time de especialistas que, juntos, entendem as moléculas muito melhor do que qualquer um deles sozinho, acelerando a descoberta de novos remédios para doenças difíceis como o Alzheimer.

Resumo técnico

Título: Modelos de Fundação Biomédica Multi-visão para Predição de Interação Molécula-Alvo e Propriedades

1. Problema e Motivação

A descoberta de fármacos é um processo complexo e custoso, onde a previsão precisa das propriedades químicas e biológicas de moléculas candidatas é crucial.

• Limitação das Abordagens Atuais: A maioria dos modelos de fundo (foundation models) biomédicos anteriores foca em uma única representação molecular (uma única "visão"), como sequências de texto (SMILES), grafos químicos ou imagens 2D. Cada visão tem pontos fortes e fracos específicos para certas tarefas, e nenhuma única representação captura completamente a geometria intrínseca, simetrias e relações de similaridade das moléculas.
• Desafio: Aprender representações latentes úteis e generalizáveis é difícil devido à escassez de dados rotulados, à vastidão do espaço químico e à heterogeneidade das estruturas moleculares.
• Objetivo: Desenvolver uma arquitetura que integre múltiplas visões (multimodal) para criar representações mais ricas e robustas, superando as limitações dos modelos de visão única.

2. Metodologia: MMELON

Os autores propõem o MMELON (Multi-view Molecular Embedding with Late Fusion), uma arquitetura de modelo de fundo que integra três visões distintas de moléculas:

• Visões Utilizadas:

  1. Texto: Baseado em representações SMILES (sequências), utilizando a arquitetura do MolFormer (Transformer).
  2. Grafo: Baseado em grafos de ligações químicas, utilizando a arquitetura TokenGT (Graph-Transformer). Inclui uma tarefa de pré-treinamento inovadora: previsão de números de Betti (características topológicas do grafo, como componentes conectados e ciclos).
  3. Imagem: Baseado em representações 2D visuais das moléculas, utilizando a arquitetura ImageMol (CNN baseada em ResNet-18).

• Estratégia de Pré-treinamento:

  • Os modelos de visão única (Grafo e Texto) são pré-treinados em um conjunto massivo de 200 milhões de moléculas (curado do PubChem e ZINC22).
  • O modelo de Imagem utiliza um checkpoint pré-treinado do ImageMol (treinado em 10 milhões de compostos do PubChem).
  • As tarefas de pré-treinamento incluem mascaramento de características, previsão de arestas e, no caso do grafo, previsão de invariantes topológicos (números de Betti).

• Fusão Tardia (Late Fusion):

  • Em vez de fundir os dados no início, o MMELON utiliza uma abordagem de fusão tardia.
  • Cada visão é codificada separadamente por seus respectivos encoders pré-treinados.
  • Um módulo agregador baseado em atenção combina as embeddings das três visões. O peso de cada visão ($\alpha_m$) é um parâmetro aprendido, permitindo que o modelo interprete qual visão é mais importante para uma tarefa específica.
  • A representação combinada é então ajustada (fine-tuned) para tarefas downstream.

3. Contribuições Principais

• Arquitetura Multi-visão Escalável: Demonstração de que a integração de grafos, imagens e texto em um modelo de fundo escala bem para conjuntos de dados de 200M de moléculas.
• Novidade no Pré-treinamento de Grafos: Introdução da tarefa de previsão de números de Betti para capturar características topológicas globais que complementam as características locais de nós e arestas.
• Interpretabilidade: O mecanismo de atenção do agregador permite identificar quais modalidades (visões) contribuem mais para a previsão de cada tarefa específica, oferecendo transparência.
• Validação em Escala: O modelo foi testado em mais de 120 tarefas, incluindo propriedades ADME (Absorção, Distribuição, Metabolismo e Excreção), solubilidade e atividade contra receptores acoplados à proteína G (GPCRs).

4. Resultados

• Desempenho em Benchmarks:
  • O modelo multi-visão demonstrou robustez, igualando ou superando o desempenho do melhor modelo de visão única em quase todas as tarefas testadas (MoleculeNet, CYP, ComputationalADME).
  • O modelo de Grafo mostrou-se geralmente a visão individual mais forte, mas o modelo multi-visão garantiu que não houvesse desempenho ruim em nenhuma tarefa, mitigando a variabilidade.
  • Em tarefas de inibição de citocromo P450 (CYP), o modelo alcançou ROC-AUCs altos (0,82 a 0,90), comparáveis ao estado da arte (SOTA).
• Análise de Fusão:
  • A análise de correlação das embeddings mostrou que as visões de Imagem e Grafos são mais distintas e complementares entre si, enquanto Texto e Grafos são altamente correlacionados.
  • Os pesos de atenção aprendidos variam conforme a tarefa, confirmando que diferentes modalidades contribuem de forma diferente dependendo do contexto.
• Estudo de Caso: Doença de Alzheimer e GPCRs:
  • O modelo foi aplicado para identificar ligantes fortes para 33 GPCRs relacionados à Doença de Alzheimer (AD).
  • Descobertas: O modelo identificou metabólitos do intestino (ex: acetil-glutamina) e fármacos aprovados pela FDA (ex: glutationa, isosorbida dinitrato) como potenciais ligantes.
  • Validação: As previsões foram validadas através de modelagem baseada em estrutura (docking molecular), mostrando que os modelos de atenção do MMELON destacaram corretamente os grupos funcionais e motivos de ligação críticos (ex: interações de hidrogênio no sítio ativo).

5. Significado e Impacto

• Avanço na Descoberta de Fármacos: O MMELON oferece uma ferramenta poderosa para triagem virtual em larga escala, capaz de identificar novos alvos terapêuticos e candidatos a fármacos que poderiam ser perdidos por modelos de visão única.
• Generalização: A arquitetura é flexível e pode ser estendida para incluir outras modalidades, como conformações 3D ou representações de proteínas, tornando-se um padrão potencial para modelos de fundo biomédicos.
• Eficiência de Dados: Demonstra que a combinação inteligente de representações pré-treinadas em grandes conjuntos de dados pode superar a necessidade de grandes quantidades de dados rotulados específicos para cada tarefa.
• Disponibilidade: O código e os modelos pré-treinados foram disponibilizados publicamente no GitHub e Hugging Face, fomentando a reprodutibilidade e o avanço da comunidade científica.

Em resumo, o trabalho estabelece que a integração multimodal tardia de representações moleculares diversas é uma estratégia superior para criar modelos de fundo robustos, capazes de acelerar a descoberta de medicamentos e a compreensão de mecanismos biológicos complexos.