Resumo Técnico: GLACIER

Declaração do Problema

Modelos de aprendizado profundo tornaram-se essenciais para acelerar a descoberta de fármacos ao prever propriedades moleculares entre bilhões de compostos candidatos. No entanto, os modelos de estado da arte atuais enfrentam desafios significativos de escalabilidade devido à sua carga computacional e intensidade de recursos. Além disso, a maioria dos modelos de grande escala é unimodal, falhando em aproveitar as informações complementares disponíveis em diferentes modalidades de dados moleculares (por exemplo, grafos estruturais, sequências de texto e descritores físico-químicos). Existem abordagens multimodais que frequentemente sofrem com alta complexidade computacional ou carecem de generalização robusta em diversas tarefas de jusante (downstream). Há uma necessidade de um framework leve e eficiente que integre dados multimodais para alcançar alto desempenho preditivo sem os custos de recursos de modelos de fundação massivos.

Metodologia

O artigo propõe o GLACIER (Graph-Language Alignment for Chemical Inference and Exploration using Representations), um modelo de fundação estudante-professor multimodal projetado para aprender representações moleculares unificadas através de um pipeline de três estágios:

1. Arquiteturas Estudantes Multimodais (Etapa 1)

O GLACIER emprega três codificadores distintos para processar diferentes modalidades de 100.000 moléculas semelhantes a fármacos amostradas do banco de dados Enamine REAL:

• Codificador de Grafo: Utiliza uma Rede Neural de Passagem de Mensagem (MPNN) com 3 etapas de passagem de mensagem e uma função de leitura de agregação atenciosa para capturar informações topológicas de grafos moleculares.
• Codificador de Texto: Utiliza um Transformer leve (2 camadas, dimensão oculta de 128) para processar strings SMILES. Ele emprega um tokenizador Byte-Pair Encoding (BPE) personalizado e treinado no conjunto de dados, mapeando strings para sequências de comprimento fixo com codificações posicionais senoidais.
• Codificador Tabular: Um Perceptron Multicamadas (MLP) processa 217 descritores físico-químicos (ex: peso molecular, logP) calculados pelo RDKit.

2. Fusão de Modalidade Sensível à Geometria (Etapa 2)

Em vez de simples concatenação ou atenção cruzada padrão, o GLACIER introduz um novo mecanismo de fusão sensível à geometria de Finsler.

• Os embeddings das modalidades são projetados em um espaço latente compartilhado.
• A fusão utiliza uma métrica Randers assimétrica, que incorpora um campo de vetor de deriva direcional derivado do embedding de texto ($z_{text}$). Isso cria um viés geométrico onde os embeddings de grafo e tabular que se alinham com a direção semântica do texto são considerados mais próximos.
• Um mecanismo de atenção cruzada com portão (gated) ajusta dinamicamente a importância das modalidades com base em uma amplitude escalar aprendível e um portão sigmoide controlado pela distância geométrica mínima. Isso permite que o modelo priorize dinamicamente informações complementares.

3. Destilação de Conhecimento Estudante-Professor (Etapa 3)

O GLACIER destila o conhecimento de modelos professores de grande escala para a arquitetura estudante leve usando aprendizado contrastivo:

• Professores: O framework utiliza o MiniMol (baseado em grafos) e o MolFormer (baseado em transformer) como modelos professores fixos.
• Objetivo de Destilação: É empregada uma perda InfoNCE multi-professor dinâmica. Uma cabeça de contribuição interna prevê um peso ($\tau_k$) para cada professor com base no embedding atual do estudante, permit vez que o estudante ajuste dinamicamente a contribuição de cada professor. Um termo de regularização evita o colapso do modelo.
• Pré-treinamento: O modelo é pré-treinado por 250 épocas usando aumento dinâmico de SMILES para garantir representações quimicamente invariantes.

Principais Contribuições

1. Framework GLACIER: Um modelo de fundação multimodal que unifica representações moleculares destilando conhecimento de professores de estado da arte via pré-treinamento contrastivo em um corpus relativamente pequeno (100.000 moléculas).
2. Fusão de Geometria de Finsler: Um mecanismo de fusão inovador usando um espaço Randers compartilhado para alinhar dinamicamente os embeddings de grafo, SMILES e descritores físico-químicos, abordando o desafio de integrar dados moleculares heterogêneos.
3. Eficiência e Desempenho: Demonstração de que modelos multimodais compactos podem rivalizar e superar modelos de fundação substancialmente maiores em desempenho preditivo, mantendo velocidades de inferência leves.

Resultados Experimentais

O modelo foi avaliado em 11 tarefas de previsão de propriedade molecular nos benchmarks Therapeutics Data Commons (TDC) e MoleculeNet, cobrindo tanto tarefas de classificação (ex: AMES, BBB, Tox21) quanto de regressão (ESOL, LIPO).

• Desempenho Preditivo: O GLACIER alcançou desempenho de estado da arte ou competitivo em diversos benchmarks. Especificamente, a variante que destila do MiniMol alcançou um AUROC médio de 0,799 em tarefas de classificação e um RMSE médio de 0,806 em tarefas de regressão, superando baselines maiores como o ChemFM (1B de parâmetros) e outros modelos híbridos.
• Eficácia da Destilação: Os modelos estudantes consistentemente igualaram ou excederam o desempenho de seus respectivos modelos professores. A variante de duplo professor (Mi-Mo) mostrou novos incrementos em alguns casos, sugerindo a integração bem-sucedida de conhecimentos complementares.
• Eficiência: O GLACIER demonstrou uma relação desempenho-parâmetro superior. Alcançou alto AUROC e baixo RMSE com significativamente menos parâmetros do que grandes modelos de fundação e ofereceu menor latência de inferência.
• Estudos de Ablação:
  • Mecanismo de Fusão: O mecanismo de fusão de Finsler superou consistentemente os baselines de concatenação padrão e atenção cruzada, particularmente quando pareado com o professor MiniMol.
  • Modalidade: O modelo trimodal completo (Grafo + Texto + Tabular) superou consistentemente as variantes unimodais e bimodais, confirmando a natureza complementar das fontes de dados.
  • Escalabilidade: O desempenho melhorou rapidamente com o tamanho do dado de pré-treinamento até 100.000 moléculas, após o qual os ganhos estagnaram, indicando a eficiência de dados do framework de destilação.
• Interpretabilidade: A análise mostrou uma correlação positiva ($r=0,48$) entre similaridade estrutural (coeficiente de Tanimoto) e similaridade de embedding (similaridade de cosseno), e visualizações t-SNE revelaram agrupamentos claros de compostos quimicamente relacionados.

Significância e Alegações

Os autores afirmam que o GLACIER representa um passo significativo em direção ao aprendizado molecular escalável e eficiente. Ao destilar com sucesso o conhecimento de modelos de fundação grandes e intensivos em recursos para um estudante multimodal compacto, o framework desafia a noção de que o desempenho preditivo na previsão de propriedades moleculares requer contagens massivas de parâmetros.

O artigo enfatiza que:

• A compacidade não sacrifica a precisão: Modelos multimodais pequenos podem alcançar desempenho comparável ou superior ao de modelos de fundação unimodais massivos.
• A integração multimodal é a chave: Aproveitar modalidades de dados complementares via fusão geometricamente consciente melhora a representação de características.
• Implantação prática: O framework oferece um caminho viável para implantação rápida em pipelines de descoberta de fármacos, como triagem virtual e otimização de leads, onde velocidade de inferência e custo computacional são restrições críticas.

Os autores reconhecem limitações, observando que o modelo depende da disponibilidade de bons professores e que o módulo de fusão de Finsler envolve complexidades de otimização (ex: potenciais mínimos locais). Eles também destacam considerações éticas relativas ao potencial uso indevido de modelos de previsão de toxicidade.