Suiren-1.0 Technical Report: A Family of Molecular Foundation Models

O artigo apresenta a Suiren-1.0, uma família de modelos fundamentais moleculares que integra três variantes especializadas e uma técnica de destilação baseada em difusão para prever com precisão propriedades quânticas e representar sistemas orgânicos complexos, estabelecendo novos padrões de desempenho em diversas tarefas.

O essencial

Imagine que você quer prever o tempo. Você pode olhar para uma única nuvem (microscópico) e tentar adivinhar se vai chover, ou pode olhar para o clima geral de uma cidade inteira (macroscópico) para ver se as pessoas precisam de guarda-chuvas.

O problema é que, na química, a "nuvem" é uma molécula em 3D (com átomos se movendo em todas as direções), e o "clima" é como essa molécula se comporta na vida real (se dissolve na água, se explode, se é venenosa). Até agora, os cientistas tinham que escolher: ou estudavam a nuvem em detalhes complexos (o que é caro e lento) ou olhavam apenas para o desenho 2D da molécula (o que é rápido, mas perde informações importantes).

Aqui entra o Suiren-1.0, uma nova família de "cérebros" de inteligência artificial criada por pesquisadores da Academia de IA para Ciência de Xangai. Eles não escolheram um lado; eles criaram uma ponte entre os dois mundos.

Aqui está como eles fizeram isso, explicado de forma simples:

1. O Mestre: Suiren-Base (O Estudante de Física)

Primeiro, eles criaram um modelo gigante chamado Suiren-Base.

• A Analogia: Imagine um estudante de física extremamente inteligente que passou anos estudando apenas em laboratórios de alta tecnologia. Ele aprendeu a lei de cada átomo, como eles se movem no espaço 3D e como a energia flui entre eles.
• O que ele faz: Ele é treinado com dados de "primeiros princípios" (cálculos quânticos super precisos) de 70 milhões de moléculas. Ele é um especialista em ver a estrutura 3D completa.
• O problema: Ele é como um gênio que só fala a língua dos laboratórios. Se você der a ele apenas o nome da molécula (como um código de barras 2D), ele não sabe o que fazer. Além disso, ele é muito pesado e lento para usar em aplicativos do dia a dia.

2. O Mestre do Dimer: Suiren-Dimer (O Especialista em Relações)

Depois, eles deram um "curso de especialização" para o Suiren-Base.

• A Analogia: O Suiren-Base aprendeu como os átomos se comportam dentro de uma única molécula. O Suiren-Dimer aprendeu como duas moléculas diferentes interagem entre si (como se elas se abraçassem ou se empurrassem).
• Por que isso importa? Isso é crucial para coisas como design de remédios, onde o remédio precisa se "agarrar" a uma proteína no corpo.

3. O Mágico: Suiren-ConfAvg (O Tradutor Rápido)

Aqui está a parte mais genial. Eles queriam ter a inteligência do Suiren-Base, mas em um formato leve e rápido que pudesse ler apenas o nome da molécula (SMILES) ou seu desenho 2D.

• O Problema: Como ensinar um modelo 2D a entender a complexidade 3D sem ter que calcular tudo de novo?
• A Solução (CCD): Eles criaram uma técnica chamada Destilação por Compressão de Conformação.
  • A Analogia: Imagine que o Suiren-Base (o Mestre) tem um caderno gigante com todas as posições possíveis que uma molécula pode assumir. O Suiren-ConfAvg (o Mágico) é um aluno que tenta adivinhar o conteúdo desse caderno apenas olhando para a capa do livro (o desenho 2D).
  • O Mágico usa uma técnica de "difusão" (como tirar uma foto borrada e ir limpando até ver a imagem clara) para aprender a prever a média de todas as posições 3D possíveis.
  • Resultado: O Suiren-ConfAvg é leve, rápido e consegue prever propriedades complexas (como ponto de ebulição ou toxicidade) apenas olhando para o desenho 2D, mas com a "intuição" de quem viu o mundo 3D.

Por que isso é incrível? (Os Resultados)

Os pesquisadores testaram esses modelos em mais de 50 tarefas diferentes, desde prever se um material é inflamável até quão bem ele se dissolve na água.

• O Recorde: O Suiren-1.0 venceu quase todas as competições, superando os melhores modelos atuais em mais de 20 tarefas.
• A Eficiência: O modelo "Mágico" (Suiren-ConfAvg) é tão bom que, mesmo sem ter acesso aos dados 3D pesados durante o uso final, ele acerta mais do que os modelos que tentam calcular tudo do zero.
• A Liberdade: Eles liberaram tudo de graça (código e modelos) para que qualquer cientista possa usar.

Resumo em uma frase

O Suiren-1.0 é como ter um engenheiro de precisão (que entende a física 3D complexa) que ensinou um assistente rápido (que lê apenas desenhos 2D) a prever o futuro das moléculas com a mesma precisão, mas em uma fração do tempo e custo.

Isso acelera a descoberta de novos medicamentos, materiais mais seguros e baterias melhores, tornando a ciência química mais acessível e eficiente.

Resumo técnico

Resumo Técnico: Suiren-1.0

1. O Problema

O campo de modelagem molecular enfrenta desafios fundamentais que limitam a criação de modelos universais eficazes:

• Complexidade dos Priors Físicos: O comportamento molecular é governado por leis intrincadas da mecânica quântica e termodinâmica estatística. Aprender esses mecanismos apenas com dados supervisionados é difícil devido à escassez de dados rotulados de alta fidelidade.
• A Lacuna Multiescala: Existe uma desconexão persistente entre:
  • Microescala: Estruturas 3D explícitas e densidades eletrônicas (geradas por Teoria do Funcional da Densidade - DFT), que são ricas em dados, mas computacionalmente custosas para gerar em massa.
  • Macroescala: Propriedades observáveis (como solubilidade, toxicidade, pontos de ebulição) que dependem de médias estatísticas de múltiplos conformeros (distribuição de Boltzmann). Esses dados são frequentemente escassos e caros (experimentos de laboratório), e são representados apenas por grafos 2D ou SMILES (1D), que carecem de informação conformacional explícita.
• Limitações dos Modelos Atuais: Modelos puramente 3D (como UMA) são precisos, mas não generalizam bem para tarefas macroscópicas. Modelos puramente 2D (como MoleBERT) são eficientes, mas "cegos" à conformação, limitando sua precisão preditiva.

2. Metodologia

A Suiren-1.0 propõe uma família de modelos de fundação que integra representações microscópicas (3D) e macroscópicas (2D) através de uma arquitetura de três estágios:

A. Arquitetura Base (Suiren-Base e Suiren-Dimer)

• Modelo: Uma Rede Neural de Grafos (GNN) invariante a $SO(3)$ com 1,8 bilhão de parâmetros.
• Componentes: Combina o EquiformerV2 com um bloco denso de Mixture-of-Experts (MoE).
• Inovação no MoE: Utiliza simultaneamente especialistas S2Activation e Equivariant Spherical Transformer (EST).
• Estratégia de Treinamento: Para mitigar erros de discretização na esfera, introduz uma estratégia de rotação de base aleatória durante o treinamento, expondo o modelo a diversas orientações e aproximando o comportamento da transformada de Fourier esférica contínua.
• Dados: Pré-treinado em 70 milhões de amostras de DFT (nível B3LYP/def2-SVP) usando auto-supervisão espacial e tarefas de previsão de energia e forças.
• Suiren-Dimer: Uma variante com pré-treinamento contínuo em 13,5 milhões de amostras de dímeros para capturar interações intermoleculares.

B. Destilação de Compressão Conformacional (CCD)

• Objetivo: Transferir o conhecimento rico do modelo 3D (Suiren-Base) para um modelo leve 2D (Suiren-ConfAvg) que possa operar apenas com SMILES ou grafos moleculares.
• Mecanismo: Um framework baseado em difusão.
  • O modelo 2D (codificador GAT) e um modelo de dinâmica de difusão são treinados para reconstruir representações 3D e coordenadas a partir de entradas 2D e energia.
  • O processo aprende a mapear a topologia 2D para um espaço latente que captura a média conformacional (ensemble), permitindo a geração de conformeros 3D de alta fidelidade quando necessário, ou representações 2D robustas para tarefas gerais.

C. Aprendizado por Transferência (Fine-tuning)

• Utiliza uma arquitetura de Dupla Rede Neural de Grafos (DGNN):
  • Um módulo Suiren-ConfAvg pré-treinado (congelado) fornece representações estruturais.
  • Um GNN específico para a tarefa (inicializado aleatoriamente) recebe essas representações para ajuste fino.
• Protocolo Unificado: Todos os benchmarks são avaliados com a mesma configuração de hiperparâmetros, sem engenharia específica para cada tarefa, garantindo comparabilidade justa.

3. Principais Contribuições

1. Ponte Multiescala: Estabelece um framework unificado que conecta representações 3D de alta fidelidade (microscópicas) a representações 2D generalizáveis (macroscópicas) via destilação.
2. Arquitetura Escalável e Eficiente: Desenvolvimento de uma GNN invariante a $SO(3)$ com MoE denso e estratégias de treinamento que otimizam a densidade de amostragem esférica.
3. Novo Benchmark (MoleHB): Introdução de um conjunto de dados abrangente com mais de 40 tarefas heterogêneas de propriedades moleculares, validadas experimentalmente, cobrindo 9 domínios científicos (segurança, térmico, estrutural, etc.).
4. Código e Modelos Abertos: Todos os pesos dos modelos (Base, Dimer, ConfAvg), códigos de pré-treinamento, destilação e fine-tuning, bem como o benchmark MoleHB, foram open-sourced.

4. Resultados

Os modelos foram avaliados em mais de 50 tarefas em 9 domínios científicos:

• Desempenho Geral (MoleHB):
  • O Suiren-ConfAvg alcançou resultados State-of-the-Art (SOTA) em 41 de 43 propriedades testadas.
  • Melhorias significativas (acima de 20%) foram observadas em mais de 20 tarefas em comparação com modelos de ponta como MoleBERT e Uni-Mol.
  • Destaque em propriedades críticas (temperatura/pressão crítica), energéticas (energia livre de Gibbs, entalpia) e de transporte (viscosidade).
• Desempenho em TDC (ADMET):
  • No conjunto de dados Therapeutics Data Commons (ADMET), o Suiren-ConfAvg obteve o melhor desempenho em 9 de 18 métricas e ficou em segundo lugar em outras 4.
  • Destaca-se por atingir esse nível de precisão sem otimização específica de hiperparâmetros para cada tarefa, demonstrando robustez e facilidade de implantação.
• Comparação de Pré-treinamento:
  • O Suiren-Base superou significativamente modelos base (EquiformerV2, eSCN) na previsão de energia e forças atômicas, reduzindo o erro médio (MAE) de forças de ~29 meV/Å para 0.510 meV/Å.

5. Significado e Impacto

O Suiren-1.0 representa um avanço crucial na química computacional e no design de materiais:

• Viabilidade Prática: Ao destilar modelos 3D complexos para representações 2D leves, torna possível a aplicação de modelos de fundação em pipelines industriais onde a geração de conformeros 3D é proibitivamente cara.
• Generalização Física: A integração de priors físicos (via arquitetura equivariante e dados de primeiros princípios) permite que o modelo generalize para espaços químicos amplos, superando a dependência excessiva de dados rotulados macroscópicos.
• Reprodutibilidade: A padronização do protocolo de fine-tuning e a abertura dos recursos estabelecem um novo padrão para avaliação justa de modelos de fundação molecular.

Em suma, a Suiren-1.0 resolve o dilema entre precisão física e eficiência computacional, oferecendo uma ferramenta versátil para descoberta de fármacos, design de materiais e química de baterias.