SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

Resumo Técnico: SciCore-Mol

Declaração do Problema
Os Modelos de Linguagem de Grande Escala (LLMs) demonstraram capacidades notáveis de raciocínio, mas enfrentam uma incompatibilidade fundamental quando aplicados a domínios científicos como a química. Dados científicos, tais como estruturas moleculares e condições de reação, são inerentemente topológicos, geométricos e contínuos. Em contraste, os LLMs são projetados para sequências simbólicas discretas. Abordagens atuais tentam preencher essa lacuna linearizando grafos moleculares em strings de texto (por exemplo, SMILES ou SELFIES). No entanto, essa linearização falha em expor explicitamente as invariantes topológicas e geométricas centrais ao raciocínio químico, levando à perda de informação, ruído semântico e previsões não confiáveis em tarefas sensíveis à estrutura. Além disso, sistemas existentes aumentados por ferramentas frequentemente tratam módulos científicos como caixas-pretas externas, exigindo que dados intermediários sejam comprimidos de volta em texto antes de serem processados pelo LLM. Essa "interface em nível de texto" cria gargalos de raciocínio e impede que o LLM acesse informações moleculares densas e contínuas.

Metodologia: Framework SciCore-Mol
Os autores propõem o SciCore-Mol, um framework modular que aumenta uma base de LLM com três módulos cognitivos profundamente integrados e plugáveis. Diferentemente de abordagens anteriores que dependem de feedback apenas em texto, o SciCore-Mol acopla esses módulos ao LLM por meio de interfaces de representação aprendidas no nível do estado oculto.

1. Módulo de Percepção Topológica: Construído sobre uma Rede Perceptron Vetorial Geométrica (GVP), este módulo codifica a geometria molecular 3D (gerada via RDKit) em representações equivariantes a SE(3). Ele integra propriedades escalares em nível atômico e vetores de coordenadas 3D por meio de passagem de mensagens. A incorporação geométrica resultante é projetada no espaço oculto do LLM e injetada como um "Token Estrutural Virtual", permitindo que o LLM atenda à informação estrutural 3D juntamente com tokens de texto.
2. Módulo de Geração Molecular: Para abordar a baixa validade da geração autoregressiva de SMILES, este módulo emprega um Transformer de Difusão Latente (DiT). Ele opera em um espaço latente molecular contínuo, condicionado aos estados ocultos do LLM. Um autoencoder de SMILES pré-treinado mapeia moléculas para vetores latentes, e o processo de difusão denoisa iterativamente esses vetores para gerar moléculas estruturalmente coerentes, que são então decodificadas de volta para SMILES.
3. Módulo de Detecção de Reação: Construído sobre um Transformer sensível a números, este módulo lida com o raciocínio intermolecular. Ele processa dados de reação hierarquicamente usando codificações compostas multicanal que combinam incorporações geométricas derivadas de GVP, quantidades estequiométricas (mols, massa) e papéis funcionais (reagente, catalisador, etc.). Isso permite a previsão conjunta de produtos de reação, rendimentos e reagentes faltantes.

Estratégia de Treinamento
O sistema utiliza uma estratégia de treinamento progressivo para alinhar módulos heterogêneos com a base do LLM:

• Estágio 1 (Pré-treinamento de Componentes): Os módulos são pré-treinados independentemente. A base do LLM passa por pré-treinamento contínuo em um corpus enriquecido em química (~400M tokens) com regularização de divergência KL contra um modelo base congelado para evitar esquecimento catastrófico.
• Estágio 2 (Alinhamento Multimodal): A base do LLM é congelada enquanto o codificador GVP e os adaptadores são treinados para alinhar representações geométricas com descrições em linguagem natural usando um objetivo contrastivo.
• Estágio 3 (Treinamento Conjunto Multi-tarefa): O sistema completo é otimizado conjuntamente em um corpus de 300K instruções-respostas cobrindo tarefas diversas (síntese, previsão de propriedades, geração, etc.).
• Estágio 4 (Ajuste Fino Específico de Tarefa): O ajuste fino opcional permite especialização em tarefas específicas de downstream congelando ou descongelando seletivamente módulos.

Principais Contribuições

• Inovação Arquitetural: Um sistema unificado que integra percepção consciente de topologia, geração por difusão latente e raciocínio consciente de reação diretamente no estado oculto do LLM, eliminando o gargalo de informação das interfaces de ferramentas apenas em texto.
• Modularidade: O design "plugável" permite que os módulos sejam ativados, desativados ou atualizados independentemente (por exemplo, trocando o codificador GVP por uma arquitetura 3D mais forte) sem re-treinar todo o sistema.
• Desempenho: Os autores demonstram que um sistema SciCore-Mol de 8B de parâmetros alcança desempenho competitivo e, em algumas dimensões, superior, comparado a modelos proprietários muito maiores (por exemplo, GPT-4o, GPT-5) e outros modelos de química de código aberto.

Resultados Experimentais
Avaliado em cinco dimensões de capacidade (Núcleo de Conhecimento, Tradução Mol-Texto, Geração de Moléculas, Previsão Quantitativa e Raciocínio de Síntese) usando benchmarks como SMolInstruct, MMLU-Chemistry, ChemBench4K, ORD e MoleculeNet:

• Desempenho Equilibrado: O SciCore-Mol exibe o perfil de capacidade mais equilibrado entre modelos de escala similar, superando baselines em geração de moléculas, previsão quantitativa e raciocínio de síntese, mantendo ao mesmo tempo conhecimento geral forte.
• Tarefas Sensíveis à Estrutura: Estudos de ablação confirmam que o codificador GVP melhora significativamente o desempenho em tarefas que exigem informação 3D (por exemplo, Tox21, classificação de HIV, regressão QM9), onde modelos apenas em texto lutam.
• Raciocínio de Reação: A remoção do Módulo de Detecção de Reação leva a uma degradação severa na validade da previsão de produtos e rendimentos, confirmando a necessidade de modelagem estruturada para raciocínio em nível de reação.
• Generalização: O modelo mostra forte generalização fora da distribuição no benchmark DrugR (lançado após o pré-treinamento), sugerindo que ele aprende priores estruturais transferíveis em vez de depender exclusivamente de memorização.

Significado e Alegações
O artigo afirma que o SciCore-Mol fornece um blueprint sistemático para equipar LLMs com expertise científica por meio de módulos desacoplados, plugáveis e flexivelmente orquestrados. Os autores argumentam que a integração profunda, em nível de incorporação, de módulos especializados é mais eficaz do que depender exclusivamente de representações moleculares baseadas em texto ou raciocínio aumentado por ferramentas solto. Este framework é apresentado como um modelo geral para modelos fundamentais científicos que requerem integração de dados heterogêneos, com implicações diretas para o design de fármacos, síntese química e descoberta científica mais ampla. O trabalho enfatiza que, embora o sistema atual seja projetado para moléculas pequenas, a arquitetura modular oferece um caminho para suportar entidades maiores como proteínas e polímeros em iterações futuras.