🤖 machine learning

Bi-semantic Chemical Embedder for Joint Representation Learning of SMILES and Natural Language

O artigo apresenta o CheMatE, um modelo de incorporação bi-semântica construído sobre o ModernBERT que utiliza um processo de treinamento de dois estágios envolvendo o aprendizado de linguagem mascarada contínuo em um massivo corpus científico anotado com SMILES e, subsequentemente, aprendizado contrastivo para representar conjuntamente estruturas moleculares e linguagem natural, alcançando um desempenho robusto tanto em tarefas de predição de propriedades químicas quanto em tarefas de compreensão de linguagem geral.

Autores originais: David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

Publicado 2026-08-05

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da química como uma biblioteca enorme e movimentada. Dentro dela, existem duas formas muito diferentes de descrever a mesma coisa: uma molécula. Em uma prateleira, você tem o "atalho do cientista", um código compacto chamado SMILES que parece uma estranha sequência de letras e números (como C1=CC=CC=C1). É eficiente para computadores, mas, para humanos, lê-se como uma cifra secreta. Na outra prateleira, você tem a "descrição do contador de histórias", parágrafos longos de linguagem natural explicando como uma molécula se comporta, onde é encontrada ou como reage. Por muito tempo, programas de computador tentando entender a química tinham que escolher um lado. Eles podiam ser ótimos em ler o código secreto, mas terríveis em entender a história, ou vice-versa. Eles frequentemente esqueciam como falar "humano" para se tornarem especialistas em "código químico". Este artigo faz uma pergunta simples, mas complicada: Podemos construir um único cérebro que seja fluente tanto no código secreto quanto na história ao mesmo tempo, sem perder a sanidade?

Os pesquisadores por trás deste estudo, liderados por David Ming Segura e Philippe Schaller, dizem que sim. Eles construíram um novo modelo de IA chamado CheMatE (Chemical Embedder with Matryoshka Embedding) que atua como um tradutor superbilíngue. Em vez de forçar a IA a escolher entre ser um químico ou um linguista, eles a ensinaram a ver o código químico e a história científica como dois lados da mesma moeda.

Veja como eles fizeram isso e por que funciona.

O Problema: A Armadilha do "Especialista"

Pense nos modelos de IA anteriores como um aluno que estuda apenas para uma prova de matemática. Ele pode tirar uma nota perfeita em cálculo, mas, se você lhe pedir para escrever um poema, ele pode esquecer como usar adjetivos. No mundo da IA química, modelos treinados pesadamente em sequências SMILES (o código) tornaram-se tão bons em reconhecer padrões no código que "esqueceram" como entender as sentenças de linguagem natural que as cercavam. Eles se tornaram especialistas que não consegam conversar com o resto da biblioteca.

A Solução: Uma Biblioteca "Bilíngue"

A equipe decidiu parar de tratar o código e a história como coisas separadas. Em vez disso, criaram um método de treinamento onde os dois são tecidos juntos.

1. O Pipeline de Injeção: Temperando o Texto
Imagine que você tem uma pilha de 14,4 milhões de artigos científicos e textos educacionais. Estas são as "histórias". Os pesquisadores construíram um pipeline robótico que lê essas histórias, encontra cada menção a um produto químico (como "glicose" ou "aspirina") e insere secretamente o código SMILES desse produto logo ao lado dele.

O Resultado: Uma frase como "A glicose é um açúcar simples" torna-se "A glicose é um açúcar simples 0=С[С@H](0)...".
A Escala: Eles fizeram isso para mais de 14 milhões de documentos, criando um conjunto de treinamento massivo com 21,9 bilhões de "palavras" (tokens). Isso significa que a IA vê o código e a história acontecendo ao mesmo tempo, repetidamente.

2. O Truque do "Agrupamento Inteligente": Encaixando o Quebra-Cabeça
Treinar uma IA em uma biblioteca tão vasta é como tentar encaixar peças de quebra-cabeça de tamanhos muito diferentes em uma caixa. Alguns documentos são curtos; outros são enormes (até 8.192 tokens de comprimento). Se você apenas jogá-los aleatoriamente, alguns processadores de computador (GPUs) ficariam ociosos esperando os mais lentos terminarem, desperdiçando tempo e dinheiro.

A Correção: A equipe inventou um "Amostrador de Lote Consciente de Custo" (Cost-Aware Batch Sampler). Pense nele como um bibliotecário inteligente que não apenas conta quantos livros há em uma pilha, mas calcula o quão pesado e desajeitado cada livro é. Eles organizam as pilhas para que cada processador de computador receba uma quantidade igual de "trabalho" a fazer, independentemente de quão longos sejam os documentos. Isso tornou o treinamento 30% mais eficiente e permitiu que lidassem com esses documentos longos e complexos sem travar.

3. O Treinamento de Dois Estágios: Aprender a Ler, Depois a Conectar
A IA não apenas leu o texto misturado uma vez; ela aprendeu em duas fases distintas, como um aluno que primeiro aprende o vocabulário e depois aprende a escrever ensaios.

Estágio 1 (O Vocabulário): O modelo usou uma técnica chamada "Modelagem de Linguagem Mascarada". Imagine ler uma frase onde algumas palavras estão cobertas por caixas pretas. A IA tinha que adivinhar as palavras que faltavam. Mas aqui, as palavras que faltavam podiam ser uma palavra normal ou um pedaço de código SMILES. Isso forçou a IA a aprender que o código e o texto pertencem ao mesmo contexto.
Estágio 2 (A Conexão): Assim que a IA conhecia o vocabulário, eles a ensinaram a entender relacionamentos. Eles criaram um jogo onde a IA tinha que combinar um código químico específico com o parágrafo de texto correto, enquanto ignorava parágrafos sobre produtos químicos totalmente diferentes. Eles usaram um método chamado "Perda de Classificação Negativa Múltipla" com um toque "Matryoshka" (nomeado em homenagem às bonecas russas de encaixe). Isso significa que a IA aprendeu a entender o produto químico em diferentes níveis de detalhe, desde uma visão panorâmica até os mínimos detalhes, garantindo que não perdesse informações importantes mesmo se a visão fosse ampliada para fora.

Os Resultados: O Melhor de Dois Mundos

Quando testaram o CheMatE, os resultados foram impressionantes. Eles o compararam com outros 11 modelos, incluindo aqueles que eram especialistas apenas em código e outros que eram especialistas apenas em texto.

A Pontuação: O CheMatE foi o único modelo que ficou no grupo de elite para ambas as tarefas simultaneamente. Ele obteve uma "Pontuação Bi-semântica" de 86,7%, o que significa que esteve entre os melhores desempenhos em quase 88% dos 48 testes que realizaram.
A Comparação: Modelos que eram ótimos em ler códigos SMILES (como o MoLFormer ou o ChemBERTa) eram terríveis em entender a linguagem natural. Modelos que eram ótimos em linguagem eram razoáveis em código, mas não os melhores. O CheMatE quebrou essa compensação (trade-off). Ele provou que você não precisa sacrificar uma habilidade para ganhar a outra.

Por Que Isso Importa

Isso não é apenas sobre obter uma pontuação mais alta em um teste. Ao provar que um único modelo pode entender tanto a estrutura rígida das fórmulas químicas quanto o contexto fluido da escrita científica, o CheMatE abre as portas para ferramentas mais inteligentes na descoberta de fármacos e ciência dos materiais. Sugere que, no futuro, não precisaremos de ferramentas separadas para ler um diagrama químico e um artigo de pesquisa; um cérebro unificado poderia fazer tudo, ajudando cientistas a encontrar novos medicamentos ou materiais mais rapidamente ao compreender toda a história por trás da ciência.

Os autores ressaltam cuidadosamente que, embora este seja um grande passo à frente, o sistema não é perfeito. Ele depende de ferramentas existentes para encontrar produtos químicos em textos, o que às vezes pode falhar com compostos complicados ou inéditos. No entanto, a ideia central — que misturar o código e a história cria uma IA mais inteligente e versátil — foi demonstrada com sucesso.

Resumo Técnico: CheMatE – Codificador Químico Bi-semântico para Aprendizado de Representação Conjunta

Definição do Problema

Modelos Transformer expandiram com sucesso as arquiteturas de processamento de linguagem natural (NLP) para a química via strings SMILES. No entanto, os modelos de adaptação de domínio existentes enfrentam duas limitações críticas:

Sobre-especialização de Domínio: Modelos pré-treinados intensivamente em SMILES frequentemente sofrem de esquecimento catastrófico de capacidades semânticas fundamentais, tendo dificuldade em generalizar para diversas tarefas de linguagem natural científica. Por outro lado, modelos adaptados de modelos de linguagem gerais degradam o entendimento químico durante o pré-treinamento de domínio específico.
Restrições de Contexto: A maioria dos modelos de embedding molecular é otimizada para strings SMILES curtas e isoladas, carecendo de capacidade arquitetônica para processar documentos científicos de formato longo, onde entidades químicas aparecem dentro de contextos mais amplos.

As abordagens atuais tipicamente forçam um compromisso (trade-off), excelindo ou na sintaxe química ou na linguagem científica geral, mas raramente em ambas simultaneamente.

Metodologia

Os autores introduzem o CheMatE (Codificador Químico com Embedding Matryoshka), um codificador bi-semântico de contexto longo construído sobre a base ModernBERT. O modelo é projetado para capturar a estrutura molecular e a linguagem natural específica do domínio dentro de um único espaço de representação por meio de um novo pipeline de treinamento em dois estágios.

1. Construção de Dados: Injeção de SMILES em Larga Escala

Para criar um corpus de treinamento que entrelace a notação estrutural com o contexto científico, os autores desenvolveram um pipeline automatizado que processou 14,4 milhões de documentos (11,45B de tokens do ChemPile papers e 10,41B de tokens do FineWeb-Education/Web após filtragem).

Filtragem: Os textos foram filtrados usando um Score de Química de Texto (TCS) baseado em análise de frequência de palavras para reter conteúdo relevante à química.
Pipeline de Anotação: Um processo de quatro estágios anota as entidades químicas:
1. NER: Detecção de entidades químicas usando o Chemical Data Extractor 2 (CDE2).
2. Conversão: Conversão determinística IUPAC-para-SMILES via OPSIN.
3. Busca: Recurso de contingência via API do PubChem para nomes não resolvidos.
4. Validação: Canonicidade e verificação de valência via RDKit.
Injeção: Strings SMILES válidas são inseridas imediatamente após suas menções correspondentes de entidades químicas no texto, criando um corpus de multimodalidade mista onde tokens SMILES aparecem naturalmente dentro de narrativas científicas de contexto longo.

2. Estratégia de Treinamento

O treinamento procede em dois estágios sequenciais:

Estágio I: Modelagem de Linguagem Mascarada (MLM) Continuada

Objetivo: O modelo passa por um pré-treinamento continuado no corpus injetado com SMILES usando um objetivo padrão de MLM (taxa de mascaramento de 15%).
Inovação de Eficiência: Para lidar com a extrema variabilidade nos comprimentos de sequência (até 8.192 tokens) em uma configuração multi-GPU, os autores desenvolveram o BalancedTokenBatchSampler. Diferente do preenchimento (padding) padrão, que causa desequilíbrio de carga, este amostrador constrói lotes baseados em três restrições: um orçamento de tokens brutos, um limite de memória de tokens preenchidos e um teto de custo quadrático ( $\sum L_i^2$ ). Isso garante cargas computacionais equilibradas entre as GPUs, reduzindo o overhead de padding em até 50% e eliminando erros de falta de memória (out-of-memory).

Estágio II: Aprendizado Contrastivo com Embeddings Matryoshka

Objetivo: Para refinar o entendimento bi-semântico, o modelo é ajustado (fine-tuned) usando Multiple Negative Ranking Loss (MNRL) com um wrapper Matryoshka.
Geração de Pares Sintéticos: Um pipeline algorítmico gera trios de âncora-positivo-negativo diretamente do corpus anotado. Uma âncora SMILES é selecionada, e segmentos de texto são pontuados com base na similaridade de Tanimoto de impressões digitais (fingerprints) de Morgan contra a âncora. Segmentos com alta similaridade formam o conjunto positivo; baixa similaridade forma o conjunto negativo.
Perda Matryoshka: O modelo é otimizado para produzir embeddings informativos mesmo quando truncados para subdimensões (768, 512, 256, 128, 64), aumentando a flexibilidade para aplicações downstream.

Principais Contribuições

Pipeline de Injeção de SMILES em Larga Escala: Um sistema automatizado de múltiplos estágios que integra entidades químicas em textos científicos, produzindo um corpus de 21,9 bilhões de tokens otimizado para aprendizado bi-semântico.
Amostrador de Lote Distribuído de Orçamento de Custo: Um amostrador inovador (BalancedTokenBatchSampler) que permite o treinamento eficiente de dados heterogêneos de contexto longo em clusters de GPU multi-nó, equilibrando custos computacionais quadráticos em vez de apenas contagens de amostras.
Treinamento Sequencial Bi-semântico: Um pipeline que trata o SMILES não como uma modalidade separada, mas como tokens integrados dentro da linguagem natural, seguido de refinamento contrastivo. Isso permite que um único codificador aprenda representações robustas tanto para a química estrutural quanto para o NLP científico.
Benchmarking Unificado: Avaliação em 48 conjuntos de dados diversos (26 de classificação, 22 de regressão) cobrindo predição de propriedades moleculares, ciência dos materiais e compreensão de linguagem científica.

Resultados

O CheMatE foi avaliado contra 11 baselines, incluindo modelos de propósito geral (ex: SciBERT, ModernBERT) e codificadores especializados em química (ex: ChemBERTa, MoLFormer, BERT-SMILES).

Desempenho de Domínio Duplo: O CheMatE alcançou o menor ranking médio tanto em tarefas de SMILES (1.9) quanto em tarefas de NLP (3.2). É o único modelo especializado em química que ranqueia no grupo de equivalência de Nemenyi para ambas as modalidades simultaneamente.
Estudo de Ablação: Remover o estágio de treinamento contrastivo (CheMatE-MLM) resultou em uma queda significativa de desempenho, com o score bi-semântico caindo de 86,7% para 55,5%. Isso confirma que o estágio contrastivo sequencial é crítico para refinar o desempenho cross-modal.
Comparação com Baselines:
- Modelos especializados em química (ex: MoLFormer, ChemBERTa) tiveram bom desempenho em SMILES, mas ranquearam na base do ranking de NLP.
- Modelos de linguagem geral tiveram desempenho razoável em NLP, mas struggled significativamente em tarefas de SMILES.
- O CheMatE evitou com sucesso esse compromisso de modalidade, superando as impressões digitais de Morgan em tarefas de SMILES e igualando modelos dedicados de linguagem científica em tarefas de NLP.

Significância e Alegações

O artigo afirma que o CheMatE demonstra que o forte entendimento de SMILES e a compreensão de linguagem natural científica não são mutuamente exclusivos em modelos de apenas um codificador (encoder-only). Ao unificar sinais estruturais e contextuais dentro de um único framework baseado em texto, o modelo alcança um desempenho competitivo através de tarefas especializadas de química e benchmarks de linguagem de propósito geral sem o típico compromisso de especialização.

Os autores posicionam o CheMatE como uma base versátil para:

Embedding de Molécula e Linguagem Natural: Fornecendo representações de alta qualidade para ambas as modalidades.
Aplicações de Recuperação (Retrieval): Servindo como um backbone para recuperação em ambientes de semântica mista.
Modelos Generativos Futuros: Potencialmente atuando como uma base para pipelines de Geração Aumentada de Recuperação (RAG) onde estruturas moleculares são fundamentadas em contextos científicos ricos.

O trabalho também destaca o valor do pipeline de injeção de SMILES e do BalancedTokenBatchSampler como ferramentas reutilizáveis para o treinamento de corpora científicos de larga escala e heterogêneos. Os autores reconhecem limitações quanto à dependência do pipeline de anotação de ferramentas de NER e bancos de dados existentes (que podem falhar em compostos novos) e o tamanho modesto do conjunto de dados contrastivo, mas afirmam que a abordagem valida a rota de fundir a notação molecular diretamente no texto científico para o aprendizado de representação de química de propósito geral.