💬 NLP

Where to cut, how deep: BPE and Unigram-LM on chemistry SMILES

Este estudo demonstra que o Byte-Pair Encoding (BPE) e o Unigram-LM produzem vocabulários de subpalavras fundamentalmente distintos e quase disjuntos para SMILES químicos, revelando que a escolha do algoritmo de tokenização é uma decisão de modelagem crítica em vez de um padrão neutro.

Autores originais: Hunter Heidenreich

Publicado 2026-07-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Hunter Heidenreich

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Questão: Como Ensinamos Computadores a Ler Fórmulas Químicas?

Imagine que você está tentando ensinar um computador a entender a linguagem da química. Químicos escrevem moléculas usando um código chamado SMILES (uma sequência de letras e símbolos como CC(=O)Oc1ccccc1).

Antes de um computador poder aprender qualquer coisa, ele precisa de um tokenizador. Pense em um tokenizador como um tradutor que divide uma frase longa em pedaços menores e mais gerenciáveis (palavras ou subpalavras) que o computador possa entender.

Durante anos, o campo da química copiou cegamente um método do processamento de linguagem natural (como a forma como os computadores leem inglês) chamado BPE (Byte-Pair Encoding). Os pesquisadores deste artigo fizeram uma pergunta simples: "Esta é a melhor maneira de recortar fórmulas químicas, ou existe uma maneira melhor?"

Eles compararam o método padrão (BPE) contra um método diferente chamado Unigram-LM.

O Experimento: Duas Tesouras Diferentes

Imagine que você tem um colar longo e complexo feito de contas coloridas diferentes (a fórmula química). Você precisa cortar este colar em pedaços menores para estudá-lo. Você tem dois pares de tesouras diferentes:

As Tesouras Gananciosas (BPE): Estas tesouras procuram pelas duas contas que aparecem lado a lado com a maior frequência em todo o monte de colares. Elas colam essas duas contas para formar uma única "super-conta" e repetem o processo. Elas são agressivas e gananciosas, tentando criar grandes blocos a partir de padrões frequentes.
As Tesouras Probabilísticas (Unigram-LM): Estas tesouras começam com um enorme monte de contas minúsculas e perguntam: "Se eu remover esta conta específica, o quanto isso prejudica a imagem geral?" Elas podam cuidadosamente as peças que não são essenciais, mantendo uma visão mais granular e detalhada.

A Descoberta Surpreendente: Elas Não Concordam

Os pesquisadores esperavam que, como as fórmulas químicas são muito rígidas (átomos devem se conectar de maneiras específicas), ambas as tesouras acabariam cortando o colar quase nos mesmos lugares. Eles pensaram que as "regras da química" forçariam os dois métodos a convergir.

Eles estavam errados.

Mesmo quando usaram exatamente os mesmos dados químicos, as mesmas regras iniciais e o mesmo tamanho de vocabulário, os dois métodos produziram conjuntos de "palavras" completamente diferentes.

A Sobreposição é Mínima: Se você pegasse a lista de "super-contas" criadas pelo BPE e a comparasse com a lista criada pelo Unigram-LM, elas compartilhariam quase nada. No pior dos casos, elas compartilhavam menos de 16% de suas peças. No melhor dos casos (olhando para as peças mais importantes e de alta frequência), elas compartilhavam menos de 5%.
A Profundidade do "Corte": Os dois métodos concordaram sobre onde fazer os cortes (o esqueleto da molécula), mas discordaram sobre o quão profundo cortar.
- O BPE tendia a fazer cortes mais grosseiros. Ele colava anéis inteiros de átomos em um único grande token.
- O Unigram-LM fazia cortes mais finos. Ele mantinha os anéis decompostos em peças menores, quase atômicas.
- Resultado: O Unigram-LM acabou usando de 29% a 41% mais tokens (peças) para descrever a mesma molécula do que o BPE.

Uma Analogia Visual: O Mapa vs. A Visão de Rua

Imagine que você está olhando para o mapa de uma cidade.

O BPE é como um mapa que agrupa bairros inteiros em blocos únicos. Ele diz: "Toda esta área é 'Centro'". É eficiente e usa menos palavras.
O Unigram-LM é como uma visão de rua que lista cada edifício e esquina. Ele diz: "Aqui está uma padaria, aqui está um parque, aqui está uma casa". Ele usa muitas mais palavras, mas oferece uma decomposição mais detalhada.

O artigo descobriu que esses dois mapas não são intercambiáveis. Se você mudar de um para o outro, o computador vê uma estrutura de dados fundamentalmente diferente.

Principais Descobertas em Linguagem Simples

É uma Escolha de Design, Não um Padrão: O campo tem usado o BPE por padrão porque é o que os modelos de linguagem natural usam. Este artigo prova que, na química, você não pode apenas copiar e colar essa escolha. Você tem que decidir ativamente quais "tesouras" usar, porque elas produzem resultados diferentes.
A Diferença é Estável: Esse desacordo não aconteceu por acaso. Isso aconteceu através de diferentes tipos de produtos químicos (medicamentos comuns, produtos naturais raros e moléculas diversas) e mesmo quando alteraram as regras sobre como lidar com átomos complexos.
A Escala Não Resolve: Geralmente, se você der mais dados ou um vocabulário maior para um computador, as coisas podem se suavizar. Os pesquisadores testaram isso tornando o vocabulário 8 vezes maior. Os dois métodos ainda assim não concordaram. Eles permaneceram distintos.
O Efeito de "Aninhamento": Embora usem palavras diferentes, eles não brigam entre si. Os cortes do Unigram-LM estão quase sempre "dentro" dos cortes do BPE. É como se o BPE dissesse "Corte a pizza inteira", e o Unigram-LM dissesse "Corte a pizza, depois corte as fatias". Eles são compatíveis, apenas em diferentes níveis de detalhe.

O Que Isso Significa para o Leitor

O artigo conclui que o algoritmo que você escolhe é uma decisão de modelagem importante.

Se você escolher o BPE, terá sequências mais curtas (menos tokens), o que é mais barato para o computador processar, mas você perde parte do detalhe granular da estrutura da molécula.
Se você escolher o Unigram-LM, terá uma visão mais detalhada e fina da molécula, mas exige que o computador processe mais tokens.

Os autores não testaram qual deles torna o computador mais inteligente ao prever reações químicas ou propriedades de drogas. Eles apenas provaram que os dois métodos criam linguagens diferentes. Portanto, a comunidade química não pode mais assumir que são iguais; eles devem escolher suas "tesouras" com cuidado.

Resumo Técnico: Onde Cortar, Qual a Profundidade: BPE e Unigram-LM em Química SMILES

Definição do Problema
Modelos de linguagem química operando em strings SMILES dependem universalmente de tokenizadores para mapear strings moleculares para IDs inteiros, uma escolha de design fundamental que dita o vocabulário, a granularidade operacional e o comprimento efetivo da sequência. O campo herdou amplamente o Byte-Pair Encoding (BPE) do processamento de linguagem natural (NLP) sem um escrutínio rigoroso. Embora o Unigram-LM seja a principal alternativa no NLP, conhecido por construir vocabulários estruturalmente diferentes, seu comportamento na química permanece não verificado. Uma hipótese de "nulidade de convergência" existe: como o SMILES químico opera sobre um alfabeto minúsculo e restrito pela valência (158 glifos), onde as restrições estruturais concentram fortemente sequências válidas, algoritmos baseados em frequência como BPE e Unigram-LM poderiam ser forçados a convergir para o mesmo vocabulário. Este estudo investiga se a escolha do algoritmo de subpalavras permanece uma decisão de modelagem distinta ou se as restrições do domínio químico conduzem esses algoritmos a produzir vocabulários intercambiáveis.

Metodologia
Os autores conduziram uma comparação controlada de BPE e Unigram-LM através de 22 condições pareadas, isolando o algoritmo como a única variável.

Base Fixa: Ambos os algoritmos foram treinados em uma base de glifos OpenSMILES de 165 tokens (Smirk), garantindo cobertura completa de moléculas conformes e eliminando a cobertura de vocabulário como um fator de confusão.
Grade Experimental: O estudo abrangeu três tipologias de corpus (diversos: PubChem; semelhantes a fármacos: ZINC-22; produtos naturais: COCONUT), duas políticas de fronteira de pré-tokenização (mesclando através de átomos entre colchetes vs. não mesclando) e três tamanhos de vocabulário ( $V \in \{256, 512, 1024\}$ ). Um bloco de sensibilidade estendeu-se a $V=2048$ e $V=8192$ .
Métricas: Os autores mediram três contrastes diretos:
1. Pertencimento: Sobreposição de vocabulário (índice de Jaccard) de pedaços aprendidos de múltiplos glifos.
2. Granularidade: Fertilidade (média de tokens por molécula em dados não vistos).
3. Distribuição: Desequilíbrio de frequência de tokens.
- Adicionalmente, diagnósticos de mecanismo foram computados, incluindo excedente de zona morta, absorção de pre-token total, fração de arcabouço (scaffold) e entropia de segmentação.
Portão de Aprendizado: As condições foram filtradas com base no "limiar de aprendizado" (Gowda e May), garantindo que os embeddings de tokens pudessem ser treinados de forma confiável (95% das peças aprendidas disparando pelo menos 100 vezes).

Principais Resultados
O estudo constata que o BPE e o Unigram-LM não convergem no domínio da química; eles produzem vocabulários mensuravelmente diferentes em todas as condições testadas.

Vocabulários Quase Disjuntos (Pertencimento): A sobreposição entre os pedaços de subpalavras aprendidos dos dois algoritmos é mínima. A sobreposição de Jaccard não ponderada nunca excede 0,161, e a sobreposição ponderada por frequência (refletindo as peças que um modelo realmente atualiza) nunca excede 0,05. Os algoritmos discordam significativamente em peças de alta frequência: o BPE tende a mesclar anéis aromáticos e cadeias em tokens únicos, enquanto o Unigram-LM permanece próximo ao nível atômico, frequentemente fragmentando essas estruturas.
Lacuna Sistemática de Granularidade: O Unigram-LM segmenta consistentemente as moléculas em 29–41% mais tokens do que o BPE. O BPE atua como um "coarsening estrito" (refinamento grosseiro) da segmentação do Unigram-LM em 80–99% das moléculas; os algoritmos concordam amplamente sobre onde cortar, mas não sobre o quão profundamente.
Estabilidade e Robustez: A divergência se mantém através de tipologias de corpus, políticas de fronteira e tamanhos de vocabulário. Mesmo em $V=8192$ (oito vezes o tamanho principal, além do regime aprendível), a sobreposição e as lacunas de granularidade permanecem essencialmente inalteradas. A divergência não é um artefato de pequenos tamanhos de vocabulário ou características específicas do corpus.
Mecanismo: A diferença é impulsionada pelas mecânicas algorítmicas. O fechamento composicional do BPE (bottom-up greedy merging) cria peças que concatenam peças existentes, enquanto o Unigram-LM (top-down pruning) retém cadeias longas de heteroátomos que não podem ser decompostas em partes dentro do vocabulário. O BPE alcança maior absorção de pre-token total, enquanto o Unigram-LM exibe maior entropia de segmentação.
Generalização: A lacuna de granularidade persiste fora do domínio. Quando tokenizadores treinados em um corpus são aplicados a outros (incluindo complexos de metais de transição e peptídeos cíclicos), o BPE mantém comprimentos de sequência próximos ao nativo, enquanto o Unigram-LM mostra modesta sensibilidade de domínio, mas retém sua segmentação mais fina.

Significância e Alegações
O artigo afirma que o algoritmo de subpalavras é uma decisão de modelagem, não um padrão gratuito.

Deslocando o Padrão: A suposição herdada pelo campo de que BPE e Unigram-LM são intercambiáveis no nível do tokenizador é incorreta para a química. Trocar o algoritmo altera quais subestruturas se tornam unidades atômicas de embedding e altera o comprimento efetivo da sequência em aproximadamente um terço.
Algoritmo vs. Corpus: A escolha do algoritmo tem um impacto maior na estrutura do tokenizador do que a escolha do corpus de treinamento. Os tokenizadores transferem-se entre domínios com eficiência quase nativa, sugerindo que o algoritmo define o comportamento do tokenizador mais do que os dados nos quais ele é treinado.
Escopo: Este é um estudo de nível de tokenizador. Os autores não alegam qual algoritmo produz melhor desempenho de linguagem de modelos subsequentes, observando que a separação intrínseca não se traduz necessariamente em lacunas de desempenho downstream. No entanto, o estudo estabelece a precondição para tais comparações ao provar que os vocabulários resultantes não são intercambiáveis.
Limitações: O estudo reconhece que a métrica de "alinhamento morfológico" do NLP não se transfere para SMILES devido à ausência de uma segmentação padrão-ouro. Também observa que a direção da divergência (qual algoritmo é mais compressivo) pode ser específica do domínio, já que sequências de proteínas mostram a tendência oposta.

Em resumo, o artigo demonstra que o alfabeto pequeno e restrito pela valência da química não força o BPE e o Unigram-LM a convergirem. Em vez disso, os algoritmos constroem vocabulários quase disjuntos com propriedades estruturais distintas, tornando a seleção do algoritmo de subpalavras uma escolha de design crítica e não neutra para modelos de linguagem química.