Resumo Técnico: Repensando as Representações de Texto Molecular para LLMs

Declaração do Problema

A aplicação de Grandes Modelos de Linguagem (LLMs) à química está crescendo, mas a área carece de uma compreensão sistemática de qual representação de texto molecular melhor suporta diferentes tarefas. Embora o Sistema de Entrada de Linha de Entrada de Molécula Simplificada (SMILES) tenha se tornado o padrão de facto devido à sua prevalência em corpora de pré-treinamento e na literatura, não está claro se essa representação é ideal para todas as tarefas de raciocínio químico baseadas em LLMs. Trabalhos anteriores frequentemente focam no treinamento de modelos do zero em strings moleculares ou no ajuste fino (fine-tuning) para tarefas específicas, predominantemente usando SMILES. No entanto, a química oferece diversos formatos legíveis por máquina (ex: nomes IUPAC, InChI, SELFIES, XML/JSON estruturado) que diferem em compactação, invertibilidade e estrutura semântica. A questão central abordada é se o desempenho do LLM é invariante à representação ou se tarefas específicas exigem representações específicas para alcançar a competência ideal.

Metodologia

Os autores introduzem o MolRepBench, um benchmark sistemático projetado para avaliar a competência molecular de LLMs através de nove representações distintas e oito tarefas químicas.

Representações Avaliadas:
O estudo abrange nove formatos, variando de strings compactas a estruturas de grafos explícitas:

1. Variantes de SMILES: Canônico, Isomérico e SMILES Aleatorizado.
2. Strings Otimizadas para Geração: DeepSMILES e SELFIES.
3. Nomenclatura e Identificadores: Nomes IUPAC e Identificador Químico Internacional (InChI).
4. Texto Estruturado: Linguagem de Marcação Química (CML) e MolJSON (uma representação de grafo recente baseada em JSON).

Modelos Avaliados:
O benchmark testa 16 LLMs em cinco famílias:

• Modelos gerais de pesos abertos: Qwen3 (4B/30B), Phi-4 (14B) e OLMo-3 (32B), incluindo variantes de raciocínio e não-raciocínio.
• Modelos especializados no domínio: ChemDFM (v2.0 e R) e Ether0, juntamente com seus respectivos modelos base (Qwen2.5-14B e Mistral-Small-24B).
• Modelos de fronteira fechados: GPT-5.4-mini e Claude-Haiku-4.5.

Tarefas:
Oito tarefas abrangem compreensão, discriminação e geração:

1. Contagem de Átomos: Analisar strings para contar elementos específicos.
2. Identificação de Grupos Funcionais: Reconhecer subestruturas (ex: ésteres, aminas).
3. Estimativa de Propriedades Moleculares: Predizer propriedades computáveis (LogP, TPSA, doadores/aceitadores de H) derivadas do RDKit.
4. Recuperação de Moléculas: Combinar descrições de linguagem natural com estruturas moleculares.
5. Discriminação de Isômeros: Distinguir moléculas com diferenças estruturais ou estereoquímicas sutis.
6. Reconhecimento de Tautomeros: Identificar equivalências estruturais dinâmicas.
7. Reconhecimento de Estado de Protonação: Identificar variantes de estado de carga da mesma molécula.
8. Geração de Legenda-para-Molécula: Traduzir descrições de linguagem natural em strings moleculares válidas.

Métricas de Avaliação:
O estudo utiliza precisão de correspondência exata (exact-match accuracy), F1 macro, correlação de Spearman e similaridade de Tanimoto para comparações estruturais. Crucialmente, para tarefas de geração, os autores utilizam um LLM-como-juiz (Gemini 3 Flash) para avaliar qualitativamente os modos de erro (ex: alucinações, erros de sintaxe, erros de arcabouço/scaffold) e pontuar gerações em fidelidade, raciocínio químico e qualidade geral.

Análise Mecanística:
Para explicar as diferenças de desempenho, os autores conduzem:

• Auditorias de Tokenização: Medição de contagens de tokens e comprimentos de tokens de raciocínio.
• Sondagem Linear (Linear Probing): Teste de estados ocultos para informações químicas linearmente acessíveis.
• Análise de Atenção: Exame dos pesos de atenção entre o último token e os tokens da molécula, e dentro da autoatenção da própria molécula.

Principais Resultados

1. O Desempenho Depende da Representação
Nenhuma representação única é ideal para todas as tarefas. A "melhor" representação varia significamente conforme o tipo de tarefa:

• Representações Estruturadas (CML, MolJSON): Dominam tarefas que exigem compreensão explícita de grafos, como Contagem de Átomos, Discriminação de Isômeros e Reconhecimento de Tautomeros. A CML alcançou a maior pontuação agregada (81 vitórias em 128 configurações), seguida pelo MolJSON (75 vitórias).
• Nomes IUPAC: Excel em tarefas semânticas, especificamente Recuperação de Moléculas (vencendo para todos os 16 LLMs) e Geração de Legenda-para-Molécula. Sua estrutura morfêmica alinha-se bem com descrições de linguagem natural.
• Variantes de SMILES: Apesar de sua dominância no pré-treinamento, as variantes de SMILES raramente são ótimas. Elas performam bem em regressão de propriedades (LogP, TPSA), mas frequentemente subperformam em discriminação estrutural e geração comparadas a formatos estruturados.
• SELFIES: Consistiu no pior desempenho entre todos os 16 LLMs, particularmente em contagem de átomos e geração.

2. Especialização vs. Generalização
Modelos especializados em química (ex: ChemDFM) mostram um compromisso (trade-off). Embora superem significativamente seus modelos base em tarefas baseadas em SMILES (ex: ChemDFM-R-14B alcançou altas pontuações de correspondência exata em geração com SMILES), eles sofrem esquecimento catastrófico ou degradação severa quando apresentados com representações de texto estruturado (CML, MolJSON, InChI). Por exemplo, o ChemDFM-R-14B produziu quase zero gerações válidas com CML e InChI, enquanto seu modelo base (Qwen2.5-14B) manteve um desempenho robusto. Isso sugere que o ajuste fino focado apenas em SMILES recompensa uma especialização que não generaliza para outros formatos.

3. Qualidade de Geração e Modos de Erro

• Validade $\neq$ Correção: Altas taxas de validade (ex: 97,6% para ChemDFM-R-14B com SMILES) não garantem correção estrutural (a similaridade de Tanimoto foi de apenas 0,68).
• LLM-como-Juiz: Nomes IUPAC produziram a maior fração de gerações corretas (50%) quando julgados pelo Gemini 3 Flash. O SMILES canônico teve alta fidelidade de representação, mas baixa qualidade geral devido a erros de arcabouço (scaffold) e de raciocínio.
• Modelos de Raciocínio: Variantes habilitadas para raciocínio (ex: Phi-4-Reasoning, OLMo-Think) geralmente reduziram as taxas de alucinação em comparação com suas contrapartes de não-raciocínio, embora não tenham melhorado uniformemente o desempenho em todas as tarefas.

4. Insights Mecanísticos

• Tokenização: Representações estruturadas (CML, MolJSON) são significativamente mais longas (maiores contagens de tokens) que o SMILES. No entanto, elas resultam em comprimentos de tokens de raciocínio menores, sugerindo que a estrutura explícita reduz a carga cognitiva para o modelo.
• Atenção: Representações estruturadas exigem que o modelo atenda mais pesadamente por todo o espectro molecular (maior atenção "último-token para molécula"), enquanto variantes compactas de SMILES incentivam uma interação mais rica de token-para-token dentro da string.
• Codificação Interna: A sondagem linear revelou que, embora as variantes de SMILES sejam bem codificadas (provavelmente devido ao pré-treinamento), o MolJSON (uma representação pós-treinamento) frequentemente apresentou melhor desempenho de sondagem linear, indicando que o modelo pode aproveitar a estrutura de grafo explícita mesmo sem exposição prévia.

Significância e Alegações

O artigo argumenta contra a noção de avaliação invariante à representação na química. Os autores alegam que:

1. A Escolha da Representação é Crítica: O formato de texto molecular é um fator chave na competência química de LLMs; usar uma única representação (como SMIções SMILES) fornece uma visão enviesada e incompleta das capacidades de um modelo.
2. O Roteamento Consciente da Tarefa é Necessário: Diferentes tarefas beneficiam-se de diferentes representações. Os autores propõem o roteamento de representação consciente da tarefa, onde o formato de entrada é selecionado com base na tarefa química específica (ex: usar IUPAC para recuperação, CML/MolJSON para parsing estrutural).
3. Os Padrões de Avaliação Devem Evoluir: Benchmarks devem relatar o desempenho através de múltiplas representações para evidenciar os compromissos (trade-offs), particularmente a perda de generalização em modelos especializados no domínio.
4. Julgamento Qualitativo: Métricas rígidas (taxa de validade, correspondência exata) são insuficientes para tarefas de geração; o uso de LLM-como-juiz é essencial para analisar modos de erro como alucinações e erros de arcabouço.

O estudo conclui que os LLMs atuais ainda não possuem capacidades moleculares robustas e invariantes à representação, e que o campo deve ir além da avaliação centrada em SMILES para desenvolver sistemas de IA química mais robustos e generalizáveis.