MolLangBench: A Comprehensive Benchmark for Language-Prompted Molecular Structure Recognition, Editing, and Generation

Título: MOLLANGBENCH: Um Benchmark Abrangente para Reconhecimento, Edição e Geração de Estruturas Moleculares por Meio de Prompts em Linguagem Natural

1. Problema e Motivação

A interação entre inteligência artificial (IA) e química enfrenta um desafio fundamental: a lacuna entre as representações moleculares estruturais (como SMILES, grafos ou imagens) e a linguagem natural. Embora os Grandes Modelos de Linguagem (LLMs) demonstrem capacidades notáveis de raciocínio em tarefas gerais e os modelos tradicionais de química (baseados em grafos ou sequências) sejam eficazes em tarefas específicas de domínio, a capacidade de sistemas de IA de entender, editar e gerar estruturas moleculares precisas baseadas em instruções em linguagem natural permanece limitada.

Problemas existentes incluem:

• Ambiguidade: Descrições textuais de moléculas frequentemente misturam detalhes estruturais incompletos com informações farmacológicas, levando a múltiplas interpretações estruturais.
• Falta de Precisão: Em química, pequenas alterações na estereoquímica ou na posição de substituintes alteram drasticamente as propriedades da molécula. Modelos atuais falham em garantir essa precisão determinística.
• Limitações de Raciocínio: Modelos existentes muitas vezes realizam previsões "caixa-preta" sem compreender a estrutura subjacente, falhando em tarefas que exigem manipulação lógica da estrutura molecular.

2. Metodologia: O MolLangBench

Os autores apresentam o MolLangBench, um benchmark projetado para avaliar três tarefas fundamentais na interface molécula-linguagem:

1. Reconhecimento de Estrutura Molecular: Dada uma estrutura molecular e uma consulta textual, o modelo deve extrair informações estruturais detalhadas (topologia local, conectividade atômica, grupos funcionais, estereoquímica).
2. Edição de Moléculas por Prompt de Linguagem: Dada uma molécula e uma instrução de edição (ex: "substitua o grupo hidroxila por um metoxila"), o modelo deve gerar a nova estrutura molecular válida.
3. Geração de Moléculas a partir de Descrições Estruturais: Dada uma descrição textual detalhada e não ambígua, o modelo deve gerar a estrutura molecular correspondente.

Construção do Dataset:

• Reconhecimento: Os dados foram construídos usando ferramentas automatizadas de quimioinformática (RDKit) sobre o banco de dados UniChem, garantindo rótulos determinísticos e precisos. Inclui 18 tarefas variadas, como contagem de vizinhos atômicos, detecção de grupos funcionais e reconhecimento de estereoquímica (R/S, E/Z).
• Edição e Geração: Utilizou-se um pipeline rigoroso de anotação humana envolvendo químicos especialistas. O processo inclui:
  1. Escrita Inicial: Anotadores propõem instruções ou descrições baseadas em estruturas.
  2. Revisão por Pares: Um segundo anotador verifica a clareza e a unicidade da estrutura resultante.
  3. Validação Independente: Dois validadores independentes tentam reconstruir a molécula apenas com base na instrução/descrição. Se a estrutura reconstruída não corresponder exatamente à referência, o item é descartado ou revisado.
• Representações: O benchmark suporta múltiplas modalidades de entrada: strings lineares (SMILES), grafos moleculares e imagens de estruturas químicas.

3. Contribuições Principais

• Padrão de Precisão: O primeiro benchmark a enfatizar rigorosamente a univocidade e a precisão determinística nas tarefas de interface molécula-linguagem, eliminando ambiguidades comuns em datasets anteriores.
• Avaliação Multimodal: Avaliação abrangente de modelos que processam moléculas como texto (SMILES), imagens e grafos, permitindo comparar diferentes abordagens de representação.
• Análise de Limitações: Identificação sistemática das falhas atuais dos LLMs de ponta, especialmente em tarefas de localização atômica e geração de estruturas válidas.
• Recursos Abertos: Disponibilização do dataset e do código para a comunidade científica.

4. Resultados Principais

Os autores avaliaram modelos de última geração (incluindo GPT-5, o3, Gemini-2.5-Pro, DeepSeek-R1, etc.) e encontraram limitações significativas:

• Reconhecimento de Estrutura:

  • O modelo mais forte (GPT-5) atingiu 86,2% de precisão em reconhecimento e 85,5% em localização atômica.
  • Houve uma queda drástica em tarefas de estereoquímica (configuração E/Z), onde a maioria dos modelos performou pior que o acaso (50%).
  • Problema de Tokenização: Observou-se uma discrepância entre a precisão de reconhecimento (saber o que é) e a localização (saber onde está). Isso é atribuído aos mecanismos de tokenization (BPE) dos LLMs, que agrupam múltiplos átomos em um único token, dificultando a contagem e indexação precisa de átomos individuais.

• Edição de Moléculas:

  • O GPT-5 alcançou 85,5% de precisão na edição, mas modelos anteriores ficaram abaixo de 60%.
  • A taxa de validade do SMILES gerado foi alta (>70%), indicando que os modelos conseguem manter a estrutura base, mas falham em aplicar modificações precisas.

• Geração de Moléculas (De Novo):

  • O desempenho foi o mais crítico. O GPT-5 atingiu apenas 43,0% de precisão na geração.
  • A taxa de validade do SMILES gerado foi de apenas 69,0% para o GPT-5 (vs. quase 100% em modelos generativos químicos especializados).
  • Modelos de geração de imagem (GPT Image 1) falharam completamente na geração estrutural correta (0% de precisão), apesar de produzirem imagens visualmente plausíveis que violam regras químicas fundamentais (ex: valências incorretas).

• Impacto na Predição de Propriedades:

  • Um experimento mostrou que instruir o modelo a primeiro descrever a estrutura molecular antes de prever uma propriedade (como permeabilidade BBB) melhorou a precisão em mais de 5%, sugerindo que o reconhecimento estrutural é um pré-requisito essencial para o raciocínio químico confiável.

5. Significado e Conclusão

O MolLangBench revela que, apesar dos avanços impressionantes em raciocínio geral, os sistemas de IA atuais ainda não são confiáveis para tarefas químicas básicas que exigem precisão estrutural determinística.

• Limitações Atuais: A principal barreira não é apenas o conhecimento químico, mas a incapacidade dos LLMs de mapear semântica de linguagem natural para representações estruturais precisas (especialmente em nível atômico) e de manter a consistência topológica durante a geração.
• Direções Futuras: O trabalho sugere que o treinamento de modelos requer dados de alta qualidade e não ambíguos, possivelmente gerados de forma programática a partir de formatos estruturados, para superar as limitações de tokenização e alinhamento multimodal.
• Conclusão: O MolLangBench serve como um "padrão ouro" para catalisar o desenvolvimento de sistemas de IA mais robustos e confiáveis para aplicações em descoberta de fármacos e design de materiais, destacando que a precisão estrutural é o gargalo crítico a ser resolvido.