MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation

Resumo Técnico: MolQuest

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) demonstraram potencial significativo para avançar a descoberta científica. No entanto, a avaliação sistemática de seu raciocínio dinâmico em cenários de pesquisa do mundo real permanece limitada.

• Limitações das Avaliações Atuais: A maioria dos benchmarks científicos existentes (ex: ChemBench) baseia-se em formatos estáticos de Perguntas e Respostas (QA) de turno único. Esses formatos são inadequados para medir o desempenho em tarefas complexas que exigem iteração de múltiplos passos e interação experimental.
• Falta de Autonomia: Os modelos atuais são avaliados como respondedores passivos, ignorando a necessidade de planejamento experimental proativo e tomada de decisão estratégica, que são centrais para o trabalho científico real.
• Dados Sintéticos vs. Reais: Muitos conjuntos de dados utilizam simulações sintéticas que falham em capturar artefatos reais de experimentos, como ruído, sobreposição de picos e desvios sistemáticos.

2. Metodologia: O Framework MolQuest

Para preencher essas lacunas, os autores introduzem o MolQuest, um novo framework de avaliação baseado em agentes para a elucidação de estruturas moleculares.

• Definição da Tarefa: A elucidação estrutural é formalizada como um Problema de Satisfação de Restrições (CSP) dinâmico. O agente (LLM) atua como um "Químico" em um laboratório virtual, onde deve deduzir a estrutura de uma molécula desconhecida a partir de dados espectroscópicos multimodais (RMN, Espectrometria de Massas, etc.).
• Paradigma Interativo Dinâmico:
  • Diferente das avaliações one-shot, o MolQuest opera sob assimetria de informação. O modelo não recebe todos os dados de imediato.
  • O agente deve ativamente planejar e solicitar ferramentas experimentais (ex: "Obter Espectro de RMN 1H", "Medir Massa Molecular") para obter evidências sob restrições de custo simulado.
  • O ciclo segue uma lógica de "Planejar – Solicitar – Raciocinar", exigindo raciocínio abdutivo (gerar hipóteses a partir de observações) e refinamento iterativo.
• Construção de Dados (Human-in-the-Loop):
  • Os dados são extraídos de literatura química real (Informações de Suporte de artigos publicados após 2025), garantindo autenticidade e mitigando contaminação por dados de treinamento.
  • Um pipeline rigoroso de três fases (Extração Automatizada, Verificação Química e Revisão Humana) garante a precisão de 530 casos de teste validados, cobrindo moléculas orgânicas pequenas (150-500 Da).
• Ambiente de Simulação: O sistema é modelado como uma máquina de estados onde o agente interage com 14 instrumentos simulados (Tabela 1 do artigo), recebendo feedback de dados reais (espectros brutos e interpretados) e incorrendo em custos por interação.

3. Contribuições Chave

1. Novo Benchmark Agente-Cêntrico: O primeiro framework a avaliar LLMs como agentes autônomos em um ambiente de laboratório simulado, focando em planejamento estratégico e aquisição de informação, não apenas em conhecimento estático.
2. Dados de Alta Fidelidade: Um conjunto de dados derivado de literatura científica real, superando as limitações de dados sintéticos e capturando a complexidade e o ruído de experimentos reais.
3. Métricas Multidimensionais: Além da precisão final, o framework avalia:
   • Consistência Química: Taxa de conservação da fórmula molecular (evitando alucinações de massa).
   • Confiabilidade Probabilística: Erro de Calibração (RMSCE) para medir se o modelo sabe quando está errado.
   • Eficiência de Interação: Número médio de rodadas e precisão por token.
4. Diagnóstico de Capacidades de Raciocínio: A distinção entre modelos que usam o framework como uma "andaime cognitivo" (melhorando o desempenho) e aqueles que falham devido à falta de planejamento estratégico.

4. Resultados Experimentais

O estudo avaliou 12 modelos de ponta (SOTA), incluindo GPT-5.2, Gemini 3 Pro/Flash, Claude 4.5 e Qwen3-Max.

• Desempenho Geral: Mesmo os modelos mais avançados enfrentam dificuldades significativas.
  • Os melhores modelos (Gemini 3 Flash e Gemini 3 Pro) atingem cerca de 50-51% de precisão estrutural exata.
  • A maioria dos outros modelos permanece abaixo de 30%, e alguns abaixo de 10%.
• Impacto do Paradigma Dinâmico:
  • Grupo "Potencializado": Modelos como Qwen3-Max e DeepSeek V3.2 melhoraram significativamente no modo Agente (dinâmico) em comparação com o modo Baseline (estático), sugerindo que a interação passo a passo atua como um suporte cognitivo.
  • Grupo "Desafiado": Modelos como Kimi K2 Thinking e Gemini 2.5 Pro tiveram desempenho pior no modo dinâmico, indicando falhas no planejamento estratégico e na avaliação do "valor da informação" (fazendo solicitações redundantes).
• Alucinações e Confiabilidade:
  • Muitos modelos exibem "alucinação de conectividade", gerando estruturas quimicamente plausíveis, mas que violam as restrições experimentais (ex: fórmula molecular incorreta).
  • O Claude Opus 4.5 destacou-se na confiabilidade (baixo erro de calibração), indicando que sabe melhor quando não deve ter certeza, uma característica crucial para automação científica segura.
• Eficiência: O Gemini 3 Flash e Pro alcançaram o melhor equilíbrio entre profundidade de interação e taxa de sucesso, enquanto modelos mais fracos tendem a cair em "armadilhas de interação", solicitando dados excessivos sem chegar a uma conclusão coerente.

5. Significado e Conclusão

O MolQuest estabelece um novo padrão para a avaliação de IA na ciência, demonstrando que:

• O Raciocínio Estratégico é Crítico: A capacidade de um LLM de planejar experimentos e gerenciar recursos é tão importante quanto seu conhecimento químico.
• Benchmarks Estáticos são Insuficientes: Eles podem confundir reconhecimento de padrões com verdadeira capacidade de resolução de problemas. O MolQuest revela lacunas fundamentais no raciocínio estratégico de modelos que parecem competentes em tarefas estáticas.
• Futuro da IA Científica: O trabalho aponta para a necessidade de desenvolver sistemas híbridos humano-IA, onde a IA atua na geração rápida de hipóteses e triagem de dados, enquanto humanos supervisionam a estratégia e validação complexa.

Em suma, o MolQuest não é apenas um teste de conhecimento, mas um diagnóstico da capacidade de um modelo de atuar como um cientista autônomo em um ambiente incerto e restrito, definindo uma direção clara para o desenvolvimento de IA capaz de participar ativamente do processo científico.