Resumo Técnico: PHREEQC-MCQ-200

Definição do Problema

Embora agentes de Grandes Modelos de Linguagem (LLMs) estejam cada vez mais integrados a softwares científicos, permanece incerto se o acesso a ferramentas melhora genuinamente a confiabilidade da computação científica ou se apenas adiciona complexidade. As avaliações existentes focam frequentemente na capacidade de um modelo chamar uma ferramenta, em vez de determinar quando a aumentação por ferramentas melhora a habilidade de um modelo em operar um fluxo de trabalho científico determinístico e quando o próprio loop da ferramenta se torna uma fonte de erro. Além disso, métricas de acurácia agregadas frequentemente mascaram regressões ao nível de item, onde agentes perdem itens que respondiam corretamente sem as ferramentas.

Metodologia

Os autores introduzem o PHREEC-MCQ-200, um benchmark diagnóstico projetado para avaliar agentes aumentados por ferramentas em simulações de geoquímica aquosa determinísticas usando o simulador de código aberto PHREEQC.

• Dataset: O benchmark consiste em 200 questões de múltipla escolha derivadas de 21 cenários de simulação validados. Cada item possui uma resposta alvo única, derivada do simulador. O agente deve construir um arquivo de entrada do PHREEQC, executar o simulador, inspecionar a saída estruturada e comprometer-se com uma resposta final (A, B, C ou D).
• Harness do Agente: Os agentes operam em um espaço de trabalho isolado com um máximo fixo de 24 etapas. Eles recebem ferramentas para escrever/ler arquivos, listar arquivos e executar o PHREEQC.
• Protocolos de Acesso à Saída: O estudo compara dois protocolos para lidar com as saídas do simulador, que são frequentemente grandes e estruturadas por seções:
  1. Agente-Raw100k: A saída completa é inserida diretamente, mas truncada para 100.000 caracteres (cabeçalho/rodapé).
  2. Agente-TOC (Table of Contents): A ferramenta retorna um esboço em nível de seção (nomes e números de linha). O agente deve solicitar explicitamente seções específicas via chamadas read_file.
• Métricas de Avaliação: Além da acurácia agregada, os autores empregam:
  • Decomposição Ganho/Perda/Retenção: Rastreamento de quais itens são mantidos, ganhos ou perdidos em relação a uma linha de base sem ferramenta.
  • Análise de Trajetória: Monitoramento de orçamentos de etapas, falhas de execução e taxas de compromisso.
  • Estabilidade de Reruns: Medição da variância entre reruns independentes.
  • Taxonomia de Falhas: Revisão por especialistas do domínio sobre modos de falha (ex: construção de entrada incorreta vs. má interpretação da saída).

Principais Contribuições

1. Benchmark PHREEQC-MCQ-200: Um pacote de artefato validado por especialistas para avaliar agentes de LLM em um cenário de software científico determinístico com resposta única, incluindo entradas e saídas do simulador, trajetórias e filas de análise de falhas.
2. Necessidade de Execução Fundamentada: Evidência de que escalar tokens de raciocínio de cadeia de pensamento (CoT) não pode substituir a execução fundamentada do simulador. A CoT gera ganhos marginais (±8 pp) com uma expansão massiva de tokens (até 140×), enquanto o acesso ao simulador proporciona ganhos substanciais (15,0–41,5 pp) para modelos capazes.
3. Aumentação de Ferramenta Não Aditiva: Demonstração de que o acesso à ferramenta não é puramente aditivo. Agentes de nível superior e médio perdem de 10 a 32 itens que respondiam corretamente sem ferramentas, enquanto ganham 62 a 110 novos itens corretos, resultando em taxas de retenção de 56,4–86,5%.
4. Sensibilidade do Protocolo de Acesso à Saída: Identificação de um efeito de interação de nível de capacidade. Uma interface guiada por metadados (TOC) atua como uma solução Pareto-ótima para modelos de nível superior (igualando ou excedendo a acurácia da saída bruta com redução de 11–57% nos tokens), mas degrada o desempenho para modelos de nível médio (perda de acurácia de 7,5–9,5 pp) devido ao overhead de navegação.
5. Framework Diagnóstico: Uma proposta para avaliar agentes científicos reportando retenção ao nível de item, sensibilidade ao protocolo de acesso à saída, falhas de trajetória e pontos de ruptura específicos na cadeia de computação, em vez de confiar apenas na acurácia agregada.

Principais Resultados

• Desempenho do Modelo: Modelos de nível superior (Claude Opus 4.6, Sonnet 4.6, GPT-5.4) alcançaram 72,5%–84,0% de acurácia com acesso a ferramentas, superando significativamente suas linhas de base sem ferramentas (27,0%–42,0%). Modelos de nível médio (GPT-5.1, GPT-5.2) mostraram resultados mistos, com o GPT-5.1 e GPT-5.2 perdendo acurácia sob o protocolo TOC em comparação ao Raw100k.
• Falha Abaixo do Nível Médio: O agente Gemini 3 Flash Preview sofreu uma regressão de 17,0 pp sob o protocolo TOC, falhando em comprometer respostas devido ao esgotamento do orçamento de etapas causado pelo overhead de navegação.
• Análise de Retenção: Modelos da família GPT exibiram menor retenção (56,4%–59,0%) comparados aos modelos Anthropic (83,3%–86,5%), perdendo uma fração maior de itens que anteriormente resolviam corretamente.
• Modos de Falha:
  • Nível Superior: As falhas geralmente envolvem o esgotamento do orçamento de etapas após o compromisso com uma resposta ou sutis falhas de modelagem de entrada (ex: omissão de palavras-chave de carga).
  • Nível Médio: As falhas são dominadas por compromissos prematuros com respostas erradas e construções de PHREEQC de alta confiança, porém incorretas.
  • Abaixo do Nível Médio: As falhas são caracterizadas pelo esgotamento do orçamento de etapas sem nunca chegar ao compromisso com uma resposta.
• Eficiência: O harness customizado alcançou de 2,7 a 3,3 vezes melhor relação tokens-por-resposta-correta em comparação com os harnesses de CLI padrão de fornecedores (Claude Code, Codex) em uma subamostra correspondente.

Significância

O artigo argumenta que o uso de ferramentas científicas deve ser enquadrado como um problema diagnóstico de ponta a ponta e não apenas como uma simples capacidade de chamada de ferramenta. A descoberta central é que a aumentação por ferramentas não é um progresso monotônico; ela introduz um trade-off entre novas capacidades e a perda das existentes, dependendo fortemente do nível de capacidade do modelo e do protocolo de acesso à saída.

Os autores afirmam que as avaliações de agentes científicos devem ir além da acurácia agregada para reportar:

• Retenção ao nível de item (estabilidade de respostas corretas).
• Sensibilidade ao protocolo de acesso à saída.
• Modos de falha de trajetória (onde a cadeia de computação quebra).
• A interação específica entre a capacidade do modelo e o design da interface.

Este trabalho fornece um harness diagnóstico reutilizável para medir agentes de uso de ferramentas científicas e localizar exatamente onde a confiabilidade é perdida, oferecendo uma visão mais matizada do desempenho do agente em fluxos de trabalho científicos determinísticos.