Resumo Técnico: COMPOSITE-STEM

1. Problema e Motivação

O avanço dos agentes de IA para workflows científicos reais é limitado pela falta de avaliações de fronteira robustas. Benchmarks existentes apresentam dois problemas principais:

• Saturação e Contaminação: Muitos benchmarks de raciocínio científico (como o GPQA) tornaram-se saturados devido ao treinamento dos modelos nos dados de avaliação, e benchmarks estáticos de múltipla escolha não capturam a complexidade de tarefas reais.
• Limitações de Avaliação: A maioria das avaliações atuais foca em saídas restritas (exact-match) ou em raciocínio isolado, sem testar a capacidade do agente de interagir com ambientes executáveis, usar ferramentas e lidar com tarefas de longo horizonte em domínios científicos complexos.

Há uma necessidade crítica de um benchmark que combine rigor acadêmico (tarefas escritas por especialistas de nível doutoral) com ambientes executáveis e avaliação flexível para medir o progresso real da IA na aceleração da descoberta científica.

2. Metodologia

Composição do Dataset (COMPOSITE-STEM)

O benchmark consiste em 70 tarefas curadas por especialistas, distribuídas entre quatro domínios:

• Física: 20 tarefas (derivações simbólicas, sistemas quânticos, física de muitos corpos).
• Química: 23 tarefas (raciocínio de mecanismos sintéticos, interpretação espectroscópica, conversão de representações moleculares).
• Biologia: 20 tarefas (diagnóstico por imagem, engenharia de MRI, interpretação de microscopia eletrônica).
• Matemática: 7 tarefas (derivações orientadas a provas, análise estocástica, álgebra).

Características das Tarefas:

• Multimodalidade: 18 tarefas incluem arquivos de referência montados no sandbox (imagens, PDFs) que o agente deve analisar.
• Ambiente Executável: As tarefas são executadas em um sandbox Docker (baseado em Python 3.12) dentro do framework Harbor, compatível com o Terminal-Bench.
• Recursos: Os agentes têm acesso a pacotes científicos (ex: rdkit, scipy, sympy) e podem realizar buscas na web via pacotes instalados, mas sem ferramentas nativas de busca no harness.

Protocolo de Avaliação e Graduação

O benchmark utiliza o protocolo AsymmetryZero, que combina duas abordagens de graduação para lidar com a complexidade das respostas científicas:

1. Exact-Match (Correspondência Exata): Para 35 tarefas, onde a resposta final deve corresponder a um valor ou string específica.
2. Júri de LLM (LLM-as-a-Jury): Para 34 tarefas (e 1 híbrida), utiliza-se um painel de 5 modelos de linguagem de fronteira (DeepSeek-v3.2, GLM-5, GPT-oss-120b, Llama-3.3-70b, Kimi-K2.5) para avaliar critérios semânticos baseados em rubricas detalhadas.
   • As rubricas são definidas por especialistas com critérios ponderados (1 a 40 critérios por tarefa).
   • A votação majoritária do júri determina a aprovação de critérios semânticos.
   • Um agente passa se atingir uma pontuação agregada suficiente (ex: 7/10 pontos na rubrica).

Configuração Experimental

• Framework: Harbor (adaptado do Terminal-Bench com suporte multimodal Terminus-2).
• Limites: 3600 segundos de tempo limite, 10 rodadas de interação (turns), 2GB de RAM.
• Modelos Avaliados: 4 modelos de fronteira (claude-opus-4.6, gemini-3.1-pro, gpt-5.4, grok-4.20-beta).

3. Contribuições Principais

1. Benchmark Híbrido de Alta Complexidade: Introdução de um conjunto de tarefas que exige tanto compreensão conceitual profunda quanto conhecimento de execução (uso de bibliotecas Python, instalação de pacotes, manipulação de arquivos).
2. Protocolo de Graduação Flexível e Auditável: Implementação do AsymmetryZero, que permite a coexistência de graduação determinística e semântica, tornando as políticas de avaliação explícitas e auditáveis, superando as limitações do exact-match puro.
3. Curadoria por Especialistas: As tarefas foram desenvolvidas e refinadas em colaboração com pesquisadores doutorais e professores de instituições de elite (ex: MIT, Cambridge, Stanford), garantindo que as tarefas reflitam desafios científicos reais e não sejam apenas quebra-cabeças artificiais.
4. Open Source e Reprodutibilidade: Todo o dataset (70 tarefas), os adaptadores Harbor e o código de graduação foram disponibilizados publicamente no Hugging Face e GitHub.

4. Resultados

Desempenho Geral

O desempenho dos modelos foi baixo, indicando que o benchmark está além das capacidades atuais dos agentes:

• Melhor Modelo: Claude Opus 4.6 com 21.4% de taxa de sucesso (Pass@1).
• Outros Modelos: Gemini 3.1 Pro (18.6%), Grok 4.20-beta (5.7%) e GPT-5.4 (4.3%).

Análise de Falhas

• Tipos de Erro: A maioria das falhas foi classificada como Erro de Solução (resposta incorreta) em vez de erro de submissão (falta de saída), embora o Gemini tenha tido uma proporção maior de falhas de submissão (excedeu o limite de rodadas).
• Comportamento do Agente:
  • Modelos de alto desempenho (Claude, Gemini) tendem a usar mais o orçamento de rodadas, instalar pacotes e interagir com ferramentas (ex: rdkit), resultando em taxas de sucesso mais altas em tarefas que exigem configuração de ambiente.
  • Modelos de baixo desempenho (GPT, Grok) frequentemente falham ao tentar criar soluções "caseiras" frágeis em vez de usar ferramentas especializadas, ou terminam as tarefas prematuramente sem submissão válida.
• Consistência do Júri: Modelos mais fortes geraram respostas que estavam na margem de aprovação/reprovação, resultando em maior discordância entre os juízes do júri (maior entropia), enquanto modelos mais fracos produziram respostas claramente erradas, gerando consenso unânime de falha.

5. Significância e Conclusão

O COMPOSITE-STEM estabelece um novo padrão para a avaliação de agentes de IA em ciência. Ao demonstrar que mesmo os modelos mais avançados atuais têm dificuldade em resolver tarefas científicas integradas a ambientes executáveis, o benchmark:

• Identifica Lacunas: Mostra que a capacidade de raciocínio puro não é suficiente; a habilidade de orquestrar ferramentas e ambientes é crítica.
• Promove Confiança: Oferece uma métrica robusta para que pesquisadores saibam quando podem confiar em agentes para workflows reais.
• Futuro da Pesquisa: Serve como uma linha de base independente para o desenvolvimento de técnicas de RL (Reinforcement Learning) e arquiteturas de agentes focadas em descoberta científica.

O trabalho conclui que, embora a IA tenha potencial para acelerar a descoberta científica, há um longo caminho a percorrer antes que os agentes possam operar de forma autônoma e confiável em workflows complexos de laboratório e pesquisa.