InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis

Resumo Técnico: InfiniteScienceGym

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais utilizados como assistentes científicos. No entanto, avaliar a capacidade desses modelos de raciocinar a partir de dados empíricos enfrenta desafios significativos com os benchmarks existentes:

• Viés de Publicação e Conhecimento: Os conjuntos de dados derivados de estudos publicados tendem a conter apenas descobertas "limpas" e positivas, sub-representando cenários onde a conclusão correta é que uma pergunta é inrespondível (devido a dados faltantes ou definições operacionais incompatíveis).
• Viés de Conhecimento Prévio: Modelos podem confundir inferência baseada em dados com seus próprios pesos paramétricos (conhecimento prévio), ignorando conclusões novas ou contra-intuitivas.
• Ruído de Anotação e Custos: Benchmarks baseados em dados reais dependem de anotação humana (introduzindo ruído de rótulo) e exigem o armazenamento e distribuição de grandes corpora estáticos, o que é caro e legalmente restritivo.
• Falta de Controle: É difícil isolar falhas específicas (como a incapacidade de reconhecer dados insuficientes) em benchmarks que misturam múltiplas variáveis do mundo real.

2. Metodologia

O InfiniteScienceGym é um benchmark gerado proceduralmente que cria repositórios científicos realistas e tarefas de perguntas e respostas (QA) verificáveis sob demanda, sem a necessidade de armazenar grandes conjuntos de dados estáticos. O sistema é composto por três componentes principais:

1. Simulador de Repositórios Científicos:

   • Inicializado com uma semente aleatória (seed), o simulador gera deterministicamente um sistema de arquivos completo.
   • Geração Top-Down: Começa com um contexto científico (campo, domínio, subdomínio), gera uma especificação do projeto (título, hipóteses, variáveis independentes/dependentes, confundidores) e, em seguida, cria a estrutura de diretórios e arquivos.
   • Dados Tabulares: Os arquivos contêm dados tabulares gerados com base em distribuições estatísticas e funções Python que definem relações entre variáveis (lineares, não lineares, com ruído).
   • Reprodutibilidade: A mesma semente sempre produz o mesmo repositório, garantindo a reprodutibilidade exata.

2. Gerador de Perguntas e Respostas (QA Generator):

   • Possui acesso privilegiado ao processo de geração de dados subjacente.
   • Gera perguntas templadas com verdade absoluta (ground truth).
   • Tipos de Perguntas:
     • Respondíveis: Baseadas em dados existentes no repositório.
     • Inrespondíveis: Construídas propositalmente para não ter resposta (ex: variáveis faltantes, filtros que resultam em zero linhas, operações estatísticas inválidas). Isso permite testar a capacidade de abstenção do modelo.

3. Módulo de Parafraseamento:

   • Converte as perguntas templadas (geradas por código) em linguagem natural, simulando como um pesquisador formularia a questão. Isso testa a robustez do modelo a variações na superfície do texto, mantendo a verificabilidade da resposta.

3. Contribuições Principais

• Benchmark Infinito e Controlado: Introduz um sistema que gera repositórios científicos ilimitados e tarefas QA com veracidade garantida, eliminando a necessidade de distribuir grandes corpora estáticos.
• Foco na Inrespondibilidade: Diferente de outros benchmarks, o InfiniteScienceGym garante a existência de perguntas inrespondíveis por construção, permitindo avaliar diretamente a capacidade dos modelos de reconhecer quando os dados são insuficientes.
• Pipeline de Avaliação: Descreve um pipeline prático (Simulador → Gerador QA → Parafraseador) que suporta comportamentos de agentes (uso de ferramentas, navegação de arquivos).
• Análise de Comportamento de Agentes: Fornece insights sobre como os modelos interagem com ferramentas versus o consumo de tokens, desafiando a noção de que "mais tokens" equivalem a "melhor raciocínio".

4. Resultados Experimentais

Os autores avaliaram modelos proprietários (GPT-5.4, Claude Opus 4.6) e de pesos abertos (GPT-OSS 20B, Gemma 3 27B, Qwen3 4B) em 500 repositórios (500 perguntas).

• Desempenho Geral: Nenhum modelo alcançou mais de 45% de precisão global. O melhor modelo (GPT-5.4) atingiu 44,8%. Modelos proprietários superaram consistentemente os de pesos abertos em pelo menos 6,4 pontos percentuais.
• Reconhecimento de Perguntas Inrespondíveis: Esta foi uma fraqueza crítica. Muitos modelos, especialmente os de pesos abertos, tendem a "alucinar" respostas confiantes mesmo quando os dados não suportam uma conclusão (baixa recall na detecção de inrespondibilidade).
• Estratégia de Uso de Ferramentas vs. Tokens:
  • Tokens: Não há correlação positiva entre o uso de tokens e a precisão. Modelos de alta precisão (como GPT-5.4) usaram menos tokens, evitando carregar arquivos inteiros no contexto.
  • Ferramentas: A precisão aumenta com o número de chamadas de ferramentas. Modelos fortes utilizam interpretadores de código (Python) para processar dados programaticamente, enquanto modelos mais fracos tentam carregar grandes volumes de dados no contexto (context stuffing), o que é ineficiente e leva a erros.
• Robustez: Houve concordância moderada (Alpha de Krippendorff ~0.7) entre as respostas a perguntas templadas e suas versões parafraseadas, indicando que a variação linguística introduz ruído, mas não invalida o benchmark.

5. Significado e Conclusão

O InfiniteScienceGym posiciona-se não como um substituto para benchmarks baseados em dados reais, mas como um complemento essencial para:

1. Testes de Estresse (Stress-Testing): Expor pontos cegos controlados, especificamente a incapacidade de abster-se quando a evidência é insuficiente.
2. Avaliação de Agentes: Medir a eficiência no uso de ferramentas (código) versus o consumo passivo de contexto.
3. Verificabilidade Rigorosa: Oferecer um ambiente onde a verdade absoluta é conhecida, permitindo a medição precisa de falhas de raciocínio que são difíceis de isolar em dados publicados.

O trabalho conclui que, embora os modelos estejam evoluindo, o raciocínio científico baseado em dados empíricos (especialmente a distinção entre "não sei" e "não posso saber") permanece um desafio fundamental. A eficácia de um assistente científico não deve ser medida apenas pela resposta final, mas pela estratégia de coleta de evidências e pela capacidade de reconhecer limitações dos dados.