FormationEval, an open multiple-choice benchmark for petroleum geoscience

1. Problema e Motivação

O campo da geociência de petróleo e engenharia de subsuperfície exige um conhecimento profundo em áreas como física de perfuração, caracterização de reservatórios e interpretação geológica. Embora existam benchmarks gerais para Grandes Modelos de Linguagem (LLMs), como o MMLU, estes oferecem cobertura limitada em domínios especializados. Até o momento, não existia um benchmark público de múltipla escolha especificamente projetado para avaliar a competência de LLMs em geociência de petróleo. A dificuldade reside na criação de dados que testem o verdadeiro entendimento de conceitos sem violar direitos autorais de livros técnicos e materiais didáticos.

2. Metodologia e Construção do Benchmark

O FormationEval é um conjunto de dados aberto contendo 505 questões de múltipla escolha (4 opções, 1 correta), cobrindo sete domínios principais:

1. Petrofísica (54% das questões, o domínio mais extenso).
2. Geologia de Petróleo.
3. Sedimentologia.
4. Geofísica.
5. Engenharia de Reservatórios.
6. Engenharia de Perfuração.
7. Engenharia de Produção.

Abordagem de Geração Baseada em Conceitos

Para evitar violações de direitos autorais e garantir que o modelo teste o raciocínio e não apenas a memorização de frases, os autores utilizaram uma metodologia de geração baseada em conceitos:

• Fontes: Os dados foram derivados de três fontes autoritativas: Ellis & Singer's Well Logging for Earth Scientists, Bjørlykke's Petroleum Geoscience e o TU Delft OpenCourseWare.
• Processo: Um modelo de raciocínio (GPT-5.2) processou capítulos de livros, extraindo conceitos fundamentais. As questões foram escritas do zero com base nesses conceitos, sem copiar sentenças ou estruturas de problemas distintivas.
• Metadados: Cada questão inclui metadados de proveniência (fonte, capítulo, licença), nível de dificuldade (Fácil, Médio, Difícil) e um rótulo de risco de contaminação (probabilidade de a questão existir nos dados de treinamento do modelo).

Pipeline de Qualidade e Mitigação de Vieses

• Validação Humana: Um especialista em petrofísica realizou verificações manuais para garantir a precisão das respostas e a plausibilidade dos distratores.
• Mitigação de Vieses: A análise inicial revelou dois vieses exploráveis:
  1. Viés de Comprimento: As respostas corretas eram significativamente mais longas que os distratores (>55% das vezes).
  2. Viés de Palavras-Chave: Palavras absolutas como "sempre" apareciam apenas em distratores, enquanto "pode" aparecia apenas em respostas corretas.
• Correções: Os autores expandiram os distratores para equilibrar o comprimento e substituíram palavras absolutas por sinônimos variados, reduzindo a taxa de respostas corretas serem as mais longas para 43,2% (ainda acima da aleatoriedade, mas mitigada).

3. Avaliação e Configuração Experimental

• Modelos Testados: 72 modelos de linguagem de diversos provedores (OpenAI, Anthropic, Google, Meta, DeepSeek, Mistral, Zhipu, etc.), incluindo modelos de peso aberto (open-weight) e fechados (closed).
• Período: Avaliação realizada em dezembro de 2025.
• Métricas: Precisão geral, precisão por nível de dificuldade e por domínio. Também foram analisados vieses de posição e comprimento nas respostas dos modelos.

4. Resultados Principais

Desempenho Geral

• Líderes: O modelo Gemini 3 Pro Preview atingiu a maior precisão com 99,8% (504/505 acertos).
• Modelos de Peso Aberto: O GLM-4.7 liderou os modelos de peso aberto com 98,6%, seguido pelo DeepSeek-R1 (96,2%) e DeepSeek-V3.2 (94,9%).
• Gap de Desempenho: A diferença entre modelos fechados e abertos é menor do que o esperado. Vários modelos de peso aberto de baixo custo superaram 90% de precisão.

Desempenho por Domínio e Dificuldade

• Domínio Mais Desafiador: A Petrofísica foi consistentemente o domínio mais difícil para todos os modelos, com uma precisão média 3-5 pontos percentuais menor que a de outros domínios. Isso reflete a complexidade técnica da física de ferramentas de registro de poço.
• Dificuldade: Curiosamente, as questões de nível Médio apresentaram a menor precisão geral (abaixo das questões Fáceis e Difíceis), possivelmente devido à maior dependência de comparação e cálculos específicos.
• Modelos Pequenos: Modelos menores (ex: Llama-3.2-3b) mostraram maior variância de desempenho, com quedas significativas na precisão em questões de petrofísica e de nível médio.

Análise de Custo-Efetividade

O estudo revelou que modelos de peso aberto e modelos fechados de menor custo (como o Grok-4.1-fast e DeepSeek-R1) oferecem uma excelente relação custo-benefício, atingindo precisões superiores a 95% com custos de token significativamente menores que os modelos de ponta mais caros.

5. Contribuições e Significância

1. Primeiro Benchmark Especializado: Preenche uma lacuna crítica na avaliação de LLMs em geociência de petróleo, oferecendo um padrão para medir capacidades em domínios técnicos específicos.
2. Metodologia de Geração Ética: Demonstra como criar conjuntos de dados de avaliação robustos a partir de material protegido por direitos autorais, focando na extração de conceitos em vez de cópia textual.
3. Transparência e Reprodutibilidade: O conjunto de dados, o código de avaliação e os resultados estão publicamente disponíveis. Inclui um site interativo onde especialistas podem testar suas próprias habilidades contra os modelos.
4. Insights sobre Modelos Abertos: Confirma que modelos de peso aberto modernos possuem conhecimento de domínio suficiente para aplicações em geociência de petróleo, desafiando a noção de que apenas modelos fechados massivos são adequados para tarefas especializadas.
5. Identificação de Limitações: O trabalho destaca que, apesar do alto desempenho geral, a petrofísica permanece um gargalo para a IA, e vieses residuais no conjunto de dados (como o comprimento das respostas) ainda devem ser considerados ao interpretar os resultados.

Em suma, o FormationEval estabelece um novo padrão para a avaliação de IA em ciências da terra, fornecendo uma ferramenta vital para pesquisadores e engenheiros que buscam integrar LLMs em fluxos de trabalho de exploração e produção de petróleo.