Engineering Reasoning and Instruction (ERI) Benchmark: A Large Taxonomy-driven Dataset for Foundation Models and Agents

1. O Problema

O campo da engenharia enfrenta uma lacuna crítica na avaliação de Modelos de Linguagem Grandes (LLMs) e agentes de IA. Benchmarks gerais existentes (como MMLU ou BIG-bench) focam em conhecimento amplo ou raciocínio abstrato, mas falham em capturar as nuances específicas da engenharia, como:

• Verificação de restrições: A capacidade de detectar entradas subespecificadas e violações de restrições físicas ou de segurança.
• Estrutura de saída: A necessidade de formatos de resposta que possam ser analisados automaticamente por ferramentas de engenharia.
• Cobertura controlada: Benchmarks atuais muitas vezes mascaram fraquezas sistemáticas em subdomínios específicos ou tipos de tarefas ao agregar pontuações médias.
• Risco de "Silencioso": Modelos podem gerar respostas plausíveis que violam normas de engenharia sem que o erro seja óbvio para o usuário.

Não existe um benchmark abrangente, multi-disciplinar e taxonomicamente estruturado que avalie a competência de engenharia através de diferentes níveis de rigor (graduação, pós-graduação, profissional) e intenções de tarefa.

2. Metodologia

O ERI foi desenvolvido como um conjunto de dados de instrução orientado por taxonomia, projetado para treinar e avaliar modelos de engenharia.

• Estrutura Taxonômica:

  • 9 Campos de Engenharia: Civil, Mecânica, Elétrica, Química, Ambiental, Aeroespacial, Materiais, Incêndio e Industrial.
  • 55 Subdomínios: Distribuídos entre os campos (ex: estática, termodinâmica, circuitos, dinâmica de fluidos).
  • 7 Tipos de Intenção: Definição, Explicação, Cálculo, Comparação, Projeto/Síntese, Solução de Problemas (Troubleshooting) e Código/Padrões.
  • 3 Níveis de Dificuldade: Graduação, Pós-graduação e Profissional.
  • Volume: O cruzamento desses eixos gera 1.155 células únicas, com 50 pares instrução-resposta por célula, totalizando 57.750 registros.

• Geração e Validação:

  • Geração Sintética: Os dados foram gerados usando LLMs (GPT-5 Mini como gerador) seguindo a taxonomia estrita.
  • Protocolo de Validação Convergente: Para mitigar o viés de "circularidade" (onde o modelo gera e avalia suas próprias perguntas), o estudo utilizou:
    • Júri Multi-Provedor: Três modelos de juízes distintos (Claude Haiku 4.5, GPT-4.1 Mini, Mistral Small 3) de diferentes empresas.
    • Análise de Acordo: Verificação de concordância entre os juízes e entre modelos de ponta.
    • Limitação de Alucinação: Um protocolo empírico para limitar o risco de alucinação nos dados de referência a 1,7%, baseado na análise de discordância entre modelos de ponta e modelos menores.

• Critérios de Avaliação:

  • Uso de uma rubrica estruturada que avalia não apenas a precisão, mas também a declaração de pressupostos, verificação de unidades, consistência dimensional e comportamento de verificação (ex: "sanity checks").
  • Escala de 1 a 5 pontos.

3. Principais Contribuições

1. Primeiro Benchmark Multi-Domínio de Engenharia: O ERI é o primeiro conjunto de dados em larga escala que cobre sistematicamente nove campos de engenharia com uma estrutura de taxonomia cruzada (domínio x intenção x dificuldade).
2. Protocolo de Validação Robusto: Desenvolvimento de um protocolo de validação convergente que utiliza independência de provedores e análise de concordância para reduzir o risco de alucinação em dados sintéticos, estabelecendo um novo padrão para benchmarks gerados por IA.
3. Estrutura de Dados Rica em Metadados: Cada registro possui metadados explícitos que permitem diagnósticos granulares de falhas (ex: identificar se um modelo falha especificamente em "cálculos" no nível "profissional" de "engenharia civil").
4. Ferramentas de Avaliação Reproduzíveis: O lançamento inclui scripts de validação de esquema, utilitários de deduplicação e uma "harness" de avaliação para testes de regressão e ajuste fino direcionado.

4. Resultados do Estudo de Benchmarking

O estudo avaliou 7 LLMs (incluindo modelos de ponta como GPT-5, Claude Sonnet 4, DeepSeek V3.1 e modelos menores como Llama e Mistral) em uma amostra estratificada de 10% do dataset.

• Estrutura de Desempenho em Três Níveis:

  • Modelos de Ponta (Frontier): GPT-5 (4.48), Claude Sonnet 4 (4.31) e DeepSeek V3.1 (4.30) alcançaram médias acima de 4.30 em uma escala de 5. Mostraram robustez, com queda mínima de desempenho entre níveis de dificuldade (ex: GPT-5 perdeu apenas 1,4% ao passar de graduação para pós-graduação).
  • Modelos de Nível Médio: Mistral 7B e Llama 3.3 70B apresentaram desempenho intermediário, com uma diferença de desempenho quase insignificante entre eles, sugerindo que o número de parâmetros não é o único fator determinante para tarefas de engenharia específicas.
  • Modelos Menores (7-8B): Qwen 2.5 7B e Llama 3.1 8B exibiram altas taxas de falha (>10% de respostas com pontuação ≤ 2) e degradação acentuada em questões de nível de pós-graduação.

• Análise por Tipo de Tarefa:

  • Definições (DEF): Mais fáceis para todos os modelos.
  • Projeto (DES) e Código (CODE): As tarefas mais desafiadoras, onde a diferença entre modelos de ponta e menores foi mais ampla.
  • Degradação por Dificuldade: Modelos menores sofreram uma queda de desempenho de ~10% ao aumentar a dificuldade, enquanto modelos de ponta mantiveram a estabilidade.

• Análise por Domínio: A engenharia industrial teve os melhores resultados gerais, enquanto engenharia aeroespacial e ciência do fogo foram consistentemente as mais difíceis. Modelos menores foram desproporcionalmente afetados pela especificidade do domínio.

5. Significado e Implicações

• Para a Indústria e Prática: O ERI fornece evidências de que modelos de ponta podem atuar como ferramentas suplementares confiáveis para raciocínio de engenharia, mas modelos menores ainda não são adequados para aplicações críticas sem salvaguardas adicionais.
• Para Pesquisa e Educação: O benchmark permite diagnósticos precisos de falhas, ajudando a desenvolver modelos que não apenas "adivinham" respostas, mas demonstram comportamento de verificação e conformidade com restrições.
• Metodológico: O estudo demonstra que benchmarks sintéticos podem ser válidos e rigorosos se acompanhados de protocolos de validação convergente e triangulação multi-provedor, superando o ceticismo sobre dados gerados por IA.
• Acesso: O dataset e as ferramentas estão disponíveis publicamente no GitHub e Hugging Face, permitindo comparações reprodutíveis e testes de regressão para o desenvolvimento de agentes de engenharia.

Em resumo, o ERI estabelece um novo padrão para a avaliação de IA em engenharia, focando não apenas na "corretude" da resposta, mas na disciplina de engenharia, verificação de restrições e capacidade de raciocínio estruturado através de múltiplos domínios e níveis de complexidade.