Engineering Reasoning and Instruction (ERI) Benchmark: A Large Taxonomy-driven Dataset for Foundation Models and Agents

1. 문제 정의 (Problem Statement)

기존의 대규모 언어 모델 (LLM) 벤치마크는 공학 분야의 특수한 요구사항을 충족하지 못합니다.

• 일반 벤치마크의 한계: MMLU 나 BIG-bench 와 같은 일반 벤치마크는 광범위한 지식을 측정하지만, 공학 작업에 필수적인 '검증 행동 (verification behavior)', '구속 조건 인식 (constraint-aware reasoning)', '불완전한 입력 감지' 등을 평가하지 못합니다.
• 공학 능력의 복잡성: 공학 능력은 단순한 지식 회상이 아니라, 정의, 설명, 계산, 설계, 문제 해결 등 다양한 의도 (intent) 와 학부/대학원/전문가 수준의 난이도 (difficulty) 를 아우르는 체계적인 추론을 요구합니다.
• 데이터 부재: 현재 공학 분야에 특화되어 다양한 하위 분야와 작업 유형을 체계적으로 교차 검증할 수 있는 대규모 데이터셋이 부족합니다.

2. 방법론 (Methodology)

가. ERI 벤치마크의 구조 (Taxonomy-driven Design)

ERI 는 57,750 개의 레코드로 구성된 대규모 지시 - 응답 (Instruction-Response) 데이터셋으로, 다음과 같은 4 차원 구조를 가집니다.

1. 공학 분야 (9 개): 토목, 기계, 전기, 화학, 환경, 항공우주, 재료, 소방, 산업 공학.
2. 하위 분야 (55 개): 각 분야의 구체적인 주제 (예: 토목 - 구조 역학, 기계 - 열역학 등).
3. 작업 의도 (7 가지):
   • 정의 (Definition), 설명 (Explanation), 계산 (Calculation), 비교 (Comparison), 설계/합성 (Design/Synthesis), 문제 해결 (Troubleshooting), 코드/표준 (Code-related).
4. 난이도 (3 단계): 학부 (Undergraduate), 대학원 (Graduate), 전문가 (Professional).

각 (분야, 하위 분야, 의도, 난이도) 셀당 50 개의 샘플을 생성하여 총 1,155 개의 고유 셀을 채웠습니다.

나. 데이터 생성 및 검증 프로토콜

• 합성 데이터 생성: LLM 기반의 합성 생성 방식을 사용하되, 엄격한 분류 체계 (Taxonomy) 와 출력 계약 (Output Contracts) 을 적용하여 도메인 드리프트를 방지했습니다.
• 순환성 (Circularity) 해결: 데이터 생성, 모델 평가, 채점 (Judging) 에 서로 다른 공급업체 (Anthropic, OpenAI, Mistral 등) 의 모델을 사용하여 편향을 최소화했습니다.
• 수렴 타당성 검증 (Convergent Validation):
  • 3 개의 선두 모델 (Frontier models) 간의 일치도를 분석하여 환각 (Hallucination) 위험을 1.7% 이하로 제한했습니다.
  • 다중 채점자 (Multi-judge) 평균을 통해 개별 채점자의 편향을 상쇄했습니다.

다. 평가 지표

• 자동 검사: 빈 출력, 형식 오류, 수치적 제약 위반 여부 등을 자동화하여 체크합니다.
• 루브릭 채점 (Rubric Scoring): 공학적 행동 (가정 명시, 검증 단계 포함, 제약 조건 준수 등) 을 5 점 척도로 평가합니다. 인간 채점자와 LLM 채점자 (LLM-as-a-judge) 를 혼용하여 일관성을 유지했습니다.

3. 주요 기여 (Key Contributions)

1. 최대 규모의 공학 특화 벤치마크: 9 개 공학 분야, 55 개 하위 분야, 7 가지 의도 유형, 3 단계 난이도를 아우르는 57,750 개의 레코드를 공개했습니다.
2. 체계적인 분류 체계 (Taxonomy): 공학 능력을 '지식'이 아닌 '작업 의도'와 '난이도'에 따라 세분화하여 모델의 약점을 정밀하게 진단할 수 있는 프레임워크를 제시했습니다.
3. 신뢰성 있는 검증 프로토콜: LLM 생성 데이터의 순환성 문제를 해결하기 위한 교차 공급업체 검증 및 환각 위험 정량화 방법을 제안했습니다.
4. 재현 가능한 평가 도구: 데이터셋, 분류 명세, 검증 스크립트, 평가 하네스 (Evaluation Harness) 를 오픈소스로 제공하여 공학 에이전트 및 RAG(검색 증강 생성) 워크플로우의 표준 평가 기준을 마련했습니다.

4. 실험 결과 (Results)

7 개의 다양한 LLM 을 대상으로 한 벤치마킹 결과는 다음과 같습니다.

• 성능 계층 구조 (Three-tier Structure):
  • 선두 모델 (Frontier): GPT-5, Claude Sonnet 4, DeepSeek V3.1 은 평균 4.30 점 이상 (5 점 만점) 을 기록하며 높은 성능을 보였습니다. 특히 GPT-5 는 평균 4.48 점으로 가장 우수했습니다.
  • 중간 모델: Mistral 7B 와 Llama 3.3 70B 는 3.7~3.8 점 대를 기록했습니다. 흥미롭게도 파라미터 수가 10 배 차이 나는 Llama 3.3 70B 와 Mistral 7B 의 성능 차이는 미미했습니다.
  • 저사양 모델: Qwen 2.5 7B 와 Llama 3.1 8B 는 평균 3.0 점 미만이며, 실패율 (점수 ≤ 2) 이 10% 를 초과했습니다.
• 난이도별 성능 저하:
  • 선두 모델은 학부에서 대학원/전문가 난이도로 넘어가도 성능 저하가 미미했습니다 (GPT-5 는 1.4% 감소).
  • 반면, 7~8B 파라미터 모델은 난이도가 높아질수록 성능이 급격히 떨어졌습니다 (약 10% 감소).
• 작업 유형별 차이:
  • 정의 (DEF) 질문이 가장 쉬웠고, 설계 (DES) 질문이 모든 모델에게 가장 어려웠습니다.
  • 문제 해결 (Troubleshooting) 과 코드 (Code) 작업에서 모델 간 격차가 가장 컸습니다.
• 분야별 차이: 산업 공학이 가장 높은 점수를 받았으며, 항공우주와 소방 공학이 가장 어려웠습니다.

5. 의의 및 결론 (Significance)

• 공학 AI 의 현실적 평가: ERI 는 공학 모델이 단순히 정답을 맞추는 것을 넘어, 공학적 제약 조건을 준수하고 검증 가능한 추론을 수행하는지 평가할 수 있는 첫 번째 대규모 도구입니다.
• 모델 선택 가이드: 선두 모델들은 다양한 난이도와 분야에서 인간 전문가 수준의 보조 도구로 활용 가능하지만, 7~8B 규모의 소형 모델은 안전이 중요한 공학 응용 분야에는 추가적인 보호 장치 없이는 부적합함이 입증되었습니다.
• 미래 연구 방향: 이 벤치마크는 공학 교육, 산업용 AI 에이전트 배포, 그리고 도메인 특화 모델 튜닝을 위한 표준 평가 기준으로 자리 잡을 것입니다. 또한, 환각 위험을 정량화하는 검증 프로토콜은 다른 전문 분야 벤치마크 개발에도 방법론적 토대를 제공합니다.

접근 정보:

• GitHub: https://github.com/mznaser-clemson/ERI-Benchmark
• Hugging Face: https://huggingface.co/datasets/mznaser/ERI-Benchmark