FormationEval, an open multiple-choice benchmark for petroleum geoscience

이 논문은 석유 지구과학 (Petroleum Geoscience) 및 지하 분야에 특화된 오픈 소스 객관식 벤치마크인 FormationEval을 소개하고, 이를 통해 다양한 대규모 언어 모델 (LLM) 의 성능을 평가한 결과를 제시합니다. 주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 전문 분야 평가의 부재: 기존 MMLU 와 같은 일반적 벤치마크는 광범위한 지식을 다루지만, 석유 지구과학, 저류층 공학, 지질학적 해석 등 매우 전문화된 분야에 대한 평가 도구는 부족했습니다.
• 저작권 및 데이터 오염 문제: 전문 교재나 자료를 기반으로 한 질문 생성 시, 저작권 위반 (직접 복사) 이나 모델 학습 데이터 오염 (Contamination) 우려가 있어 신뢰할 수 있는 평가가 어려웠습니다.
• 해결 필요: 이러한 전문 분야에서 언어 모델이 실제 개념을 이해하는지, 아니면 단순히 문구를 기억하는지 검증할 수 있는 표준화된 평가 체계가 필요했습니다.

2. 방법론 (Methodology)

FormationEval 은 총 505 개의 객관식 질문 (MCQ) 으로 구성되었으며, 다음과 같은 체계적인 방법론을 따랐습니다.

• 데이터 소스 및 라이선싱:
  • Ellis & Singer 의 'Well Logging for Earth Scientists', Bjørlykke 의 'Petroleum Geoscience', TU Delft 오픈코스웨어 등 3 개의 권위 있는 출처에서 질문을 도출했습니다.
  • 개념 기반 (Concept-based) 접근법: 원문을 직접 복사하거나 문장을 변형하는 방식이 아닌, 추출된 '개념'을 바탕으로 질문을 처음부터 작성하여 저작권을 준수하고 모델의 단순 암기 능력을 배제했습니다.
• 생성 파이프라인:
  • reasoning 모델 (GPT-5.2) 을 활용하여 OCR 로 변환된 텍스트를 처리하고, 체계적인 프롬프트를 통해 질문, 오답 (distractor), 정답, 해설을 생성했습니다.
  • 생성된 질문은 독립적으로 답변 가능하도록 설계되었으며, "장소에 따라"와 같은 문맥 의존적 표현은 배제했습니다.
• 품질 관리 및 편향 완화:
  • 인간 검증: 석유 물리 전문가 (저자) 가 샘플을 검증하여 정답의 정확성과 오답의 타당성을 확인했습니다.
  • 편향 (Bias) 교정: 초기 분석에서 정답이 오답보다 길거나, '항상 (always)'과 같은 절대적 단어가 오답에, '가능하다 (may)'와 같은 유보적 단어가 정답에 치우치는 패턴을 발견했습니다. 이를 교정하여 길이 편향을 55% 에서 43.2% 로 줄이고, 절대적 단어의 패턴을 깨뜨리는 조치를 취했습니다.
• 범위:
  • 7 개 도메인: 석유 물리 (Petrophysics), 석유 지질, 지질학, 저류층 공학, 퇴적학, 시추 공학, 생산 공학.
  • 난이도: 초급 (학부), 중급 (대학원/전문가), 고급 (전문가) 으로 분류.

3. 주요 기여 (Key Contributions)

1. 전문 분야 벤치마크: 석유 지구과학 및 지하 공학 분야를 위한 첫 번째 공개 객관식 벤치마크 (505 질문, 7 개 도메인) 를 제공했습니다.
2. 저작권 준수 생성 방법론: 원문 복사 없이 개념을 기반으로 MCQ 를 생성하는 방법론과 메타데이터 (출처, 오염 위험도 등) 를 포함한 데이터셋을 공개했습니다.
3. 광범위한 모델 평가: OpenAI, Anthropic, Google, Meta, DeepSeek, GLM 등 주요 제공처의 72 개 모델에 대한 체계적인 평가 결과를 제시했습니다.

4. 평가 결과 (Results)

• 전체 성능: 최상위 모델인 Gemini 3 Pro Preview가 **99.8%**의 정확도를 기록했습니다.
• 오픈 가중치 (Open-weight) 모델의 성과:
  • 폐쇄형 모델과 오픈형 모델 간의 격차가 예상보다 좁았습니다.
  • GLM-4.7이 오픈형 모델 중 1 위 (98.6%) 를 기록했으며, DeepSeek-R1(96.2%), DeepSeek-V3.2(94.9%) 등 여러 모델이 93% 이상의 높은 정확도를 보였습니다.
  • 저비용 오픈형 모델들도 90% 이상의 정확도를 달성하여 비용 효율성이 높음을 입증했습니다.
• 도메인별 난이도:
  • **석유 물리 (Petrophysics)**가 모든 모델에게 가장 어려운 도메인이었습니다 (평균 정확도 87.5%). 이는 시추 로깅 물리 및 해석의 기술적 세부 사항이 복잡하기 때문입니다.
  • 반면, 저류층 공학 (Reservoir Engineering) 이 가장 높은 평균 정확도 (95.6%) 를 보였습니다.
• 난이도별 분석:
  • 상위 모델들은 난이도 간 편차가 적었으나, 하위 모델들은 '중간' 난이도 질문에서 성능이 급격히 떨어지는 경향을 보였습니다.
  • 가장 어려운 질문 10 개 중 8 개는 석유 물리 분야에서 나왔으며, 이는 모델들이 특정 전문 지식을 여전히 부족하게 가지고 있음을 시사합니다.

5. 의의 및 결론 (Significance)

• 전문 분야 AI 의 현실적 평가: FormationEval 은 석유 및 지하 분야에서 AI 모델의 실제 전문성 수준을 측정할 수 있는 기준을 마련했습니다.
• 오픈 모델의 경쟁력 입증: 고비용의 폐쇄형 모델뿐만 아니라, GLM-4.7 이나 DeepSeek 시리즈와 같은 오픈 가중치 모델들도 전문 분야에서 매우 높은 성능을 발휘할 수 있음을 보여줌으로써, 비용 효율적인 솔루션의 가능성을 제시했습니다.
• 지속 가능한 리소스: 벤치마크는 커뮤니티 피드백을 통해 지속적으로 업데이트될 예정이며, 향후 다른 언어 (노르웨이어, 러시아어 등) 와 추가 도메인으로 확장될 계획입니다.

이 연구는 석유 지구과학 분야에서 AI 기술의 적용 가능성을 검증하고, 향후 더 정교한 전문 분야 모델 개발을 위한 중요한 기준점 (Benchmark) 을 제시했다는 점에서 의의가 큽니다.