Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 의 과학적 연구 활용이 급증함에 따라, 연구자들은 모델의 성능을 판단하기 위해 MMLU-Pro나 GPQA와 같은 표준 벤치마크 점수를 '대체 지표 (proxy)'로 삼고 있습니다. 현재의 관행은 다음과 같은 두 가지 전제에 기반합니다.

1. LLM 은 표준 벤치마크에서 뛰어난 성능을 보인다.
2. 벤치마크 점수가 유사한 모델들은 기능적으로 동등하며 (interchangeable), 하류 작업 (downstream tasks) 에서 서로 교체하여 사용해도 무방하다.

이 논문은 이러한 가정을 **"벤치마크 환상 (Benchmark Illusion)"**이라고 명명하며 반박합니다. 저자들은 벤치마크 정확도가 수렴하더라도, 모델들이 개별 항목에 대해 어떻게 답하는지는 근본적으로 다를 수 있으며, 이러한 **잠재된 불일치 (epistemic divergence)**가 과학적 추론에 치명적인 편향을 초래할 수 있음을 지적합니다. 즉, "얼마나 자주 틀리는가 (accuracy)"보다 **"어디서, 누구에게 틀리는가 (error profile)"**가 과학적 연구에서는 더 중요하다는 것이 핵심 문제의식입니다.

2. 방법론 (Methodology)

저자들은 벤치마크 환상의 존재와 그 과학적 영향을 입증하기 위해 다음과 같은 3 단계의 방법론을 적용했습니다.

A. 벤치마크 불일치 분석

• 데이터셋: MMLU-Pro (14 개 학문 분야의 12,032 개 객관식 문제) 와 GPQA (생물, 물리, 화학 분야의 448 개 전문가급 문제) 사용.
• 접근: Wang et al. (2024) 과 HELM 벤치마크 suites 의 모델 예측 데이터를 활용하여, 동일한 정확도 (accuracy) 를 가진 모델들 간의 쌍별 불일치 (pairwise disagreement) 비율을 계산했습니다.
• 통제 변수: 프롬프트와 디코딩 방식을 고정하여, 불일치가 무작위 노이즈가 아닌 모델의 체계적인 표현 및 추론 차이에서 기인함을 확인했습니다.

B. 시뮬레이션 (Simulation)

• 목적: 예측 오류의 구조가 하류 통계 분석 (회귀 분석) 에 미치는 편향을 정량화.
• 설계: 10,000 개의 관측치를 가진 가상의 임상 연구 시나리오 (항생제 부작용 모니터링) 를 설정.
• 세 가지 주석자 (Annotator) 모델링:
  1. Annotator 1: 낮은 성능 (85%), 무작위 오류.
  2. Annotator 2: 높은 성능 (93.6%), 체계적 편향 (치료군에서 양성을 과소평가).
  3. Annotator 3: 높은 성능 (93.8%), 반대 방향의 체계적 편향 (대조군에서 양성을 과소평가).
• 분석: 각 주석자의 레이블을 사용하여 치료 효과 ($\beta$) 를 추정하고, 편향의 크기와 방향을 비교.

C. 실증적 재분석 (Empirical Re-analysis)

기존에 출판된 두 가지 연구 (교육학 및 정치학) 를 LLM 을 사용하여 재분석하여 모델 선택이 결론에 미치는 영향을 검증했습니다.

1. 교육학 사례 (Kim et al., 2021): 5,494 명의 학생 작문 데이터에 대해 8 개의 고성능 LLM 을 사용하여 채점. 원본 연구의 인간 채점자 결과와 비교하여 치료 효과 크기 추정치 변화 분석.
2. 정치학 사례 (Rozenas and Stukal, 2019): 러시아 국영 미디어 뉴스 데이터에 대해 8 개의 LLM 을 사용하여 "관료 Attribution(귀속)" 분류 수행. 원본 연구의 결론 (좋은 뉴스는 관료에게 귀속, 나쁜 뉴스는 외부 요인) 과 비교.

3. 주요 결과 (Key Results)

A. 벤치마크 내 불일치

• 전체 모델: MMLU-Pro 에서 1666%, GPQA 에서 1765% 의 쌍별 불일치 발생.
• 최상위 모델 (Frontier Models, 정확도 >60%): 정확도가 매우 유사함에도 불구하고, MMLU-Pro 에서 1638%, GPQA 에서 1732% 의 불일치가 지속됨.
• 의미: "10 점 만점에 7 점"을 맞는 모델들이 어떤 7 개 문제를 맞췄는지가 완전히 다르며, 이는 모델 간 체계적인 오류 프로파일 (error profile) 의 차이를 의미합니다.

B. 시뮬레이션 결과

• 무작위 오류 vs 체계적 오류: 전체 정확도가 낮더라도 오류가 무작위인 경우 (Annotator 1) 는 편향이 완화 (attenuation) 되지만, 정확도가 매우 높은 경우라도 오류가 변수와 상관관계가 있으면 심각한 편향이 발생합니다.
• 방향성 반전: Annotator 2 와 3 은 유사한 높은 정확도를 보였으나, 편향의 방향이 정반대였습니다. Annotator 2 는 치료 효과를 0.37 로 과소평가 (진짜 1.0) 했고, Annotator 3 은 1.43 로 과대평가했습니다. 이는 높은 정확도가 편향을 보장하지 않음을 시사합니다.

C. 실증 재분석 결과

1. 교육학 사례:
   • 모든 LLM 이 긍정적인 치료 효과를 발견했으나, 추정 효과 크기가 0.19 에서 0.35 로 84% 까지 변동했습니다.
   • 원본 인간 채점자 (0.44) 와의 상관관계가 높은 모델이 반드시 가장 정확한 효과 크기를 추정하는 것은 아니었습니다.
2. 정치학 사례:
   • 모델 선택에 따라 결론이 완전히 뒤집혔습니다. 일부 모델은 원본 연구 (좋은 뉴스가 관료에게 귀속됨) 를 재현했으나, Gemma-3-27B 와 Qwen-2.5-72B 와 같은 모델은 정반대 결론 (나쁜 뉴스가 관료에게 귀속됨) 을 도출했습니다.
   • 모델 간 불일치 비율은 29% 에서 66% 에 달했으며, 이는 모델들이 동일한 작업에 대해 서로 다른 "세계 모델 (world models)"을 적용하고 있음을 보여줍니다.

4. 주요 기여 (Key Contributions)

1. 벤치마크 환상의 규명: 벤치마크 정확도가 모델의 기능적 동등성 (interchangeability) 을 보장하지 않으며, 높은 정확도 모델 간에도 상당한 인식적 불일치가 존재함을 실증했습니다.
2. 과학적 추론에 대한 새로운 자유도 (Researcher Degrees of Freedom) 제시: 연구자가 사용하는 LLM 의 선택은 통계적 모델 지정 (specification) 선택과 유사하게 작용하여, 데이터와 설계가 동일하더라도 연구 결과의 크기와 방향을 결정적으로 바꿀 수 있음을 보였습니다.
3. 과학적 정렬 (Scientific Alignment) 의 필요성 주장: 현재의 벤치마크는 '평균 정확도'와 '인간 선호도'에 최적화되어 있으나, 과학적 연구에는 재현성 (reproducibility), 불확실성 보정, 그리고 변수와 상관되지 않는 오류 구조가 필요합니다. 이를 위해 '합의 (agreement)', '안정성 (stability)', '추론 강건성 (inferential robustness)'을 평가 지표로 포함해야 함을 제안합니다.

5. 의의 및 시사점 (Significance)

이 연구는 AI 가 과학 연구에 통합되는 과정에서 **재현성 위기 (reproducibility crisis)**의 새로운 원인을 규명했다는 점에서 중요합니다.

• 연구 관행의 변화 필요: LLM 을 사용한 연구에서는 모델 선택과 설정을 연구 설계의 일부로 간주해야 하며, 여러 강력한 모델을 사용한 **민감도 분석 (sensitivity analysis)**을 필수적으로 수행해야 합니다.
• 하이브리드 워크플로우 제안: LLM 이 대량의 데이터를 처리하되, 체계적 오류를 보정하기 위해 인간 채점자나 설계 기반 추정기를 전략적 부분집합에 활용하는 방식이 권장됩니다.
• 평가 체계의 재설계: 단순히 벤치마크 점수를 높이는 것뿐만 아니라, 모델이 과학적 추론에 어떻게 기여할 수 있는지, 오류가 어떻게 구조화되는지에 초점을 맞춘 새로운 평가 기준이 필요합니다.

결론적으로, 이 논문은 "동일한 점수 = 동일한 모델"이라는 가정이 과학적 신뢰성을 훼손할 수 있음을 경고하며, LLM 시대의 과학적 엄밀성을 유지하기 위해서는 모델의 **오류 구조 (error structure)**와 **불일치 (disagreement)**를 적극적으로 관리하고 평가해야 함을 강조합니다.