HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam

이 논문은 Frontier LLM 평가 벤치마크인 '인류의 마지막 시험 (HLE)'의 노이즈 문제를 해결하기 위해 전문가 검토와 모델 기반 교차 검증을 통해 문제를 검증하고 수정한 'HLE-Verified'를 구축하여, 오류 수정을 통해 모델 평가의 정확성과 신뢰성을 크게 향상시켰음을 보여줍니다.

핵심

인류의 마지막 시험 (HLE) 을 다시 검사하다: "HLE-Verified" 프로젝트 설명

이 논문은 인공지능 (AI) 의 능력을 측정하는 가장 어려운 시험지인 **'인류의 마지막 시험 (HLE)'**에 숨겨진 문제점들을 찾아내고, 이를 깨끗하게 고쳐서 다시 만든 **'HLE-Verified'**라는 새로운 버전의 이야기를 담고 있습니다.

어려운 학술 용어 대신, 거대한 도서관과 낡은 시험지에 비유하여 쉽게 설명해 드리겠습니다.

---

1. 왜 이 연구가 필요했을까요? (문제 상황)

상상해 보세요. 전 세계의 가장 똑똑한 AI 들이 치르는 **'최고의 시험'**이 있습니다. 이 시험은 수학, 과학, 인문학 등 모든 분야의 어려운 문제들로 구성되어 있어, AI 가 얼마나 똑똑한지 가늠하는 '최종 관문' 역할을 합니다.

하지만 최근 사람들이 이 시험지를 자세히 들여다보니 상당히 엉망인 점들이 발견되었습니다.

• 문제 자체가 모호하거나: "이 문제를 풀려면 어떤 가정을 해야 하지?"라고 AI 가 혼란스러워하는 경우.
• 정답이 틀린 경우: 정답지 (Answer Key) 에 오답이 적혀 있거나, 단위가 엉뚱하게 적힌 경우.
• 해설이 논리적으로 맞지 않는 경우: 풀이 과정이 말도 안 되거나, 정답과 해설이 서로 모순되는 경우.

이런 '오류'들이 섞여 있으면, AI 가 실제로 똑똑해서 문제를 푼 것인지, 아니면 시험지 자체의 실수를 운 좋게 맞춘 것인지 구별할 수 없습니다. 마치 오류가 많은 답안지를 가지고 학생들의 성적을 매기는 것과 같습니다.

2. 연구팀은 무엇을 했나요? (해결책: HLE-Verified)

연구팀은 이 '오류투성이 시험지'를 두 단계에 걸쳐 꼼꼼하게 검사하고 고쳤습니다. 이를 **'HLE-Verified(검증된 HLE)'**라고 부릅니다.

🛠️ 1 단계: "이건 그대로 써도 될까?" (검증)

먼저 시험지 2,500 문항을 하나씩 살펴봤습니다.

• **전문가 (인간)**와 최고급 AI가 함께 문제를 풀고 정답을 확인했습니다.
• 문제도, 정답도, 해설도 완벽하게 맞는 668 문항은 '검증된 금메달 문항 (Gold Subset)'으로 선정했습니다.

🔧 2 단계: "수정 가능한 건 고쳐보자!" (수정)

나머지 문항 중에는 문제가 있지만 고칠 수 있는 것들이 많았습니다.

• 예를 들어, "정답이 5 이어야 하는데 6 으로 적혀 있다"거나 "단위가 빠져 있다"는 식의 오류는 전문가 두 팀이 독립적으로 고치고, 다시 AI 로 검증했습니다.
• 이렇게 1,143 문항을 완벽하게 고쳐서 '수정 및 인증 문항'으로 만들었습니다.

📝 3 단계: "고칠 수 없는 건 따로 표시" (불확실성)

아무리 노력해도 정답을 확정할 수 없거나, 너무 모호해서 고칠 수 없는 689 문항은 버리지 않고 **'불확실 문항'**으로 따로 분류했습니다. 이 문항들에는 "이 문제는 어떤 전문가의 도움이 필요하다"는 태그를 달아두었습니다.

---

3. 어떤 결과가 나왔나요? (성과)

이렇게 고쳐진 시험지 (HLE-Verified) 로 다시 AI 들을 시험해 보니 놀라운 변화가 있었습니다.

• 성적이 크게 올라갔습니다: 원래 시험지 (HLE) 에서 AI 들이 틀렸던 문제 중 상당수가 사실은 시험지 오류 때문이었습니다. 고친 시험지에서는 AI 들의 평균 점수가 7~10 점이나 올랐습니다.
• 어려운 문제일수록 효과가 큽니다: 특히 원래 문제나 정답이 잘못되었던 부분에서는 AI 들의 점수가 30~40 점이나 급상승했습니다. 이는 AI 가 실제로는 그 능력을 가지고 있었지만, 엉터리 시험지 때문에 점수를 깎였던 것입니다.
• AI 의 '자신감'도 더 정확해졌습니다: 원래 시험지에서는 AI 가 "정답을 확신한다"고 말해도 틀리는 경우가 많았습니다 (시험지가 엉망이라서). 하지만 고친 시험지에서는 AI 가 정답일 때 확실히 자신 있게 답하고, 틀릴 때는 망설이는 등 자신감 (Confidence) 과 정답의 관계가 훨씬 자연스럽게 변했습니다.

4. 이 연구의 핵심 메시지

이 논문은 단순히 시험지를 고른 것을 넘어, **"AI 의 능력을 측정할 때는 시험지 자체의 질이 얼마나 중요한가"**를 보여줍니다.

• 비유하자면: 달리기 선수를 평가할 때, 경로에 구멍이 나 있거나 표지판이 잘못된 트랙에서 뛰게 하면 선수의 실력을 제대로 알 수 없습니다. HLE-Verified 는 그 구멍을 메우고 표지판을 바로잡은 깨끗한 트랙을 제공한 것입니다.
• 이제 우리는 AI 가 정말로 똑똑한지, 아니면 단순히 시험지 실수를 운 좋게 맞춘 것인지 더 정확하게 알 수 있게 되었습니다.

요약

"HLE-Verified"는 엉망이었던 AI 시험지를 전문가와 AI 가 함께 꼼꼼히 검사하고, 틀린 부분을 고쳐서 다시 만든 '정직한 시험지'입니다. 이 시험지를 쓰니 AI 들의 진짜 실력이 더 잘 드러났고, 우리가 AI 를 평가하는 방식이 훨씬 더 신뢰할 수 있게 되었습니다.

기술 요약

1. 문제 제기 (Problem)

**Humanity's Last Exam (HLE)**는 수학, 과학, 공학, 인문학 등 다양한 분야의 난이도 높은 질문을 통해 최첨단 대규모 언어 모델 (LLM) 의 능력을 평가하는 널리 사용되는 벤치마크입니다. 그러나 최근 커뮤니티 주도의 분석을 통해 HLE 데이터셋에 상당한 수준의 **노이즈 (오류)**가 포함되어 있다는 우려가 제기되었습니다.

• 주요 문제점:
  • 모호한 문제 진술 (Ambiguous statements)
  • 잘못된 정답 (Incorrect answers)
  • 추론 과정 (Rationale) 과 최종 답안 간의 불일치
  • 이러한 오류들은 모델의 실제 능력 차이를 왜곡하고, 벤치마크 결과에 체계적인 편향을 초래하여 모델 간 비교를 신뢰할 수 없게 만듭니다.
• 필요성: 고난도 벤치마크의 배포 후 체계적인 검증, 감사 (Auditing), 투명한 수정 프로토콜이 부재한 상황에서, HLE-Verified 는 이러한 신뢰성 문제를 해결하기 위해 개발되었습니다.

2. 방법론 (Methodology)

HLE-Verified 는 원본 HLE(2,500 개 항목) 를 기반으로 투명한 컴포넌트 단위 검증 프로토콜과 **세분화된 오류 분류 체계 (Error Taxonomy)**를 적용하여 구축되었습니다. 전체 프로세스는 2 단계 검증 및 수정 워크플로우로 구성됩니다.

2.1 1 단계: 컴포넌트 단위 검증 (Stage I: Component-wise Verification)

• 목적: 원본 형태로 사용 가능한지 확인하고, 수정 없이 신뢰할 수 있는 '골드 (Gold)' 집합을 추출합니다.
• 검증 대상: 각 항목을 (1) 문제 (Problem), (2) 최종 답안 (Answer), (3) 추론/해설 (Rationale) 의 세 가지 컴포넌트로 분해하여 검증합니다.
• 검증 방식:
  1. 도메인 전문가 검토: 독립적인 전문가가 각 컴포넌트의 유효성을 이진 (Binary) 으로 판별합니다.
  2. 모델 기반 교차 검증: 최첨단 멀티모달 솔버를 사용하여 (pass@8) 독립적인 해답을 생성하고, 기준 답안과 비교합니다.
  3. 내부 전문가 심의: 위 두 가지 증거를 종합하여 최종 결정합니다.
• 결과: 문제와 답안이 모두 명확하고 오류가 없는 668 개 항목을 '검증된 골드 (Verified Gold)' 집합으로 확정합니다.

2.2 2 단계: 체계적 수정 및 재검증 (Stage II: Systematic Revision)

• 목적: 오류가 발견되었으나 수정 가능한 항목을 원본 평가 의도 (Evaluation Intent) 를 해치지 않는 범위 내에서 수정합니다.
• 수정 원칙: 창의적인 변경이 아닌, **교정 (Corrective)**에 중점을 둡니다. 문제의 난이도나 평가 목표는 유지하되, 명확성과 정확성을 회복합니다.
• 수정 워크플로우:
  1. 독립적인 전문가 팀 수정: 두 개의 독립 팀이 문제 → 해답 → 답안 순서로 수정안을 제안합니다.
  2. 모델 보조 제안: 여러 모델의 샘플링을 통해 추가 수정 후보를 생성하고 안정성을 확인합니다.
  3. 최종 전문가 심의: 객관성, 정확성, 최소한의 수정 원칙에 따라 표준 수정판을 확정합니다.
• 결과: 1,143 개 항목이 수정 및 재검증되어 '수정 및 인증 (Revised-and-Certified)' 집합에 포함됩니다.

2.3 불확실성 집합 (Uncertain Subset)

• 검증 및 수정 후에도 유효성을 conclusively 판단할 수 없는 689 개 항목은 폐기하지 않고 '불확실성 (Uncertain)' 집합으로 분류합니다.
• 각 항목에는 불확실성의 원인 (Uncertainty Source) 과 해결에 필요한 전문성 태그 (Required Expertise) 가 명시되어 향후 커뮤니티 개선의 기초 자료로 활용됩니다.

2.4 오류 분류 체계 (Defect Taxonomy)

• 총 19 가지 오류 카테고리를 정의하여 컴포넌트별 결함을 세분화했습니다.
  • 문제 (Problem): 5 가지 (의미 오류, 지식 오류, 정보 누락 등)
  • 해설 (Rationale): 10 가지 (순환 논리, 경험적 타당성 위반, 단계 불일치 등)
  • 답안 (Answer): 4 가지 (잘못된 답, 불완전한 답, 모호한 답 등)

3. 주요 기여 (Key Contributions)

1. HLE-Verified 데이터셋 출시: 668 개의 검증 항목, 1,143 개의 수정 항목, 689 개의 불확실성 항목으로 구성된 투명하고 구조화된 벤치마크를 공개했습니다.
2. 체계적인 검증 프레임워크: 배포 후 벤치마크를 감사하고 수정하기 위한 2 단계 검증 - 수정 프로토콜을 제시했습니다.
3. 성능 변화 분석: 8 개의 최첨단 LLM 을 대상으로 HLE 와 HLE-Verified 에서의 성능을 비교하여, 검증 과정이 측정된 성능에 미치는 실질적인 영향을 정량화했습니다.

4. 실험 결과 (Results)

8 개의 최첨단 모델 (GPT-5.2, Gemini3-Pro, Claude-Opus4.5/4.6, Grok-4.1, DeepSeek-V3.2, Qwen3-Max/Plus 등) 에 대한 평가 결과는 다음과 같습니다.

• 전체 정확도 향상:
  • HLE-Verified 에서 모델들의 평균 정확도가 7~10%p 상승했습니다.
  • 특히 원본 HLE 의 문제 진술이나 정답에 오류가 있었던 항목 (Revised Subset) 에서는 정확도가 30~40%p 급증했습니다. 이는 원본 벤치마크의 오류가 모델의 실제 능력을 과소평가하게 만들었음을 시사합니다.
• 보정 오차 (Calibration Error) 감소:
  • 검증된 데이터셋에서 모델의 신뢰도 (Confidence) 와 정답 간의 관계가 더 명확해져, 보정 오차가 감소했습니다.
  • 오류가 있는 항목은 모델이 확신을 가지고 틀린 답을 내거나, 불확실성을 과도하게 표현하게 만드는 경향이 있었습니다.
• 신뢰도 (Confidence) 와 오류의 상관관계:
  • 문제 진술에 오류가 있는 경우, 모델은 원본 상태에서 낮은 신뢰도를 보였습니다. 수정 후에는 신뢰도가 유의미하게 증가했습니다. 이는 모델의 신뢰도 신호가 벤치마크의 노이즈를 감지하는 진단 도구로 활용 가능함을 보여줍니다.
• 도메인별 차이:
  • 물리학과 생물학/의학 분야에서 오류 수정에 따른 정확도 상승폭이 가장 컸으며, 이는 해당 도메인에서 문제/답안 오류가 빈번했음을 의미합니다.

5. 의의 및 결론 (Significance)

• 벤치마크 신뢰성 강화: HLE-Verified 는 단순한 새로운 벤치마크가 아니라, 기존 벤치마크의 신뢰성을 높이는 데이터 인프라입니다.
• 오류의 구조적 이해: HLE 의 오류가 무작위적이지 않고, 답안 키의 불안정성과 표현 수준의 오류 (Format Semantic Errors) 등에 체계적으로 집중되어 있음을 규명했습니다.
• 과학적 평가의 정밀화: 벤치마크 노이즈를 제거함으로써 모델의 실제 추론 능력을 더 정확하게 측정하고, 모델 간 비교를 공정하게 만들 수 있습니다.
• 커뮤니티 참여 유도: '불확실성 집합'을 공개함으로써 지속적인 커뮤니티 기반의 검증과 개선 사이클을 구축했습니다.

결론적으로, 이 연구는 고난도 AI 벤치마크가 배포된 후에도 지속적인 검증과 투명한 수정 프로세스가 필수적임을 입증하며, 향후 언어 모델 능력 평가의 표준을 제시합니다.