SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge

이 논문은 OpenAI 의 SimpleQA 벤치마크가 가진 노이즈, 편향 및 중복 문제를 해결하기 위해 엄격한 필터링 과정을 거쳐 개발된 'SimpleQA Verified'라는 새로운 사실성 평가 기준을 소개하고, 이를 통해 Gemini 2.5 Pro 가 GPT-5 를 포함한 다른 최첨단 모델들을 능가하는 55.6 의 F1 점수를 기록했음을 보고합니다.

핵심

🧠 "SimpleQA Verified": AI 의 기억력 시험지를 다시 만든 이야기

이 논문은 인공지능 (AI) 이 얼마나 정확한 사실을 기억하고 있는지 측정하는 새로운 **'시험지 (벤치마크)'**를 소개합니다. 기존 시험지가 너무 쉬워지거나, 문제 자체가 엉망이어서 AI 의 실력을 제대로 가늠할 수 없었던 문제를 해결하기 위해 만들어졌습니다.

비유하자면, 기존 시험지는 '정답이 찍혀 있는 문제집'처럼 AI 가 암기해서 점수를 따기 좋게 되어 있었지만, 이번 'SimpleQA Verified'는 '정직한 감시관'이 감독하는 새로운 시험이라고 생각하시면 됩니다.

---

1. 왜 새로운 시험지가 필요했을까요? (기존의 문제점)

기존에 쓰이던 'SimpleQA'라는 시험지는 AI 개발자들에게 큰 인기를 끌었지만, 몇 가지 치명적인 결함이 있었습니다.

• 문제 중복 (복제 문제): 같은 내용을 다른 말로만 바꾼 문제가 너무 많았습니다. 마치 수학 시험에서 "3+4 는?"과 "4+3 은?"을 따로 점수 내는 것과 비슷하죠.
• 편향된 주제: 특정 주제 (예: 과학이나 특정 지역의 지명) 로만 문제가 몰려 있어, AI 가 특정 분야만 잘하고 나머지는 못 해도 고득점을 받을 수 있었습니다.
• 오답 정답: 정답이 틀린 문제도 섞여 있었습니다. AI 가 정답을 말해도 "틀렸다"고 판정받거나, 반대로 틀린 답을 해도 "맞다"고 하는 혼란이 있었습니다.
• AI 의 '암기' vs '이해': AI 가 문제를 외워서 맞추는 건지, 진짜 사실을 알고 있는지 구분이 어려웠습니다.

이런 문제들 때문에 AI 의 실력이 진짜로 좋아진 건지, 아니면 시험 문제 패턴만 외운 건지 알 수 없게 되었습니다.

2. 새로운 시험지 'SimpleQA Verified'는 어떻게 만들었나요?

연구팀 (구글 딥마인드) 은 이 문제를 해결하기 위해 4,326 개의 문제를 1,000 개의 '골든 문제'로 정제하는 과정을 거쳤습니다. 마치 보석 광산에서 돌을 다 치우고 진짜 보석만 골라내는 작업과 같습니다.

주요 정제 과정 (비유 포함):

1. 출처 중복 제거 (한 번만 보자): 같은 웹사이트에서 가져온 문제를 하나만 남기고 나머지는 버렸습니다. (AI 가 특정 사이트 정보만 외우지 않게 하기 위함)
2. 유사 문제 제거 (비슷한 건 하나만): "A 시의 설립 연도는?"과 "B 시의 설립 연도는?"처럼 너무 비슷한 문제들을 AI 가 구분할 수 있도록 걸러냈습니다.
3. 웹사이트의 '입장권' 존중 (Robots.txt): 어떤 웹사이트는 "AI 가 내 정보를 학습하지 마라"고 명시한 경우가 있습니다. 이런 사이트의 문제는 아예 제외했습니다. (윤리적 문제 해결)
4. 주제 균형 맞추기 (다양한 맛): 과학, 역사, 스포츠, 예술 등 모든 분야가 골고루 섞이도록 문제를 재배치했습니다.
5. 정답 검증 (정직한 감시관): 정답이 모호하거나 여러 출처가 서로 다른 경우를 모두 제거하고, 숫자 문제의 경우 "오차 범위"를 정해 더 공정한 채점을 할 수 있게 만들었습니다.
6. 난이도 조절 (최고의 문제만): 너무 쉬운 문제는 빼고, 최신 AI 모델들도 헷갈릴 만한 어려운 문제 1,000 개만 남겼습니다.

3. 채점 방식도 똑똑하게 바꿨어요

기존에는 AI 가 답을 조금만 다르게 말해도 "틀렸다"고 했거나, "모르겠다"고 하면 점수를 주지 않았습니다. 하지만 새로운 채점 시스템은 더 유연하고 정확합니다.

• 숫자 문제: "100 명"이라고 답했는데 정답이 "98 명"이라면, 오차 범위를 고려해 "맞다"고 인정해 줍니다. (실생활에서 100 명과 98 명은 큰 차이가 없기 때문)
• 회피하는 답변: AI 가 "정확한 숫자는 모르겠지만, 대략 100 명 정도일 거예요"라고 말하면, 그중에서 가장 유력한 답을 골라 채점합니다. 하지만 아예 답을 안 하면 "시도하지 않음"으로 처리합니다.

4. 결과는 어땠나요? (Gemini 2.5 Pro 의 승리)

이 새로운 시험지로 최신 AI 모델들을 시험해 본 결과, 구글의 'Gemini 2.5 Pro'가 1 위를 차지했습니다.

• 점수: F1 스코어 (정확도와 완전성을 합친 점수) 가 **55.6%**로, 다른 최상위 모델들 (GPT-5, Claude Opus 4 등) 보다 높았습니다.
• 의미: 이는 AI 가 단순히 시험 문제를 외운 것이 아니라, 진짜 사실을 기억하고 이해하는 능력이 향상되었음을 보여줍니다.

5. 결론: 왜 이 연구가 중요할까요?

이 논문은 AI 개발자들에게 **"진짜 실력을 측정하는 투명한 자"**를 제공했습니다.

• 과도한 암기 방지: AI 가 시험 문제 패턴만 외우는 것을 막고, 진짜 지식을 쌓도록 유도합니다.
• 할루시네이션 (거짓말) 줄이기: AI 가 엉뚱한 사실을 말하지 않도록 정확한 기준을 제시합니다.
• 신뢰할 수 있는 AI: 우리가 일상생활이나 업무에서 AI 를 믿고 사용할 수 있는 기반을 마련해 줍니다.

한 줄 요약:

"기존 시험지는 AI 가 편하게 점수만 따게 했다면, SimpleQA Verified는 AI 가 진짜로 지식을 가지고 있는지, 공정하고 엄격한 감시관이 감독하는 새로운 시험지입니다."

이 새로운 시험지를 통해 AI 는 더 똑똑하고, 더 신뢰할 수 있는 친구가 되어갈 것입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 사실성 (Factuality) 평가는 AI 시스템의 신뢰성과 기업용 적용에 필수적입니다. 기존 벤치마크인 SimpleQA(OpenAI, 2024) 는 단형식 (short-form) 질문 응답을 통해 모델의 내부 파라미터 지식 (Parametric Knowledge) 을 평가하는 산업 표준으로 자리 잡았으나, 다음과 같은 심각한 한계점을 안고 있었습니다:

• 노이즈가 많은 레이블 및 잘못된 정답: 인간 평가자의 편향으로 인해 잘못된 Ground Truth(정답) 가 포함됨.
• 주제 및 형식 편향: 특정 주제 (예: 과학/기술) 나 질문 형식에 과도하게 치우쳐 있음.
• 중복성: 의미론적으로 유사하거나 어휘가 겹치는 질문이 다수 존재하여 모델이 벤치마크의 특정 특징에 과적합 (Overfitting) 할 우려가 있음.
• 신뢰성 저하: 이러한 문제들은 모델의 사실적 회상 능력 향상인지, 아니면 벤치마크의 결함에 적응한 것인지 구분하기 어렵게 만듦.

2. 방법론 (Methodology)

저자들은 원본 SimpleQA 데이터셋 (4,326 개 질문) 을 1,000 개의 질문으로 정제하여 SimpleQA Verified를 구축했습니다. 이 과정은 다음과 같은 엄격한 다단계 필터링 및 정제 과정을 거쳤습니다:

1. 고유 소스 문서 보장 (Unique Source Documents): 각 질문이 서로 다른 참조 URL 을 갖도록 필터링하여 평가자의 편향을 제거했습니다. (4,326 → 3,095 개)
2. 유사 질문 제거 (De-duplication):
   • 임베딩 기반: Gemini 임베딩을 사용하여 코사인 유사도 0.77 이상인 질문을 제거.
   • TF-IDF 기반: 단어 매칭을 기반으로 유사도 0.4 이상인 질문을 수동 검토 후 제거.
   • (3,095 → 2,664 개)
3. 웹 발행자 정책 존중 (Respecting Web Publisher Choices): robots.txt 등을 통해 AI 크롤링을 거부한 사이트의 URL 이 포함된 질문을 제거하여 윤리적 기준을 준수했습니다. (2,664 → 1,855 개)
4. 다양성 확보 (Diversity): 답변 유형 (날짜, 숫자, 이름 등) 과 주제 (과학, 예술, 스포츠 등) 의 분포를 균등하게 재조정하여 편향을 해소했습니다. (1,855 → 1,218 개)
5. 상충하는 소스 조정 (Reconciliation of Conflicting Sources):
   • 비수치형: 모호하거나 소스가 상충하는 질문 제거.
   • 수치형: 소스 간 오차 범위 (Ground Truth 대비 5% 이내) 를 검증하여 일관된 정답을 확보했습니다. (1,218 → 1,073 개)
6. 벤치마크 난이도 유지 (Increasing Benchmark Headroom): 최신 최첨단 모델들이 모두 정답을 맞출 수 있는 쉬운 질문을 제거하여, 모델 간 성능 차이를 명확히 구분할 수 있는 난이도를 유지했습니다. (1,073 → 1,000 개)
7. 자동 평가자 (Autorater) 개선:
   • 수치 답변 범위 명시: 정답을 단일 숫자가 아닌 허용 오차 범위 (예: 8,282 ±5%) 로 정의하여 근사치 평가의 정확도를 높였습니다.
   • 회피 (Hedging) 및 불확실성 처리: 모델이 정답을 확신하지 못하거나 여러 후보를 제시할 경우 '시도하지 않음 (Not Attempted)'으로 처리하는 가이드라인을 명확화했습니다.

3. 주요 기여 (Key Contributions)

• 고신뢰성 벤치마크 구축: 노이즈, 편향, 중복을 제거한 1,000 개의 정제된 질문셋 (SimpleQA Verified) 을 공개했습니다.
• 정교한 평가 프로토콜: 수치 답변에 대한 오차 범위 허용 및 자동 평가자의 프롬프트를 개선하여, 모델의 실제 사실성 회상 능력을 더 정확하게 측정할 수 있는 도구를 마련했습니다.
• 오픈 소스 및 리더보드: Kaggle 을 통해 데이터셋, 평가 코드, 리더보드를 공개하여 연구 커뮤니티의 투명한 비교 평가를 가능하게 했습니다.

4. 결과 (Results)

최신 최첨단 모델들을 SimpleQA Verified 에서 평가한 결과는 다음과 같습니다:

• 성능 리더: Gemini 2.5 Pro가 F1-Score **55.6%**를 기록하여 가장 높은 성능을 보였습니다.
• 경쟁 모델 비교:
  • GPT-5: 52.3% (Gemini 2.5 Pro 다음으로 높음)
  • o3: 51.9%
  • GPT-4.1: 39.9%
  • Claude Opus 4: 28.3% (기존 SimpleQA 대비 성능 저하가 두드러짐)
• 벤치마크의 차별화 능력: 많은 모델들이 기존 SimpleQA 보다 SimpleQA Verified 에서 더 낮은 점수를 받거나, 성능 차이가 뚜렷하게 드러났습니다. 이는 정제된 벤치마크가 모델의 실제 능력을 더 엄격하게 검증함을 의미합니다.
• 도구 사용 금지: 검색 도구 등을 사용하지 않은 상태 (Parametric Knowledge only) 에서 평가되었으며, 도구 사용 시 성능이 거의 완벽해지므로 본 벤치마크는 모델의 내재적 지식 평가에 적합함을 확인했습니다.

5. 의의 (Significance)

• 할루시네이션 (Hallucination) 완화: 모델이 사실에 기반한 답변을 생성하는 능력을 정밀하게 측정함으로써, 신뢰할 수 있는 AI 시스템 개발을 가속화합니다.
• 과적합 방지: 벤치마크의 결함에 적응하는 것이 아닌, 진정한 사실성 지식 향상을 유도합니다.
• 연구 표준 제시: 단순한 점수 비교를 넘어, 모델의 지식 품질과 평가 방법론의 신뢰성을 높이는 새로운 표준을 제시하여 AI 사실성 평가 연구의 방향을 제시합니다.

이 논문은 AI 모델의 사실성 평가에 있어 데이터의 품질과 평가 프로세스의 엄격함이 얼마나 중요한지를 보여주며, Gemini 2.5 Pro가 현재 가장 사실적인 지식을 보유한 모델 중 하나임을 입증했습니다.