Are Large Language Models Truly Smarter Than Humans?

본 논문은 공개 리더보드에서 인간을 능가하는 것으로 보이는 대형 언어 모델들의 실제 성능이 훈련 데이터와 평가 데이터 간의 중첩 (데이터 오염) 으로 인해 과장되었을 가능성을, 6 개 최첨단 모델에 대한 다각도의 오염 감지 실험을 통해 규명하고 있습니다.

핵심

🕵️‍♂️ 핵심 비유: "시험지 훔쳐보기 vs 진짜 실력"

상상해 보세요. 어떤 학생이 시험을 치르러 갔는데, 시험지 전체를 미리 보고 답을 외워갔다면 그 학생은 100 점 만점을 받을 수 있습니다. 하지만 그 학생이 정말로 그 지식을 이해하고 있는 걸까요? 아니면 단순히 암기만 한 걸까요?

이 논문은 AI 들이 바로 그런 '미리 시험지를 훔쳐본 학생'일 가능성을 강력하게 지적합니다.

🔍 저자들이 한 세 가지 실험 (검사 방법)

저자들은 6 개의 최신 AI 모델 (GPT-4o, DeepSeek 등) 을 대상으로 세 가지 다른 방식으로 검사를 했습니다.

1. 실험 1: "인터넷에 시험지가 떠돌아다니는가?" (외부 검색)

• 방법: AI 가 학습한 데이터에 실제 시험 문제 (MMLU) 가 그대로 올라와 있는지 인터넷 검색을 통해 확인했습니다.
• 결과: 놀랍게도 **전체 문제의 약 14%**가 인터넷에 이미 떠돌아다니고 있었습니다. 특히 과학 (STEM) 과 철학 분야에서 이 비율이 훨씬 높았습니다 (철학은 무려 67% 까지!).
• 비유: "시험지가 교실 밖 (인터넷) 에 구석구석 붙어 있어서, 학생들이 시험 전에 다 보고 왔을 가능성이 매우 높다"는 뜻입니다.

2. 실험 2: "문장을 살짝 바꿔보면 어떨까?" (표면적 변화)

• 방법: 같은 의미지만 단어를 살짝 바꾸거나 질문 방식을 돌려서 AI 에게 다시 물어봤습니다. (예: "법률가" 대신 "법을 연구하는 사람"이라고 표현)
• 결과: AI 들은 문장이 조금만 바뀌어도 정답을 못 맞추는 경우가 많았습니다. 특히 법률이나 윤리 분야에서는 점수가 20% 가까이 떨어졌습니다.
• 비유: "시험지를 그대로 외운 학생은, 문제가 조금만 다르게 쓰여도 당황해서 틀립니다. 하지만 진짜로 개념을 이해한 학생은 wording 이 달라도 같은 답을 맞힙니다." AI 들은 대부분 전자였습니다.

3. 실험 3: "머릿속에 시험지가 남아있는가?" (행동 분석)

• 방법: AI 가 문제를 풀 때, 잘못된 보기 (오답) 의 내용을 다시 말해달라거나 질문의 핵심 단어를 지워달라고 요청했습니다. 만약 AI 가 그 오답의 정확한 문장을 기억하고 있다면, 그것은 '암기'한 것입니다.
• 결과: 질문 10 개 중 7 개 이상에서 AI 가 오답의 내용을 기억하고 있었습니다.
• 특이한 발견: 'DeepSeek-R1'이라는 모델은 정답을 그대로 외우진 않았지만, 오답의 의미와 구조는 완벽하게 기억하고 있었습니다. 마치 "정답은 A 가 아니야, B 가 틀렸어"는 건 기억하지만, "B 가 왜 틀렸는지"는 문장 그대로는 못 외우는 상태였습니다.

---

💡 이 논문이 말하려는 결론

1. 점수는 과장되었습니다: AI 가 시험에서 높은 점수를 받은 것은 '지식' 때문이 아니라, '미리 문제를 보고 외운 것' 때문일 가능성이 매우 큽니다.
2. 실제 상황에서는 무너집니다: 인터넷에 떠도는 문제와 똑같은 질문만 하면 잘 맞히지만, 조금만 상황이 달라지거나 (실제 법률 판례나 의료 상황처럼) 질문을 다르게 하면 AI 는 엉뚱한 답을 하거나 헛소리 (할루시네이션) 를 합니다.
3. 우리는 속고 있습니다: "AI 가 인간보다 똑똑하다"는 뉴스는, AI 가 시험지를 미리 보고 본 시험 결과일 뿐, 진짜 지능을 측정한 것이 아닐 수 있습니다.

🚨 우리가 무엇을 해야 할까?

이 논문의 저자들은 다음과 같이 제안합니다:

• AI 회사들은 솔직해야 합니다: "우리 AI 는 이 시험에서 90 점 맞았습니다"라고 할 때, "그 시험 문제를 미리 봤을 가능성이 14% 입니다"라고 함께 알려야 합니다.
• 새로운 시험이 필요합니다: 더 이상 공개된 시험지를 쓰지 말고, AI 가 절대 볼 수 없는 새로운 문제로 시험을 치러야 진짜 실력을 알 수 있습니다.
• 신중하게 믿어야 합니다: 법률, 의료 등 중요한 분야에서 AI 를 쓸 때는 "시험 점수"만 믿지 말고, 실제 상황에 얼마나 잘 적응하는지 다시 검증해야 합니다.

한 줄 요약:

"AI 가 인간보다 똑똑하다는 건, 시험지를 미리 보고 답을 외운 학생이 100 점 받은 것과 다를 바 없습니다. 진짜 실력을 보려면 새로운 시험을 치러야 합니다."

기술 요약

논문 개요

이 논문은 현재 대형 언어 모델 (LLM) 이 인간 전문가를 능가한다는 주장이 주로 공개된 벤치마크 (MMLU 등) 의 점수에 기반하고 있지만, 이러한 점수가 실제 일반화 능력 (Generalization) 이 아닌 **벤치마크 데이터의 학습 (Contamination/Memorization)**에 기인할 가능성을 규명하기 위해 작성되었습니다. 저자는 6 개의 최첨단 모델 (GPT-4o, GPT-4o-mini, DeepSeek-R1, DeepSeek-V3, Llama-3.3-70B, Qwen3-235B) 을 대상으로 3 가지 상호 보완적인 실험을 수행하여 벤치마크 오염의 보편성과 구조적 특성을 입증했습니다.

1. 문제 정의 (Problem)

• 벤치마크 오염 (Benchmark Contamination): LLM 의 학습 데이터에 평가용 벤치마크 질문이나 그 변형이 포함되어 있는 경우, 모델은 실제 추론 능력이 아닌 '암기'나 '패턴 완성'을 통해 높은 점수를 획득합니다.
• 지능의 오인: 이러한 오염된 점수는 모델이 인간 수준의 지능을 갖췄거나 특정 분야 (법, 의학, 프로그래밍) 에서 전문가를 능가한다는 오해를 초래합니다.
• 검증의 부재: 기존 리더보드는 공개된 데이터를 사용하므로, 모델이 시험 문제를 '보았는지' 여부를 독립적으로 검증하기 어렵습니다.

2. 방법론 (Methodology)

저자는 공개 API 와 오픈 벤치마크 (MMLU) 만을 사용하여 3 가지 실험을 설계했습니다.

• 실험 1: 어휘적 오염 탐지 (Lexical Contamination Detection)

  • 방법: MMLU 의 57 개 과목 중 513 개의 질문을 샘플링하여 Tavily 웹 검색을 수행했습니다.
  • 기준: 질문의 8-그램 (8-gram) 중 30% 이상이 웹 결과에 매칭되고 정답이 포함된 경우 '오염'으로 간주했습니다.
  • 지표: 오염률 (Contamination Rate) 과 오염으로 인한 추정 성능 향상분 (Estimated Performance Gain, EPG) 을 계산했습니다.

• 실험 2: 문장 변형 및 간접 참조 진단 (Paraphrase and Indirect-Reference Diagnostic)

  • 방법: 6 개 과목 (법, 윤리, CS 등) 의 100 개 질문에 대해 두 가지 변형을 생성했습니다.
    1. Paraphrased: 동일한 지식 요구사항을 유지하되 문장을 완전히 다르게 재구성.
    2. Indirect-Reference: 핵심 주체 (Entity) 를 직접 언급하지 않고 속성이나 사건으로 간접적으로 묘사.
  • 목표: 모델이 표면적 문장 패턴 (Surface Pattern) 에 의존하는지, 실제 지식을 활용하는지 확인하기 위해 원본 대비 정확도 하락폭을 측정했습니다.

• 실험 3: TS-Guessing 행동적 오염 프로브 (Behavioral Contamination Probe)

  • 방법: 외부 데이터 없이 모델 내부의 기억 상태를 직접 테스트하는 'TS-Guessing' 프로토콜을 적용했습니다.
    1. Option Mask (OM): 오답 중 하나의 보기를 가리고 원래 텍스트를 복원하도록 요청.
    2. Word Mask (WM): 질문 문장 내 핵심 단어를 가리고 복원하도록 요청.
  • 기준: 무작위 확률보다 훨씬 높은 복원률 (Partial/Exact Match) 을 보이면 암기된 것으로 간주합니다.

3. 주요 기여 (Key Contributions)

1. 다중 방법론적 검증 (Multi-method Audit): 외부 웹 검색 (Exp 1), 행동적 정확도 하락 (Exp 2), 내부 기억 복원 (Exp 3) 을 결합하여 오염 현상을 입체적으로 증명했습니다.
2. DeepSeek-R1 의 특이 현상 규명: 다른 모델들과 달리 DeepSeek-R1 은 정확한 텍스트 복원은 못 하지만 (0%), 개념적 구조는 부분적으로 복원 (76.6%) 하는 '분산된 암기 (Distributed Memorization)' 패턴을 보임을 발견하고, 이것이 실험 2 에서의 이상적인 성능 패턴 (낮은 베이스라인, 낮은 문장 변화 민감도) 을 설명함을 규명했습니다.
3. 과목별 오염 구조 분석: STEM 과목이 가장 오염이 심하며, 이는 세 가지 실험 모두에서 일관되게 나타남을 입증했습니다.

4. 주요 결과 (Key Results)

• 실험 1 결과 (오염률):

  • 전체 MMLU 샘플의 **13.8%**가 오염된 것으로 확인되었습니다.
  • STEM 과목이 18.1% 로 가장 높았으며, 철학 (Philosophy) 과목은 **66.7%**에 달했습니다.
  • 오염으로 인한 추정 성능 향상분 (EPG) 은 과목별로 +0.030~+0.054 포인트로, 이를 보정하면 모델과 인간 전문가 간의 격차가 크게 축소됩니다.

• 실험 2 결과 (문장 변화 민감도):

  • 모든 모델에서 간접 참조 (Indirect-Reference) 질문으로 변경 시 평균 7.0%p의 정확도 하락이 발생했습니다.
  • **법 (Law)**과 윤리 (Ethics) 분야에서 가장 큰 하락 (19.8%p) 을 보였으며, 이는 실험 1 에서 높은 오염률을 보인 과목과 정확히 일치합니다.
  • DeepSeek-R1은 낮은 초기 정확도 (0.292) 를 보였으나 문장 변화에 따른 하락폭이 매우 작아 (-0.032), 표면적 암기가 아닌 개념적 암기에 의존함을 시사했습니다.

• 실험 3 결과 (내부 기억):

  • 6 개 모델 모두에서 **72.5%**의 질문이 무작위 확률보다 훨씬 높은 암기 신호를 보였습니다.
  • DeepSeek-R1은 오답 보기의 76.6% 를 부분적으로 복원했으나 정확한 텍스트 복원 (Exact Match) 은 0% 였습니다. 이는 모델이 질문의 '의미 구조'는 기억했으나 '표면 형식'은 기억하지 못했음을 의미합니다.
  • STEM 과목이 모든 모델에서 가장 높은 오염률 (평균 55.9%) 을 보였습니다.

5. 의의 및 시사점 (Significance)

• 벤치마크 점수의 재해석: 현재 LLM 의 높은 벤치마크 점수는 상당 부분 '시험 문제 암기'에 기인한 것으로, 실제 일반화 지능을 과장하여 보고할 가능성이 높습니다.
• 과목별 편향: 오염은 무작위가 아니며, STEM > 전문직 > 사회과학 > 인문학 순으로 심각합니다. 이는 인터넷에 공개된 자료 (강의 노트, 해설집 등) 의 양과 밀접한 관련이 있습니다.
• 실무적 위험 (법/의학): 법과 윤리 분야에서 문장 변화에 따른 정확도 급락은, 모델이 실제 법률 판례나 임상 지침을 유연하게 적용하지 못하고 특정 질문 형식에만 반응함을 의미합니다. 이는 고위험 분야 (High-stakes) 에 모델 배포 시 치명적인 오류 (할루시네이션) 로 이어질 수 있습니다.
• 규제 및 정책 제안:
  • 모델 제공자는 오염 분석 결과를 공개해야 합니다.
  • 규제 기관은 학습 데이터에 포함되지 않은 비공개 벤치마크나 문장 변형 테스트를 필수 평가 항목으로 도입해야 합니다.
  • 단순한 점수 보고보다는 '오염 보정 점수'와 '행동적 검증'을 포함한 평가 프로토콜이 필요합니다.

결론

이 논문은 "LLM 이 인간보다 똑똑한가, 아니면 단순히 시험 문제를 보았는가?"라는 질문에 대해, 현재의 벤치마크 관행으로는 답을 내기 어렵고, 상당 부분이 암기에 기반한 것임이 강력하게 의심된다는 결론을 내립니다. 3 가지 독립적인 실험이 일관되게 오염의 보편성과 구조적 편향을 입증했으므로, 향후 AI 평가는 오염을 배제하고 표면적 패턴에 의존하지 않는 새로운 기준이 마련되어야 합니다.