Mapping Overlaps in Benchmarks through Perplexity in the Wild

이 논문은 다양한 LLM 과 벤치마크의 성능 상관관계를 넘어, 실제 데이터의 토큰 퍼플렉시티를 기반으로 벤치마크 간의 중첩과 용량 요구 사항을 정밀하게 분석하는 '벤치마크 시그니처'를 제안하여 벤치마크 유효성과 LLM 능력의 지리적 구조에 대한 새로운 통찰을 제공합니다.

핵심

이 논문은 **"AI(거대 언어 모델) 를 평가하는 시험지들이 실제로 얼마나 중복되고, 서로 어떻게 연결되어 있는지"**를 새로운 방식으로 분석한 연구입니다.

기존의 방식은 "시험지 A 와 B 의 점수가 비슷하면 두 시험지는 같은 능력을 측정한다"라고 생각했지만, 이 논문은 **"시험지 자체의 문제 내용 (문장) 이 아니라, AI 가 그 문제를 풀 때 '어떤 단어들을 보고 얼마나 당황했는지'를 분석"**하여 더 정확한 지도를 그렸습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 아이디어: "AI 의 당황스러움 (Perplexity) 을 지도로 만들기"

비유: 요리사와 레시피
생각해 보세요. 어떤 요리사 (AI) 가 '한국 김치찌개'를 잘 만드는지, '이탈리아 파스타'를 잘 만드는지 평가한다고 칩시다.

• 기존 방식 (점수 비교): 요리사가 두 요리를 다 잘 만들면, "아, 이 요리사는 '요리'라는 큰 능력을 다 갖췄구나"라고 생각합니다. 하지만 사실은 두 요리가 모두 '마늘'과 '양파'를 많이 써서, 요리사가 마늘과 양파를 다루는 능력만 뛰어난 것일 수도 있습니다.
• 이 논문의 방식 (시그니처 분석): 우리는 요리사가 레시피를 읽을 때 어떤 순간에 가장 당황하는지 (어떤 재료가 나오면 멈칫하는지) 를 관찰합니다.
  • 김치찌개 레시피를 읽을 때 '고춧가루'나 '김치'라는 단어가 나오면 요리사가 아주 잘 읽지만, '파스타' 레시피를 읽을 때 '바질'이나 '오레가노'가 나오면 당황합니다.
  • 반대로, '논리' 문제를 풀 때 '만약 ~라면'이라는 문장이 나오면 당황하지만, '수학' 문제에서는 '더하기' 기호를 보면 당황합니다.

이 논문의 저자들은 수백 개의 시험지 (벤치마크) 를 풀기 위해 AI 가 훈련받은 거대한 책장 (인터넷 데이터) 을 뒤져서, AI 가 각 시험지와 가장 밀접하게 연결된 '특징 단어 (시그니처)'들을 찾아냈습니다.

2. 세 가지 분석 단계: 겉모습 vs 속내

이 논문은 시험지들의 관계를 세 가지 층위에서 비교했습니다.

1. 겉모습 (의미적 유사성): 두 시험지의 문제가 문장 구조나 주제어가 비슷할까요?
   • 결과: 비슷해 보이지만, 실제로는 큰 차이가 없었습니다. (예: "역사 문제"와 "과학 문제"가 문장 구조만 보면 비슷할 수 있음)
2. 점수 (성능 상관관계): AI 가 두 시험지에서 점수가 비슷하게 나왔을까요?
   • 결과: 점수는 거의 항상 비슷했습니다. 하지만 이건 함정입니다. AI 가 점수를 잘 받는 이유가 '실제 능력' 때문이 아니라, **시험 문제의 형식 (예: 객관식 vs O/X)**이나 학습 데이터의 오염 때문일 수 있기 때문입니다.
3. 시그니처 (이 논문의 핵심): AI 가 문제를 풀 때, 인터넷 데이터의 어떤 단어들을 가장 많이 접했기에 그 문제를 잘 풀었을까요?
   • 결과: 이것이 가장 정확한 지도였습니다. 겉모습이나 점수로는 알 수 없던 숨겨진 연결고리를 찾아냈습니다.

3. 놀라운 발견: "코딩은 고립된 섬, 논리와 수학은 친구"

이 시그니처 분석을 통해 AI 의 능력 지도를 그려보니 놀라운 사실이 드러났습니다.

• 논리와 수학은 뗄 수 없는 친구: 우리가 생각하듯 논리 문제와 수학 문제는 서로 겹치는 부분이 많았습니다. (논리력이 수학 풀이에 필요하니까요)
• 코딩은 외로운 섬: 코딩 능력은 다른 능력 (논리, 언어, 수학 등) 과는 거의 겹치지 않았습니다. 코딩은 GitHub 같은 특수한 데이터로만 훈련된 '전문가' 같은 능력인 반면, 다른 능력들은 서로 얽혀 있다는 뜻입니다.
• 문화/인문학은 각자 고유의 세계: 역사, 예술, 문화 관련 시험지들은 서로가 서로와 거의 겹치지 않았습니다. 각자 고유한 문화적 배경을 필요로 하니까요.

4. 왜 이 연구가 중요한가요?

비유: "가짜 지도 vs 진짜 나침반"
지금까지 AI 연구자들은 "시험지 A 와 B 가 점수 상관관계가 높으니, A 를 만들면 B 는 필요 없다"라고 생각했습니다. 하지만 이 논리는 **"시험 문제의 형식 (객관식 등) 이 비슷해서 점수가 비슷해진 것"**일 뿐, 실제 능력은 다를 수 있다는 것을 간과했습니다.

이 논문은 **"시그니처"**라는 나침반을 통해 다음과 같은 것을 알려줍니다.

• 진짜 중복 찾기: 겉보기엔 다른 시험지라도, AI 가 풀 때 사용하는 '단어 패턴'이 같다면 실제로는 같은 능력을 측정하는 중복된 시험지입니다.
• 비밀스러운 연결: '지시어 따르기 (Instruction Following)' 능력이 '논리' 문제 풀이에 얼마나 큰 영향을 미치는지 등, 우리가 몰랐던 능력들의 연결고리를 발견했습니다.
• 새로운 시험지 만들기: 이제 우리는 "어떤 능력이 부족한지"를 정확히 파악하고, 그 능력을 측정하는 새롭고 독특한 시험지를 만들 수 있게 되었습니다.

요약

이 논문은 **"AI 가 시험지를 풀 때, 인터넷의 어떤 단어들을 보고 가장 잘 반응하는지 분석하여, AI 의 능력 지도를 다시 그렸다"**는 것입니다.

기존의 "점수 비교"나 "문제 내용 비교"는 AI 의 능력을 제대로 보여주지 못했지만, **"AI 의 당황스러움 (Perplexity) 을 분석한 시그니처"**는 AI 의 진짜 능력 구조와 시험지들의 중복 여부를 훨씬 더 정확하게, 그리고 놀라운 통찰로 보여줍니다.

이제 우리는 AI 를 평가할 때, **"이 시험지가 AI 의 어떤 '내면의 단어'를 건드리고 있는지"**를 보며 더 똑똑하게 평가할 수 있게 되었습니다.

기술 요약

이 논문은 대규모 언어 모델 (LLM) 의 벤치마크 평가 체계에서 발생하는 중복성 (Overlap) 문제를 해결하고, 벤치마크 간의 관계를 더 정밀하게 분석하기 위한 새로운 방법론인 **"벤치마크 시그니처 (Benchmark Signatures)"**를 제안합니다. ICLR 2026 에 제출된 이 연구는 32 개의 LLM 과 89 개의 다양한 벤치마크를 대상으로 메타 평가 (meta-evaluation) 를 수행했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

LLM 연구 분야는 벤치마크의 급격한 증가로 인해 "벤치마크 포화 (Benchmark Saturation)" 상태에 이르렀습니다. 매년 수천 개의 새로운 벤치마크가 등장하지만, 이들이 실제로 서로 다른 능력을 측정하는지, 아니면 기존에 검증된 능력을 단순히 다른 형식으로 재현하거나 겹치는지 명확하지 않습니다.
기존의 벤치마크 간 중복성 분석은 주로 두 가지 방식에 의존했습니다:

• 의미적 유사성 (Semantic Overlap): 질문 텍스트의 임베딩 유사도를 측정.
• 성능 상관관계 (Performance Overlap): 모델들이 두 벤치마크에서 보이는 점수 간의 상관관계.

하지만 저자들은 의미적 유사성은 표면적인 유사성만 포착할 뿐이며, 성능 상관관계는 질문 형식 (예: 객관식 vs 참/거짓) 이나 벤치마크 패밀리의 편향 (Bias) 에 의해 왜곡될 수 있다고 지적합니다. 즉, 실제 모델의 능력 (Capacity) 과 벤치마크 간의 본질적인 관계를 파악하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 **"벤치마크 시그니처"**라는 새로운 개념을 도입하여 이 문제를 해결했습니다.

• 정의: 벤치마크 시그니처는 대규모 **실제 자연어 데이터 (In-the-wild Corpora)**에서 추출된 **중요한 토큰 (Salient Tokens)**의 집합입니다. 이 토큰들에 대한 모델의 **Perplexity(불확실성)**가 해당 벤치마크에서의 모델 성능을 예측할 수 있을 때, 이 토큰 집합을 시그니처라고 정의합니다.
• 핵심 아이디어: 벤치마크가 측정하는 능력 (상식, 사실적 기억, 추론 등) 은 모델이 훈련 과정에서 접한 실제 자연어 데이터의 분포에서 비롯됩니다. 따라서 모델이 실제 데이터에서 특정 토큰을 얼마나 잘 예측하는지 (Perplexity) 를 분석하면, 해당 벤치마크가 어떤 능력에 의존하는지 그 "지문 (Fingerprint)"을 찾을 수 있습니다.
• 추출 알고리즘 (2 단계 접근):
  1. Thrush 상관관계 기반 선별 (Screening): 수백억 개의 토큰 중에서 벤치마크 성능과 상관관계가 높은 토큰을 선별합니다. (초고차원 데이터 처리를 위해 Sure Independence Screening 개념 적용).
  2. AIC 기반 순방향 선택 (Forward Selection): 선별된 토큰 집합에서 Akaike Information Criterion (AIC) 을 사용하여 과적합을 방지하면서 가장 예측력이 높은 토큰 서브셋을 최종 시그니처로 도출합니다.

3. 주요 기여 (Key Contributions)

1. 3 단계 중첩 분석 프레임워크: 벤치마크 관계를 의미적 (Semantic), 성능적 (Performance), 시그니처 (Signature) 세 가지 수준에서 체계적으로 비교 분석하는 프레임워크를 제시했습니다.
2. 시그니처 추출 파이프라인 개발: 실제 자연어 데이터에서 토큰 수준의 Perplexity 통계를 마이닝하여, 벤치마크별 고유한 시그니처를 추출하는 자동화 프로세스를 구축했습니다.
3. 예상치 못한 벤치마크 중복성 발견:
   • 논리 (Logic) 와 수학 (Math) 벤치마크는 높은 중첩을 보이지만, 이는 인간 직관과 일치합니다.
   • 반면, 코드 (Coding) 벤치마크는 다른 기능 (수학, 논리, 언어 등) 과 거의 고립되어 있으며, 오직 '누락된 정보 감지' 능력과만 moderate 한 상호작용을 보입니다.
   • 지식 (Knowledge) 벤치마크 시그니처는 실제 지식 내용과 일치하지만, **추론 (Reasoning)**이나 **지시 따르기 (Instruction Following)**와 같은 메타 능력 벤치마크의 시그니처는 의도된 기능과 일치하지 않는 경우가 많아, 모델이 실제 추론 능력보다는 지시 문장 처리나 형식적 패턴에 의존하고 있음을 시사합니다.

4. 실험 결과 (Results)

• 시그니처의 차별력: 시그니처 기반의 중첩 분석은 의미적 유사성이나 성능 상관관계보다 훨씬 뛰어난 **구별 능력 (Discriminative Ability)**을 보여주었습니다.
  • 의미적 유사성: 모든 벤치마크 쌍이 좁은 범위 (0.1~0.4) 의 유사성을 보여 구분이 어렵습니다.
  • 성능 상관관계: 벤치마크 패밀리 (예: MMLU 내) 나 질문 형식 (객관식 vs 참/거짓) 에 따라 인위적으로 높은 상관관계가 나타나는 편향이 발견되었습니다.
  • 시그니처: 질문 형식이나 벤치마크 패밀리와 무관하게, 실제 능력의 중첩 구조를 명확하게 드러냈습니다.
• 편향 해결: 성능 기반 분석에서 관찰되던 "질문 형식 편향"은 시그니처 분석에서는 사라졌습니다. 이는 시그니처가 모델의 표면적 행동이 아닌, 훈련 데이터 노출 (Exposure) 과 능력 획득의 본질적인 관계를 포착했기 때문입니다.
• 인간 개념과의 괴리: 지식 벤치마크의 시그니처는 실제 지식과 잘 일치하지만, 추론이나 논리 벤치마크의 시그니처는 인간의 개념적 구조와 다르게 모델이 통계적 공발생 (Statistical Co-occurrence) 에 의존하고 있음을 보여줍니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 벤치마크 생태계의 **유효성 (Validity)**을 재평가하는 도구를 제공합니다.

• 벤치마크 알제브라 (Benchmark Algebra): 벤치마크를 분해하고 재조합하여 중복성을 제거하거나, 새로운 능력을 측정하기 위한 벤치마크를 설계하는 데 활용 가능한 이론적 기반을 마련했습니다.
• 모델 민감도 이해: 모델이 어떤 능력에 대해 얼마나 민감하게 반응하는지, 그리고 벤치마크가 실제로 무엇을 측정하고 있는지 (예: 논리력 측정인지, 지시 따르기 능력 측정인지) 를 명확히 합니다.
• 미래 방향: 시그니처 분석을 통해 발견된 능력 간 간극 (Gap) 을 메우기 위한 새로운 벤치마크 개발이나, 모델의 취약점 (Failure Modes) 을 파악하는 진단 도구로 활용될 수 있습니다.

요약하자면, 이 논문은 실제 자연어 데이터의 Perplexity 패턴을 통해 벤치마크의 '지문'을 추출함으로써, 기존 방법론이 놓쳤던 벤치마크 간의 본질적인 중첩과 편향을 발견하고, 더 건전한 LLM 평가 체계를 구축할 수 있음을 증명했습니다.