🤖 AI

Knowledge Index of Noah's Ark

이 논문은 대표성을 위해 탐욕적 근사법(greedy approximation)을 사용하고 주석 품질을 위해 보너스 온 바(bonus-on-bar) 토너먼트를 채택하여 261개 학문에 걸쳐 899개 항목으로 구성된 엄격하게 설계된 지식 벤치마크인 KINA를 소개하며, 포화 상태 미만에서 상당한 개선 여지가 있음을 보여주는 42개 선도 모델 간의 계층적 성능 지형을 밝힌다.

원저자: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang

게시일 2026-06-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sheng Jin, Minghao Liu, Yunze Xiao, Zeqi Zhou, Heli Qi, Yifan Yao, Meishu Song, Kaijing Ma, Xuan Zhang, Sicong Jiang, Yizhe Li, Ningshan Ma, Jie Wei, Ziniu Li, Minglai Yang, Bangya Liu, Yiming Liang, Xiao Fang, Qingcheng Zeng, Jiarui Liu, Rui Yang, Shen Yan, Wenhao Huang, Jiaheng Liu, Zihan Wang, Weihao Xuan, Ge Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생들의 지능을 테스트하고 싶다고 가정해 봅시다. 하지만 일반적인 수학 시험을 치르는 대신, 그들이 공학부터 생소한 역사에 이르기까지 261개의 서로 다른 주제의 '본질'을 진정으로 이해하고 있는지 확인하고 싶어 합니다.

이 논문은 대규모 언어 모델(AI)을 테스트하기 위해 설계된 새롭고 매우 정교한 "시험"인 KINA(Knowledge Index of Noah's Ark, 노아의 방주 지식 지표)를 소개합니다. 저자들은 기존의 시험들이 세 가지 주요 측면에서 결함이 있다고 주장합니다: 너무 광범위하여 공정하지 못했고, 검토자들에게 보상이 너무 적어 성의가 부족했으며, 결과가 너무 불안정하여 신뢰하기 어렵다는 점입니다. KINA는 새로운 설계를 통해 이 문제들을 해결합니다.

KINA의 작동 원리를 쉬운 비유를 통해 설명하면 다음과 같습니다.

1. 문제점: "게으른 설문조사" vs "전문가의 지도"

기존 방식: 대륙을 지도화하려고 할 때, 벽에 다트를 던져서 어디에 맞는지 확인하는 것과 같습니다. 기존의 AI 테스트는 이와 같았습니다. 그들은 도처에서 수천 개의 질문을 무작위로 가져왔습니다. 때로는 깊고 중요한 개념을 건드리기도 했지만, 어떤 때는 사소한 사실만을 건드렸습니다. 그 결과는 AI가 실제로 어느 부분이 약한지를 보여주지 못하는 엉망진창인 지도였습니다.
KINA 방식: 저자들은 이 시험을 노아의 방주를 만드는 것처럼 다루었습니다. 그들은 단순히 무작위로 동물을 모은 것이 아니라, 261개의 특정 "학문 분야"(예: 아주 작은, 완벽한 생태계)를 대표할 수 있도록 정확히 899개의 항목을 신중하게 선정했습니다.

비유: 다트를 던지는 대신, 그들은 "탐욕적 선택(greedy selection)" 알고리즘을 사용했습니다. 배에 실을 수 있는 공간이 제한된 예산이라고 상상해 보세요. 당신은 숲의 가장 독특하고 중요한 부분을 대표할 수 있는 동물들을 골라야 합니다. KINA는 각 주제의 "앵커(닻)" 역할을 할 질문들을 선택하여, 시험이 단순히 쉬운 부분이 아니라 각 분야의 핵심을 다룰 수 있도록 보장합니다.

2. 문제점: "일정한 임금" vs "토너먼트"

기존 방식: 사람들을 고용해 이 시험을 채점하게 하면서, 그들이 얼마나 열심히 일하든 상관없이 채점지 하나당 10달러를 지급한다고 상상해 보세요. 합리적인 노동자라면 10달러를 받기 위해 최소한의 노력만 할 것이며, 이는 나쁜 질문들이 걸러지지 않고 통과되는 "게으른 합의"로 이어집니다.
KINA 방식: 저자들은 **"보너스 온 바(Bonus-on-Bar) 토너먼트"**를 도입했습니다.

비례: 두 명의 심사위원이 같은 질문을 채점한다고 가정해 봅시다. 두 사람 모두 기본 급여를 받지만, 엄격한 품질 기준을 통과한다는 전제하에 더 높은 점수를 준 사람만이 큰 보너스를 받습니다.
결과: 이는 더 주의 깊고 철저하게 작업하도록 만드는 경쟁을 유발합니다. 만약 심사위원이 게으르게 행동한다면, 그는 경쟁자에게 보너스를 놓치게 됩니다. 이 논문은 수학적으로 이 시스템이 기존의 "일정한 임금" 시스템보다 검토자들이 더 열심히 일하고 더 많은 오류를 잡아내도록 강제한다는 것을 증명합니다.

3. 문제점: "일회성 스냅샷" vs "안정적인 리더보드"

기존 방식: 만약 당신이 100개의 질문으로 AI를 테스트한다면, 점수 5점 차이는 운(예: 주사위 굴리기)일 수도 있습니다. 모델 A가 모델 B보다 정말로 더 나은지 확신할 수 없습니다.
KINA 방식: 저자들은 자신들의 결과에 대해 "스트레스 테스트"를 실시했습니다. 그들은 **부트스트래핑(bootstrapping)**이라는 통계 기법을 사용했습니다(리더보드의 사진을 찍은 뒤, 질문들을 섞어서 1,000장의 새로운 사진을 찍어 순위가 유지되는지 확인하는 것과 같습니다).

결과: 그들은 상위 순위는 매우 안정적(튼튼한 배처럼)이지만, 중간 순위는 흔들린다는 것을 발견했습니다. 그들은 중간 계층의 모델들 사이의 미세한 차이에 집착하지 말라고 경고합니다. 그 격차는 단지 노이즈(잡음)일 수 있기 때문입니다.

무엇을 발견했는가? (경주 결과)

그들은 이 새로운 시험으로 42개의 서로 다른 AI 모델을 테스트했습니다. 요약은 다음과 같습니다:

승자들: 가장 뛰어난 AI인 Gemini-3.1-Pro-Preview는 약 **53%**의 정답률을 기록했습니다. 그다음 두 모델(Claude와 GPT)이 약 50%로 근소한 차이로 뒤를 이었습니다.
격차: 가장 똑똑한 AI조차도 절반 가까운 질문에서 틀리고 있습니다. 이 시험은 아직 "정복"된 것이 아닙니다.
놀라운 점: 가장 똑똑한 AI들 사이의 가장 큰 차이는 수학이나 과학(모두 괜찮은 성적을 내는 분야)에서 나타나지 않았습니다. 진짜 승부처는 인문학 및 사회과학(역사, 사회학, 철학 등)이었습니다.
- 비유: 이것은 마치 모두가 포장된 도로(과학)에서는 빠르게 달리는 경주이지만, 진짜 승자는 누가 진흙투성이의 까다로운 숲길(인문학)을 헤쳐 나갈 수 있느냐에 의해 결정되는 것과 같습니다.
도구: AI에게 검색 엔진 접근 권한을 주는 것이 도움이 되었지만, 모든 경우에 동일하게 작용하지는 않았습니다. 검색은 약한 모델들이 기억의 공백을 메우는 데 도움을 주었고, 강한 모델들은 사실을 검증하는 데 도움을 주었지만, 이것이 마법처럼 모두를 완벽하게 만들지는 못했습니다.

핵심 요점

KINA는 단순히 더 어려운 시험이 아니라, 더 잘 설계된 시험입니다.

질문이 실제로 주제의 심장을 대표하도록 보장합니다.
검토자들이 정직하고 철저하게 일하도록 유도하는 방식으로 보상합니다.
일부 순위는 불안정하다는 점을 인정하며, 작은 차이를 과잉 해석하지 말라고 조언합니다.

논문은 AI가 점점 똑똑해지고 있지만, 특히 인간 문화와 역사의 복잡하고 미묘한 세계를 이해하는 데 있어 여전히 엄청난 "개선 여지(headroom)"가 남아 있다고 결론짓습니다.

기술 요약: 노아의 방주 지식 인덱스 (KINA)

문제 정의

현재의 대규모 언어 모델(LLM) 지식 벤치마크는 세 가지 주요 설계 결함을 가지고 있다:

학문적 대표성 결여: 기존 벤치마크는 항목의 수(수백 개의 하위 분야)나 난이도(연구 최전선 항목)를 확장하는 데는 치중하지만, 해당 항목이 실제로 학문의 핵심 이론적 축을 탐구하는지에 대한 공식화가 부족하다. 이는 학문적 역량의 불균형한 커버리지로 이어진다.
주석 작성(Annotation)의 유인 불일치: 대부분의 파이프라인은 항목당 고정 급여 방식을 사용하며, 이는 검토자들이 경계선에 있는 항목을 수용할 때 별도의 불이익이 없으므로 노력을 최소화하는 '게으른 합의(lazy consensus)'를 조장한다. 이는 결과적으로 주석의 품질 저하를 초래한다.
순위 불안정성: 컴팩트한 테스트 세트(약 $10^3$ 항목)는 비용 효율적이지만 변동성에 취약하다. 프런티어 모델 간의 미세한 성능 차이(예: 5점 차이)는 재표집(resampling) 과정에서 사라질 수 있음에도 불구하고, 벤치마크들은 순위 안정성 통계를 거의 보고하지 않아 인접한 순위에 대한 과잉 해석을 유발한다.

방법론

저자들은 두 가지 엄격한 이론적 보증과 정교한 구축 파이프라인을 기반으로 설계된, 261개의 세분화된 학문 분야를 아우르는 899개 항목의 벤치마크인 KINA(Knowledge Index of Noah's Ark)를 소개한다.

1. 이론적 보증

그리디 커버리지(Greedy Coverage)를 통한 대표성: 저자들은 학문적 대표성을 "예산 제약 하의 지지 중심성(budgeted support centrality)"으로 공식화한다. 도메인 전문가들은 앵커(방법론, 정리, 개념)의 컴팩트한 프로토타입 $\Sigma_d$ $Σ_{d}$ 를 추출한다. 각 항목은 이러한 앵커들에 대해 점수가 매겨지며, 선택 목적 함수 $F_d^{sp}(S)$ $F_{d}^{s p} (S)$ 는 커버리지를 극대화하도록 정의된다.
- 이론적 결과: 이 목적 함수는 **단조 부가성(monotone submodular)**임이 증명되었다. 따라서 카디널리티 제약 조건 하에서의 그리디 선택 알고리즘은 프록시 최적값(proxy optimum)에 대해 $(1 - 1/e)$ 근사치를 달성한다(Proposition 1). 저자들은 이것이 전역적인 인구 집단 대표성이 아닌, 프록시(운영적 커버리지)에 대한 보증임을 명시한다.
토너먼트를 통한 유인 정렬 주석: 고정 급여를 대체하기 위해, 저자들은 보너스 온 바(bonus-on-bar) 토너먼트를 구현했다. 두 명의 검토자가 각 항목을 평가하며, 검토자 중 더 높은 검증 점수를 받은 사람만이 임계값 $\tau$ $τ$ 를 넘었을 경우 보너스 $B$ $B$ 를 받는다.
- 이론적 결과: 노력 유도형 1차 확률 우위(FSD) 및 점수 노이즈 독립성, 단조 집계 가정을 바탕으로, 저자들은 이 메커니즘이 공개되는 리뷰 품질 측면에서 고정 급여 베이스라인을 **엄격하게 FSD 우위(FOSD-dominates)**를 점함을 증명한다(Theorem 1). 보너스에 대한 폐쇄형 조건은 $B > \Delta C / \Delta p_{min}$ 으로 도출된다 (여기서 $\Delta C$ 는 높은 노력의 비용, $\Delta p_{min}$ 은 승리 확률의 최소 이득이다).

2. 데이터 구축 파이프라인

파이프라인은 네 단계로 구성된다:

규칙 기반 스크리닝: 항목은 유니크니스 체크(코사인 유사도 < 0.8), LaTeX 포맷팅, 그리고 최소 5개의 플래그십 LLM 중 3개가 실패해야 한다는 난이도 필터를 통과해야 한다.
이중 맹검 전문가 검토: 대학원생 및 산업계 전문가들로 구성된 검토자들이 2라운드 시험을 통해 선발된다. 이들은 보너스 온 바 토너먼트 하에서 6가지 루브릭(대표성, 사실성 등)에 따라 항목을 점수 매기며, 담합을 방지하기 위해 확률적 감사(5~10% 항목)를 실시한다.
LLM-as-Judge 합의: 세 개의 독립적인 LLM 심판이 다차원적 특징(커버리지, 유니크니스, 영향력 등)에 따라 항목을 점수 매기고 실패 패턴을 분석한다. 다수결에 의해 채택 여부가 결정된다.
에이전트 기반 정교화: "진단 에이전트(Diagnosis Agent)"는 플래그가 지정된 항목에 대한 반증을 검색하고, "정교화 에이전트(Refinement Agent)"는 문항이나 전제를 수정한다. 이 루프는 최종 수락 전 경계 결함(예: 컨텍스트 드리프트)을 해결한다.

3. 평가 프로토콜

형식: 10개의 조합 가능한 선택지를 가진 의사 객관식 문제(우연 적중률을 10%로 낮춤).
모델: 13개 연구소의 42개 프런티어 모델 (폐쇄형 API, 오픈 소스 밀집/MoE 모델, 추론 모델 포함).
지표: AVG@4 정확도, 학문별 세부 분석, 도구 사용 확장(웹 검색), 부트스트랩 기반 순위 안정성 통계.

주요 결과

성능 천장: 최고 모델인 Gemini-3.1-Pro-Preview는 **53.17%**의 정확도를 달랐다. Claude-Opus-4.6(49.92%)와 GPT-5.4(48.55%)가 그 뒤를 이었다. 리더보드는 포화 상태와 거리가 멀며, 명확한 계층 구조를 보인다: 프런티어 계층(>48%), 밀집형 강한 모델 계층(38–45%), 그리고 10% 우연 기댓값 근처를 맴도는 저성능 모델들로 나뉜다.
순위 안정성: 50% 하위 샘플링을 통한 1,000회의 부트스트랩 반복 분석 결과, 상위 10개 모델의 순위는 높은 안정성(Kendall $\tau \approx 0.89$ )과 94%의 1위 유지율을 보였다. 그러나 약 2 퍼센트 포인트 미만의 쌍별 격차는 통계적으로 해소될 수 없다.
도구 사용 효과: 웹 검색 확장은 비균등하지만 긍정적인 이득(+1.50 ~ +5.17 포인트)을 가져왔다. 가장 강력한 모델과 가장 약한 모델에서 가장 큰 폭의 상승이 나타났는데, 이는 검색이 서로 다른 기능(파라미터 공백 채우기 vs 근거 확보)을 수행함을 시사한다.
학문적 변별력: 상위 10개 모델 분석 결과, 인문학 및 사회과학(예: 사회학, 경영학, 문학 및 예술)이 프런티어 단계의 차별화를 주도하며 30~~38 포인트의 편차를 보였다. 반면, STEM 분야(과학, 공학)는 훨씬 작은 편차(~~10–14 포인트)를 보여, 프런티어 모델들이 이 영역에서 이미 수렴했음을 시사한다.
스케일링: Qwen 제품군의 파라미터 스케일링 곡선은 세대별 개선을 보여주었다(Qwen3는 10배당 약 7.6 포인트 증가한 반면, Qwen3.5는 약 14.8 포인트 증가). 그러나 상단부에서 로그 선형 포화(log-linear saturation)가 관찰되었으며, 이는 규모 확장만으로는 인문/사회과학의 격차를 해결할 수 없음을 나타낸다.

의의 및 주장

본 논문은 KINA를 단순한 어려운 테스트가 아닌 진단 도구로 규정한다. 그 의의는 다음과 같다:

설계 원칙의 공식화: (부가성 커버리지를 통한) 학문적 대표성과 (토너먼트 이론을 통한) 유인 정렬된 주석 작성을 위한 최초의 공식적 보증을 제공한다.
경험적 진단: 현재의 프런티어 모델들이 균일하게 우월한 것이 아니라, 인문 및 사회과학에서 차별화가 집중되는 반면 STEM 과제에서는 이미 수렴했음을 밝혀냈다.
방법론적 투명성: 부트스트랩 안정성 통계를 공개함으로써, 컴팩트한 벤치마크에서 미세한 순위 차이를 과잉 해석하는 것을 명시적으로 경계한다.
자원 가용성: 저자들은 재현과 확장을 위해 데이터셋, 주석 매뉴얼, LLM 심판 루브릭, 평가 코드를 모두 공개한다.

저자들은 대표성 보증이 실제 인구 집단이 아닌 운영적 프록시에 적용된다는 점과, 토너먼트 메커니즘의 경험적 검증이 무작위 인과 검증이 아닌 관찰적 검증이라는 점을 명시한다. 또한, 가장 강력한 모델이 정확도 70%를 초과하여 포화되는 것을 방지하기 위해 벤치마크를 갱신(KINA-vx.0)할 것을 약속한다.