🤖 AI

LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation

이 논문은 LLM들이 적대적 질문 생성과 답변을 통해 서로의 지식 경계를 반복적으로 탐색함으로써, 정적 벤치마크나 인간의 선호도와는 구별되는 특정 실패 모드와 고차원적 탐사 능력을 드러내는 안정적인 리더보드를 산출하는, 자동화되고 오염에 강한 평가 프레임워크인 LivingArena를 소개한다.

원저자: Xingyu Chen, Rui Wang, Zhaopeng Tu, Liefeng Bo

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xingyu Chen, Rui Wang, Zhaopeng Tu, Liefeng Bo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

세상에서 가장 똑똑한 컴퓨터들이 누가 "최고"인지 가려내기 위해 끊임없이 테스트를 치르는 세상을 상상해 보세요. 오랫동안 과학자들은 모든 이가 똑같이 치르는 거대하고 변하지 않는 객관식 퀴즈와 같은 정적인 시험을 사용해 왔습니다. 하지만 여기에는 문제가 있습니다. 이러한 퀴즈는 금방 낡아버립니다. 컴퓨터가 정답을 학습하고 나면, 그것을 단순히 암기해 버리기 때문에 테스트는 더 이상 유용하지 않게 됩니다. 이는 마치 러너의 속도를 측정하기 위해 결코 빨라지지 않는 트레드밀 위에서 달리게 하는 것과 같습니다. 결국 모두가 기계의 최고 속도에 도달하게 되고, 그러면 누가 실제로 더 빠른지 구분할 수 없게 됩니다.

이 문제를 해결하기 위해 연구자들은 이 "대규모 언로 모델(LLM)"—이야기를 쓰고, 수학 문제를 풀고, 코드를 작성하는 초지능형 AI 뇌들—을 테스트하는 새로운 방법을 찾고 있습니다. 고정된 시험을 주는 대신, 만약 컴퓨터들이 서로를 테스트하게 한다면 어떨까요? 이 논문은 매혹적인 질문을 던집니다. 이 AI 뇌들이 다른 AI 뇌가 모르는 것을 알고 있는가? 만약 한 AI가 다른 AI의 약점이 정확히 어디인지 파악하여 그를 함정에 빠뜨릴 질문을 던질 수 있다면, 우리는 인간이 수천 개의 질문을 직접 작성하거나 컴퓨터가 테스트 뱅크를 암기하여 부정행위를 하는 것을 걱정할 필요 없이, 누가 진정으로 가장 똑똑한지를 알아낼 수 있는 방법을 마침로 갖게 될 것입니다.

리빙 아레나(LivingArena): 끝없는 "딱 걸렸어!" 게임

**리빙 아레나(LivingArena)**를 만나보세요. 이것을 교실이라기보다는, 세계에서 가장 똑똑한 10개의 AI 모델이 토너먼트에 갇혀 있는 고도의 자동화된 토론 클럽이라고 생각하십시오. 인간 교사가 학습지를 나눠주는 대신, AI들은 **질문자(Questioner)**와 답변자(Answerer) 역할을 번갈아 수행합니다.

게임의 작동 방식은 다음과 같습니다:

함정: 한 AI(질문자)는 까다로운 질문을 만들어내고, 정답을 제공하며, 왜 그 답이 맞는지 설명해야 합니다.
안전 점검: 다른 AI가 질문을 보기도 전에, 세 명의 "판사(Judge)" AI 패널이 질문이 터무니없지는 않은지, 정답이 실제로 맞는지, 그리고 논리가 타당한지를 확인합니다. 만약 질문자가 실수를 하거나 판사를 속이려 한다면 벌점을 받습니다. 이는 마치 심판이 반칙을 보고 휘슬을 부는 것과 같습니다.
대결: 질문이 통과되면, 두 번째 AI(답변자)는 그 문제를 풀려고 시도합니다.
점수: 답변자가 틀리면 질문자가 1점을 얻습니다. 답변자가 맞히면 답변자가 1점을 얻습니다.

목표는 단순히 똑똑해지는 것이 아니라, 탐정이 되는 것입니다. 가장 똑똑한 플레이어는 단순히 많은 사실을 아는 자가 아닙니다. 그들은 상대방이 정확히 무엇을 모르는지 파악하고, 그 특정 약점을 공략하는 질문을 던질 수 있는 자들입니다.

거대한 발견: "네가 약한 곳을 난 알아"

연구진은 10개의 최상위 AI 모델로 이 토너먼트를 진행하여 360번의 매치와 3,600라운드의 경기를 치렀습니다. 그들은 놀라운 사실을 발견했습니다: AI들은 정말로 다른 AI들이 모르는 것을 알고 있었습니다.

모델들이 서로 대결할 때, 그들은 단순히 무작위로 어려운 질문을 던진 것이 아니었습니다. 그들은 상대방을 "읽기" 시작했습니다. 만약 한 AI가 논리 퍼즐에서 비틀거린다면, 다음 라운드에서 다른 AI는 즉시 또 다른 논리 퍼즐을 던졌습니다. 그들은 본질적으로 이렇게 말하고 있었던 것입니다. "헤이, 지난번에 이걸 틀렸잖아; 이번에도 할 수 있는지 보자고."

모델들은 **약점을 국지화(localize weaknesses)**할 수 있습니다. 예를 들어, 한 최상위 모델(GPT-5.5)은 이 능력이 매우 뛰어나서, 상대방이 특정 유형의 추론에 약하다는 것을 파악한 후, 이후 라운드에서 해당 주제를 공략하는 비율이 52%에 달했습니다. 이는 체스 선수가 상대방이 나이트가 보드 위에 있을 때 항상 실수한다는 것을 알아차리고, 매번 그 위치로 나이트를 움직이는 것과 같습니다.

하지만 한계는 존재합니다. 논문은 AI가 자신의 뇌가 감당할 수 있는 수준보다 더 어려운 질문을 던질 수는 없다는 것을 발견했습니다. 만약 어떤 AI가 특정 개념을 이해하지 못한다면, 그는 상대를 당황하게 할 까다로운 미적분 문제를 만들어낼 수 없습니다. 이는 미적분을 모르는 학생이 선생님을 당황하게 할 까다로운 미적분 시험을 출제할 수 없는 것과 같습니다. 질문은 항상 질문자의 지식 범위 내에 머뭅니다.

스코어보드: 누가 승리했나?

토너먼트는 모델들을 다섯 가지 뚜렷한 티어로 나누는 안정적인 랭킹(Elo 리더보드)을 생성했습니다.

챔피언: GPT-5.5가 1위를 차지했습니다. 이 모델은 질문에 답하는 데 완벽했고(정확도 100%), 약점을 찾는 데 매우 공격적이었습니다(타격률 26.3%).
수동적인 플레이어들: Claude 패밀리와 같은 일부 모델들은 질문에 답하는 데는 뛰어났지만, 질문을 던지는 데는 매우 수줍었습니다. 그들은 상대를 당황하게 만들려는 시도를 거의 하지 않았으며, 이로 인해 전체 점수는 중간 수준에 머물렀습니다.
"자해(Self-Harm)" 페널티: 이것은 이 게임의 핵심적인 부분이었습니다. 만약 질문자가 잘못된 질문(오답이거나 논리적 결함이 있는 질문)을 던지면 점수를 잃었습니다. 이는 AI들이 정직하고 신중하도록 강제했습니다. 과신하거나 "환각(hallucinate)" 현상(사실을 지어내는 것)을 보이는 모델들은 혹독한 처벌을 받았습니다. 예를 들어, GPT-5.2는 매우 높은 "자해" 비율(42.7%)을 기록했는데, 이는 계속해서 잘못된 질문을 던져 자신의 점수를 깎아먹었음을 의미하며, 이로 인해 리더보드 최하위로 떨어졌습니다.

이것이 왜 중요한가

이 논문은 피어 프로빙(peer probing)—AI들이 서로를 테스트하게 하는 것—이 기존의 구식 테스트보다 "진정한" 지능을 측정하는 더 나은 방법임을 시사합니다.

연구진은 이 새로운 방법이 인간이 보통 선호하는 것과는 다른 것을 측정한다는 것을 발견했습니다. 인간이 투표하는 아레나에서는 예의 바르게 들리고 길고 화려한 답변을 쓰는 모델들이 종종 승리합니다. 하지만 리빙 아레나에서 그런 화려한 스타일은 도움이 되지 않았습니다. 대신, 승리자들은 사실적으로 정확하고, 자신이 모르는 것을 인정할 줄 알며, 진실을 찾기 위해 공격적인 모델들이었습니다.

연구는 우리가 방 안에서 가장 똑똑한 AI보다 더 어려운 테스트를 만들 수는 없지만, AI가 똑똑해짐에 따라 점점 더 어려워지는 시스템을 구축할 수는 있다고 결론짓습니다. 모델들이 발전함에 따라, 그들은 자연스럽게 서로를 위해 점점 더 어려운 질문을 만들어낼 것이며, 이는 결코 지루해지거나 포화 상태에 이르지 않는 "살아있는" 벤치마크를 형성할 것입니다. 이는 결승선이 계속해서 움직이는 자기 업데이트형 경주이며, 이를 통해 우리는 누가 진정으로 가장 빠른 러너인지 항상 구분할 수 있게 됩니다.

기술 요약: LivingArena – 확장 가능한 평가로서의 피어 프로빙(Peer-Probing)

1. 문제 정의

프런티어 대규모 언어 모델(LLM)의 평가는 세 가지 중첩된 과제에 직면해 있습니다:

오염 및 포화(Contamination and Saturation): 정적 벤치마크(예: MMLU, MMLU-Pro)는 데이터가 학습 세트에 유출되는 데이터 오염 문제와, 상위 모델들이 천장 점수 근처에 밀집하여 모델 간의 변별력을 잃고 구체적인 실패 모드를 식별할 수 없게 되는 성능 포화 문제를 겪습니다.
인간 선호도의 주관성: 인간 선호도 아레나(예: LMArena)는 정적 저작 과정을 우회하지만, 객관적 진실보다는 주관적인 유용성을 측정합니다. 크라우드 레이터(Crowd rater)들은 매우 전문적이거나 기술적인 답변을 판별하는 데 어려움을 겪을 수 있습니다.
높고 비싼 비용 및 지연 시간: 수동 벤치마크 생성은 비용이 많이 들고 갱신 속도가 느리며, 다음 모델 세대가 출시되기 전에 이미 구식이 되어버리는 경우가 많습니다.

저자들은 근본적인 질문을 던집니다: LLM은 다른 LLM이 모르는 것을 알고 있는가? 만약 모델들이 자발적으로 서로의 약점을 발견하고 공략할 수 있다면, 이러한 역동성은 노동 집약적인 인간 테스트 세트 구축을 스스로 적응하는 '리빙 벤치마크(living benchmark)'로 대체할 수 있습니다.

2. 방법론: LivingArena 프레임워크

Living-Arena는 피어 프로빙(peer-probing) 패러다임을 구현한, 완전 자동화되고 오염에 강한 평가 프레임워크입니다. 이는 모델들이 **질문자(Questioner)**와 답변자(Answerer) 역할을 번갈아 수행하는 제로섬 적대적 게임으로 작동합니다.

매치 구조

토너먼트 형식: 10개의 프런티어 모델(OpenAI, Anthropic, Google, DeepSeek 출신)이 참여하는 라운드 로빈 토너먼트는 45개의 고유한 쌍을 생성합니다. 각 쌍은 8번의 게임(4번의 양방향 매치업)을 치르며, 총 360회의 매치와 3,600회의 라운드가 진행됩니다.
라운드 흐름 (매치당 10라운드):
1. 질문 생성: 질문자( $q_t$ )는 엄격한 JSON 스키마 내에서 질문( $q_t$ ), 골드 스탠더드 답변( $a^*_t$ ), 그리고 검증 로직( $v^*_t$ )을 생성합니다.
2. 독립적 검증: 세 개의 서로 다른 모델 심판진(GPT-5.5, Gemini-3.5-Flash, Claude-Sonnet-4.6)이 해당 튜플을 블라인드 검증합니다. 논리적 결함, 계산 오류 또는 모호함으로 인해 심판 중 단 하나라도 "INVALID"를 투표하면 해당 질문은 거부됩니다.
  - 페널티: 질문자는 유효하지 않은 질문에 대해 자해 페널티(self-harm penalty) ($-1.0$)를 받습니다.
3. 답변: 검증이 완료되면, 답변자는 질문에 응답합니다.
4. 채점: 동일한 심판진이 골드 스탠더드에 대비하여 답변자의 응답을 이진 투표(CORRECT/WRONG)로 채점합니다.
  - 스코어링: 답변자가 정답이면 $+1.0$ 을 얻습니다. 오답일 경우, 질문자는 "히트(hit)" 포인트를 얻습니다.

스코어링 메커니즘

수익 체감(Diminishing Returns): 특정 약점을 반복해서 공략하는 것을 방지하기 위해, 감쇠 함수 $w(C)$ 는 동일한 능력 차원( $D_1$ – $D_6$ )을 여러 번 타격할 때 보상을 줄입니다. 차원을 변경하면 승수가 초기화됩니다.
보너스 라운드: 9라운드와 10라운드는 제약이 없는 보너스 라운드로, 감쇠 없이 모델들이 발견된 약점에 화력을 집중할 수 있도록 합니다.
Elo 집계: 양방향 매치로부터 얻은 순수 점수는 쌍별 결과($0.0, 0.5, 1.0 $)로 매핑되어 표준 로지스틱 곡선($ K=32$)을 사용하여 글로벌 Elo 레이팅을 업데이트하는 데 사용됩니다.

능력 차원 (Capability Dimensions)

프레임워크는 다음 6가지 차원에서 모델을 평가합니다:

정량적 추론 (Quantitative Reasoning)
코드 및 알고리즘 (Code & Algorithms)
자연 과학 (Natural Sciences)
인문 및 사회 과학 (Humanities & Social Sciences)
언어 및 언어학 (Language & Linguistics)
논리 및 추상적 추론 (Logic & Abstract Reasoning)

3. 주요 기여

LivingArena 프레임워크: 정적인 질문 뱅크를 필요로 하지 않으며 모델이 발전함에 따라 지속적으로 변하는 자동화된 자기 적응형 평가 시스템입니다.
산업적 유용성: 피어 프로빙을 실행 가능한 차원별 실패 진단으로 변환하는 지속 가능하고 저비용의 회귀 하네스(10개 모델 토너먼트가 약 100분 만에 실행됨)를 제공합니다.
경험적 평가: 10개의 프런티어 LLM을 대상으로 한 포괄적인 토너먼트를 통해, 포화 상태에 가까운 시스템들을 명확히 구분하는 안정적인 Elo 리더보드를 산출했습니다.
오픈 소스: 전체 평가 코드와 로우 로그(raw logs)를 공개합니다.

4. 결과 및 행동 분석

프런티어 순위

GPT-5.5가 리더보드를 지배하며(Elo 1743), 답변 정확도(100%)와 공격적이고 효과적인 질문 능력(26.3% 히트율) 사이의 완벽한 균형을 보여줍니다.
계층적 성능: 모델들은 다섯 개의 뚜렷한 티어로 나뉩니다. 특히 Claude 제품군(Tier 4)은 높은 답변 정확도(88–89%)를 보이지만, 수동적인 질문자(2–4% 히트율)의 모습을 보여 강력한 답변 능력에도 불구하고 중간 티어 순위를 기록했습니다.
캘리브레이션(Calibration): 높은 자해율을 보이는 모델들(예: GPT-5.2 42.7%, Claude 제품군 31–38%)은 낮은 순위와 상관관계를 보이는데, 이는 이 패러다임에서 자기 캘리브레이션이 중요한 요소임을 나타냅니다.

행동적 타당성 (LLM은 다른 모델이 모르는 것을 아는가?)

경계 국소화 (Boundary Localization): 모델은 자신의 지식 경계 너머의 질문을 생성할 수 없지만(자기 재생 정확도는 ~98%), 동료의 약점을 성공적으로 식별하고 공략합니다.
타격 후 공략 (Exploit-After-Hit): 특정 차원에서 성공적인 히트가 발생한 후, 다음 라운드에서 동일한 차원을 타겟팅할 확률이 베이스라인보다 크게 증가합니다(+16.3%). 강력한 모델(예: GPT-5.5)은 발견된 취약점에 대해 공격을 강화하며, 첫 번째 히트 이후 조건부 히트율을 25%에서 52%로 높입니다.
전략적 보너스 라운드: 보너스 라운드(9–10)에서 모델들은 이전에 발견된 약한 차원에 의도적으로 집중하며(41.4% 확률 vs 18.2% 베이스라인), 비타겟 차원에서의 4.5% 히트율에 비해 타겟 공격에서는 38.8%의 히트율을 달성합니다.

인간 선호도와의 비교

낮은 상관관계: LivingArena Elo 레이팅은 인간 선호도 순위와 낮은 상관관계를 보입니다(Spearman's $\rho = 0.358$ ).
분리된 축: 인간 선호도는 예의 바르고 장황한 형식을 선호하는 반면(Claude 모델에 유리), LivingArena는 객관적 엄밀함, 사실적 정밀도, 그리고 공격적 프로빙에 보상을 줍니다. 피어 프로빙은 인간 투표가 놓치는 별개의 축인 **적대적 캘리브레이션(adversarial calibration)**을 측정합니다.

심판 신뢰도

심판 패널(참가 모델로 구성)은 높은 일치도를 보입니다 (채점에 대한 Fleiss' $\kappa = 0.915$ ).
분석 결과, 아이템 난이도를 통제했을 때 자기 편향(self-bias)은 미미하며, 이는 다수 심판의 합의가 전략적 편애를 효과적으로 완화함을 시사합니다.

5. 의의 및 주장

본 논문은 피어 프로빙이 모델 간의 역동적인 상호작용을 활용함으로써 정적 벤치마크를 대체할 수 있는 확장 가능하고 저비용인 대안을 제공한다고 주장합니다.

진단 능력: "질문하기"와 "답변하기"는 서로 다른 능력임을 밝혀냈습니다. 모델은 강력한 답변자이면서 동시에 약한 질문자일 수 있으며, 이는 종합적인 정확도 지표에서는 숨겨지는 뉘서(nuance)입니다.
자기 캘리브레이션: 프레임워크는 정적 정확도가 간과하는 해석 가능한 지표로서 "자해율(self-harm rate)"을 도입합니다.
동적 난이도: 고정된 질문 뱅크와 달리, LivingArena의 난이도는 모델이 발전함에 따라 재생됩니다. 모델이 강해질수록 서로에게 더 어려운 질문을 던지게 됩니다.
한계: 저자들은 피어 프로빙이 참여하는 모델들에 의해 경계가 정해진다는 점(공통된 사각지대는 프로빙할 수 없음)과, 티어 내의 더 세밀한 해상도를 위해서는 API 비용을 대가로 더 많은 게임이 필요하다는 점을 인정합니다.

결론적으로, 본 논문은 피어 프로빙이 객관적 엄밀함과 적대적 캘리브레이션에 대한 강력한 신호를 제공하며, 정적 벤치마크가 포화되고 인간의 선호도가 주관적인 시대에 프런티어 모델을 평가하는 길을 제시한다고 주장합니다.