Interactive Benchmarks

이 논문은 기존 벤치마크의 한계를 극복하고 모델의 지능을 평가하기 위해 예산 제약 하의 상호작용 과정을 통해 추론 능력을 측정하는 '인터랙티브 벤치마크' 프레임워크를 제안하고, 이를 논리·수학 증명 및 전략적 게임 환경에서 검증하여 상호작용 시나리오에서의 개선 여지가 여전히 크다는 것을 보여줍니다.

핵심

🎒 1. 기존 시험의 문제점: "암기된 정답지"

지금까지 AI 를 평가할 때는 GSM8K나 MMLU 같은 고정된 시험지를 주로 썼습니다.

• 비유: 마치 학생에게 "수학 문제 100 개를 외워서 답만 말해보라"고 하는 것과 같습니다.
• 문제점: AI 가 문제를 풀기 위해 '정보를 찾아내는 과정'을 거치지 않고, 그냥 암기된 답을 뱉어낼 뿐입니다. 마치 시험지 정답을 외운 학생처럼, 실제 상황 (예: 새로운 문제나 복잡한 대화) 이 나오면 당황하고 엉뚱한 답을 내놓을 수 있습니다. 또한, AI 가 "이 정보가 부족하니 더 물어봐야겠다"라고 생각할 기회를 주지 않습니다.

🕵️‍♂️ 2. 새로운 방법: "Interactive Benchmarks (상호작용 벤치마크)"

이 논문은 AI 의 진짜 지능을 측정하기 위해 **"상호작용"**을 강조합니다.

• 핵심 아이디어: AI 가 단순히 답을 외우는 게 아니라, "무엇을 물어볼지, 언제 물어볼지, 어떻게 정보를 모을지" 스스로 결정하는 능력을 봐야 합니다.
• 비유:
  • 기존: "이 그림이 뭐야?"라고 물으면 정답만 말함.
  • 새로운 방식: "이 그림을 보고 내가 모르는 게 뭐가 있을까? 어떤 질문을 던져야真相 (진실) 을 알 수 있을까?"라고 스스로 고민하며 스무고개 게임을 하는 것.

이 새로운 평가 체계는 크게 두 가지 게임으로 나뉩니다.

---

🧩 게임 1: "Interactive Proofs (상호작용 증명)" - 진실 찾기

이 게임은 논리와 수학 문제를 다룹니다. AI 는 '플레이어'가 되고, 모든 정답을 알고 있는 '심판 (Judge)'과 대화합니다.

• 상황: AI 는 정답을 모릅니다. 하지만 심판은 "네가 맞으면 'YES', 틀리면 'NO'"라고만 알려줍니다.
• 비유: "스무고개" 게임을 상상해보세요.
  • AI 는 "그게 동물인가요?" "그게 집 안에 있나요?"라고 질문을 던져가며 정답을 추리해야 합니다.
  • 한계: 질문 횟수 (예산) 가 정해져 있습니다. 20 번만 물어볼 수 있다면, 어떻게 하면 가장 적은 질문으로 정답을 맞출 수 있을까요?
• 결과: 많은 최신 AI 들이 이 게임에서 고전했습니다. 정답을 외우지 못했기 때문에, 스스로 질문을 만들어가며 진실을 찾아내는 능력이 부족하다는 것이 드러났습니다.

🃏 게임 2: "Interactive Games (상호작용 게임)" - 전략 게임

이 게임은 포커나 **신뢰 게임 (Trust Game)**처럼 상대방이 있는 상황을 다룹니다.

• 포커 (Texas Hold'em):
  • 비유: 상대방의 표정을 보고, "이 사람이 bluff(속임수) 를 치는 건가?"라고 추리해야 합니다.
  • AI 는 자신의 패만 보고, 상대방의 행동을 관찰하며 "지금 베팅을 늘려야 할까, 아니면 포기해야 할까?"를 결정해야 합니다.
  • 결과: Gemini가 가장 잘했습니다. 위험을 감수하면서도 계산적으로 플레이하는 능력이 뛰어났습니다.
• 신뢰 게임 (Trust Game):
  • 비유: "내가 너를 믿고 도와주면, 너도 나를 도와줄까?"를 반복하는 게임입니다.
  • 상대방이 배신하면 나도 배신하고, 협력하면 나도 협력하는 등 상대방의 성향을 파악하고 적응하는 능력이 중요합니다.
  • 결과: Qwen3와 GPT-5가 상대방의 행동을 잘 예측하고 협력 관계를 유지하며 높은 점수를 받았습니다.

---

💡 3. 결론: AI 는 아직 "질문하는 법"을 배워야 한다

이 논문의 가장 중요한 메시지는 다음과 같습니다.

"지금까지의 AI 는 **'정답을 아는 학생'**은 될 수 있었지만, **'지식 없는 상황에서 정보를 찾아내는 탐정'**이 되기는 아직 부족하다."

• 현재 상태: AI 는 정해진 문제집은 잘 풀지만, 정보가 부족한 현실 세계에서는 무엇을 물어봐야 할지 몰라 당황합니다.
• 미래 과제: AI 가 스스로 "내가 모르는 게 뭐지? 이걸 물어봐야겠다"라고 생각하며 능동적으로 정보를 수집하는 능력을 키워야 진짜 지능이라고 할 수 있습니다.

한 줄 요약:

"AI 가 정답을 외우는 것보다, 정답을 찾기 위해 스스로 질문하고 전략을 세우는 능력을 평가해야 진짜 똑똑한지 알 수 있다!"

기술 요약

논문 요약: Interactive Benchmarks (상호작용 벤치마크)

1. 문제 제기 (Problem Statement)

현재 대규모 언어 모델 (LLM) 의 성능을 평가하는 표준 벤치마크는 다음과 같은 한계로 인해 신뢰성이 떨어지고 있습니다.

• 포화 상태 (Saturation) 및 데이터 오염: GSM8K, MMLU 와 같은 고정된 데이터셋은 모델들이 훈련 데이터에 노출되거나 암기하여 실제 추론 능력을 과대평가하는 경향이 있습니다.
• 주관성: ChatBot Arena 와 같은 선호도 기반 평가는 인간의 주관적 판단에 의존하여 객관적인 추론 능력을 측정하기 어렵습니다.
• 수동적 평가의 한계: 기존 벤치마크는 모델이 주어진 입력에 대해 수동적으로 응답하는지 여부를 측정합니다. 그러나 실제 지능은 "어떤 정보를 언제, 어떻게 획득할지 결정하는 능동적 정보 수집 (Active Information Acquisition)" 능력을 포함합니다.

이러한 배경 하에, 저자들은 모델이 제한된 예산 (Budget) 하에서 상호작용을 통해 정보를 능동적으로 수집하고 추론하는 능력을 평가할 수 있는 새로운 패러다임이 필요하다고 주장합니다.

2. 방법론 (Methodology)

저자들은 Interactive Benchmarks라는 통합 평가 패러다임을 제안합니다. 이는 계산 복잡성 이론의 '상호작용 증명 (Interactive Proofs)' 개념에서 영감을 받았으며, 모델 (증명자) 이 정보에 완전히 접근할 수 있지만 예산이 제한된 검증자 (Verifier) 또는 환경과 상호작용하여 작업을 수행하는 방식으로 설계되었습니다.

이 프레임워크는 두 가지 주요 영역으로 구체화됩니다:

A. 상호작용 증명 (Interactive Proofs) - 수렴형 (Convergent Regime)

목표는 객관적인 진리나 정답에 도달하여 불확실성을 최소화하는 것입니다.

• 구조: 모델 (Player) 은 '판사 (Judge)'에게 질문을 던지고, 판사는 숨겨진 정답 (Ground Truth) 을 기반으로 제한된 피드백 (Yes/No/Both/Irrelevant) 을 제공합니다.
• 예산 제약: 총 상호작용 횟수 (턴) 에 제한이 있으며, 각 행동에는 비용이 발생합니다.
• 구현 사례:
  1. 논리 (Logic): '상황 퍼즐 (Situation Puzzle)'을 사용. 모순적으로 보이는 이야기의 숨겨진 설명을 Yes/No 질문을 통해 추론해야 합니다.
  2. 수학 (Math): 기존 pass@k(단순 반복 샘플링) 의 비효율성을 보완. 모델은 중간 단계의 명제 (Lemma) 나 방정식의 유효성을 판사에게 검증받으며 오답 가지 (Branch) 를 조기에 잘라내어 (Pruning) 효율적으로 해를 찾습니다.

B. 상호작용 게임 (Interactive Games) - 발산형 (Divergent Regime)

목표는 불확실한 환경과 다른 에이전트와의 상호작용을 통해 장기적인 효용 (Utility) 을 극대화하는 것입니다.

• 구조: 고정된 정답이 없으며, 모델은 환경과 다른 에이전트 (상대방) 와의 전략적 상호작용을 통해 보상을 최대화해야 합니다.
• 구현 사례:
  1. 텍사스 홀덤 (Texas Hold'em): 불완전 정보 게임. 상대방의 심리 (Theory of Mind), 리스크 관리, 확률적 추론을 평가합니다.
  2. 신뢰 게임 (Trust Game): 반복된 죄수의 딜레마. 상대방의 행동에 적응하고 장기적인 협력/배신 전략을 수립하여 기대 보상을 극대화하는 능력을 평가합니다.

3. 주요 기여 (Key Contributions)

1. 능동적 정보 수집 능력의 평가: 모델이 단순히 지식을 재생산하는 것이 아니라, 정보 부족을 인지하고 전략적으로 질문하거나 행동을 취하여 지식을 확장하는 능력을 측정합니다.
2. 통합 평가 프레임워크: 논리/수학 (진리 추구) 과 게임 (전략적 효용 극대화) 을 하나의 수학적 프레임워크 (예산 제약 하의 시퀀스 의사결정) 로 통합했습니다.
3. 기존 평가 방식의 한계 극복:
   • 수학: pass@k 방식이 초기 오류로 인해 전체 생성이 낭비되는 문제를 해결하고, 과정의 해석 가능성 (Interpretability) 을 제공합니다.
   • 논리: 단순 암기나 단서 추론을 배제하고, 추론 (Abductive Reasoning) 과 전략적 질문 능력을 평가합니다.

4. 실험 결과 (Results)

저자들은 Grok-4.1-fast, Gemini-3-flash, GPT-5-mini, Kimi, DeepSeek-v3.2, Qwen3-max 등 6 개의 최첨단 LLM 을 평가했습니다.

• 상호작용 증명 (논리/수학):

  • 상호작용의 필수성: 상호작용 없이 단순히 문제를 해결하려는 시도 (Non-interactive) 에서 모든 모델의 정확도는 0% 에 가까웠습니다. 이는 정답을 찾기 위해 상호작용이 필수적임을 보여줍니다.
  • 성능 차이: 수학 평가에서 Grok-4.1-fast(76.9%) 와 GPT-5-mini(73.1%) 가 가장 높은 정확도를 보였습니다. 반면, Kimi(34.6%) 는 상대적으로 낮은 성능을 보였습니다.
  • 예산 효율성: Qwen3-max는 정답을 맞춘 경우 평균 턴 수 (5.2 회) 가 가장 적었으나, 전체 정확도는 낮아 일반화 능력이 부족함을 시사했습니다.
  • Pass@k vs Interactive: 동일한 예산 하에서 상호작용 평가가 pass@k 보다 20~50% 높은 성능을 보여주어, 기존 방식이 모델의 실제 능력을 과소평가할 수 있음을 입증했습니다.

• 상호작용 게임 (포커/신뢰 게임):

  • 포커 (Texas Hold'em): Gemini-3-flash가 평균 수익, 안정성, 실행 속도 측면에서 가장 우수한 성능을 보였습니다. GPT-5-mini는 공격적인 플레이 (높은 VPIP) 를 보였으나 변동성이 컸습니다.
  • 신뢰 게임 (Trust Game): Qwen3-max(1.867) 와 GPT-5-mini(1.836) 만이 단순 휴리스틱 기반선 (Grim Trigger, Tit-for-Tat) 을 능가하는 점수를 기록했습니다. 대부분의 모델은 적응적 게임 플레이에 여전히 개선의 여지가 큽니다.

5. 의의 및 결론 (Significance & Conclusion)

• 지능 평가의 패러다임 전환: LLM 의 지능을 평가할 때, 정답을 아는 것뿐만 아니라 "알지 못하는 것을 어떻게 찾아낼 것인가" 라는 능동적 학습 능력을 평가해야 함을 강조합니다.
• 현실 세계 적용 가능성: 실제 세계의 문제는 완전한 정보를 제공하지 않으며, 에이전트는 불확실성 하에서 정보를 수집하고 결정을 내려야 합니다. Interactive Benchmarks 는 이러한 현실적인 시나리오를 더 잘 반영합니다.
• 향후 방향: 현재 모델들은 상호작용 시나리오에서 여전히 상당한 개선의 여지가 있습니다. 저자들은 향후 벤치마크의 작업 범위를 확장하고, 상호작용 성능을 최적화하는 학습 방법론을 연구할 계획입니다.

이 논문은 LLM 평가가 정적인 데이터셋을 넘어, 동적이고 상호작용적인 환경으로 전환되어야 함을 강력하게 주장하며, 이를 위한 체계적인 프레임워크와 실험적 증거를 제시했습니다.