Evaluating Language Models' Evaluations of Games

"게임에 대한 언어 모델의 평가 평가"라는 제목의 논문은 ICLR 2026 컨퍼런스 논문으로 발표되었으며, 이에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

전통적인 AI 평가는 문제 해결 능력 (예: 체스나 바둑 플레이, 수학 문제 해결) 에 중점을 둡니다. 그러나 인간의 추론에는 더 고차원적인 인지 기술인 문제 평가가 포함됩니다. 이는 문제를 해결하기 전에 해당 문제, 시스템 또는 게임이 참여할 가치가 있는지 평가하는 능력입니다.

저자들은 현재 AI 연구의 격차를 지적합니다. 즉, 모델이 게임을 어떻게 플레이하는지는 테스트되지만, 게임을 어떻게 평가하는지는 거의 테스트되지 않는다는 점입니다. 구체적으로 이 논문은 평가의 난이도를 두 가지 차원에서 다룹니다:

1. 계산의 난이도 (Difficulty to Compute): 쿼리를 계산하는 데 얼마나 많은 계산 자원이 필요한가? (예: 기대 수익을 계산하려면 게임 상태를 시뮬레이션해야 함).
2. 정량화의 난이도 (Difficulty to Quantify): 지표가 얼마나 모호한가? (예: "재미"를 정의하는 것은 주관적이며 단일 기준 정답이 없음).

핵심 연구 질문은 다음과 같습니다: 현대 언어 모델 (LM) 과 추론 모델이 새로운 게임의 공정성 (수익) 과 "재미"를 어느 정도 평가할 수 있으며, 이러한 평가는 인간의 판단과 게임 이론적 최적값과 어떻게 일치하는가?

2. 방법론

데이터셋 및 자극

• 새로운 게임: 본 연구는 콜린스 (Collins) 등 (2025) 의 코퍼스를 활용하여 121 개의 2 인 경쟁 전략 보드 게임을 사용했습니다. 이들은 주로 틱택토의 새로운 변형 (예: 다른 보드 크기, 승리 조건, 핸디캡) 으로, 훈련 데이터에 존재할 가능성이 낮도록 설계되어 모델이 암기가 아닌 추론에 의존하도록 강제했습니다.
• 인간 기준: 약 20 명의 인간 참가자가 각 게임을 "초보자"로서 (플레이 전) 다음 두 가지 쿼리에 대해 평가했습니다:
  1. 기대 수익 (공정성): 플레이어 1 의 승리 대 무승부 가능성.
  2. 재미: 게임이 얼마나 즐거운지에 대한 주관적 평가.
• 총 데이터: 데이터셋 전체에 걸쳐 450 건 이상의 인간 판단.

평가된 모델

저자들은 추론 능력에 따라 분류된 다양한 모델을 테스트했습니다:

• 비추론 언어 모델 (Non-Reasoning LMs): 체인 오브 씽킹 (CoT) 유무와 관계없이 프롬프트된 표준 모델 (예: GPT-4, DeepSeek-v3, LLaMA 3.1).
• 추론 모델 (Reasoning Models): 명시적 추론 흔적을 가진 고급 모델 (예: OpenAI o1, o3, GPT-5, DeepSeek-R1, Gemini 2.5 Pro/Flash).
• 계산적 기준 (Computational Baselines):
  • 게임 이론적 최적: 가능한 경우 계산 (121 개 게임 중 78 개).
  • 시뮬레이션 에이전트: "직관적 게이머" (휴리스틱 기반), "전문 게이머" (깊이 5 트리 탐색), 몬테카를로 트리 탐색 (MCTS).

평가 지표

• 정렬 (Alignment): 모델 예측과 인간 판단 간의 $R^2$ 상관관계.
• 합리성 (Rationality): 추정된 게임 이론적 최적 수익 대비 정확도 및 편차.
• 자원 사용: 계산 비용을 측정하기 위한 추론 토큰 수 분석.
• 흔적 분석 (Trace Analysis): 전략 (예: 명시적 시뮬레이션, 유추적 추론, 수학적 계산) 을 식별하기 위한 추론 흔적 코딩.

3. 주요 기여

1. 새로운 평가 패러다임: AI 를 단순히 문제를 해결하는 능력뿐만 아니라, 문제를 평가하여 해결할 가치가 있는지 판단하는 능력에 대해 평가하는 프레임워크를 제안합니다. 이는 AI 평가에 메타 추론 계층을 도입합니다.
2. 평가 난이도의 형식화: 평가 쿼리를 계산적 복잡성 (계산하기 어려움) 과 정량화 모호성 (정량화하기 어려움) 으로 명시적으로 분류하여 AI 추론을 벤치마킹할 수 있는 구조화된 방법을 제공합니다.
3. 대규모 실증 연구: 새로운 게임 평가에 대해 인간 초보자와 게임 이론적 최적값에 대한 언어 모델 및 추론 모델의 대규모 비교를 최초로 제공합니다.
4. 자원 합리성 분석: 추론 노력 (토큰 사용) 과 평가 품질 간의 관계를 조사하여, AI 에 있어 자원 합리적 메타 추론의 필요성을 강조합니다.

4. 주요 결과

A. 기대 수익 (공정성)

• 추론 대 비추론: 비추론 모델 (CoT 포함 포함) 은 인간 판단 및 게임 이론적 최적값과 정렬이 poor 했습니다. 이들은 훈련 데이터의 통계적 귀납적 편향에 크게 의존했습니다.
• 추론 모델: 명시적 추론을 수행하는 모델 (예: o3, DeepSeek-R1) 은 인간 판단 및 게임 이론적 최적값과의 정렬을 크게 향상시켰습니다.
• 비단조적 정렬: 모델의 정교함과 인간 정렬 간의 비단조적 관계라는 중요한 발견이 있습니다.
  • 모델이 더 정교해질수록 (GPT-4 $\to$ o1 $\to$ o3), 인간과의 정렬이 개선되었습니다.
  • 그러나 모델이 게임 이론적 최적에 가까워질수록 (예: GPT-5), 인간 판단과의 정렬은 악화되었습니다. GPT-5 는 매우 합리적이었으나 인간 초보자의 직관과 일치하기에는 "너무 합리적"이었습니다.
• 시뮬레이션 증거: 흔적 분석에 따르면, 고성능 추론 모델은 일종의 명시적 게임 시뮬레이션을 수행하지만, 그 빈도는 다양했습니다.

B. 재미 평가

• 정량화 도전: "재미"를 평가하는 것은 수익을 평가하는 것보다 더 어려운 것으로 판명되었습니다. 결과는 모델 간에 "불규칙 (jagged)"했으며, 더 고급 모델이 덜 고급 모델보다 일관되게 우월하지는 않았습니다.
• 인간 변동성: 재미에 대한 인간 판단은 높은 분산 (예: 이분포) 을 보였으며, 대부분의 모델은 이를 포착하지 못했습니다.
• 요인: 모델이 고려한 요인 (균형, 도전, 길이, 새로움) 이 다양했습니다. 대부분의 모델이 "도전"과 "전략적 풍부함"을 고려했지만, "균형"과 "길이"에 대해서는 크게 달라 일관된 스칼라 점수를 산출하지 못했습니다.

C. 자원 사용

• 예측 불가능한 비용: 추론 모델은 게임과 쿼리에 따라 토큰 사용량이 매우 다양하게 나타났습니다.
• 상관관계 부재: 사용된 추론 토큰 수와 평가 정확도 (인간 대비 또는 게임 이론적 최적 대비) 간에는 강한 상관관계가 없었습니다.
• 새로움 대 계산: 역설적으로, 더 "새로운" 게임 (표준 틱택토에서 더 먼 것들) 이 항상 더 많은 계산 토큰을 요구한 것은 아니며, 이는 모델이 문제 복잡성에 따라 자원을 동적으로 적응시키지 않음을 시사합니다.

5. 중요성 및 함의

• AI 정렬 및 사고 파트너: AI 가 (교육이나 메커니즘 설계와 같은 분야에서) 효과적인 "사고 파트너"로 기능하려면, 수학적 최적성뿐만 아니라 인간의 가치와 직관과 정렬되어야 합니다. "더 합리적인" 모델이 덜 인간과 정렬될 수 있다는 발견은 유익한 AI 를 설계하는 데 중요합니다.
• 메타 추론: 결과는 현재 모델의 결함을 강조합니다. 즉, 자원 합리적 메타 추론이 부족하다는 점입니다. 모델은 평가 쿼리의 난이도에 따라 계산 노력을 동적으로 조정하지 못합니다.
• 향후 방향: 이 논문은 다음을 요구합니다:
  • 다양한 수준의 합리성을 시뮬레이션할 수 있는 에이전트 개발 (예: "초보자" 대 "전문가" 시뮬레이션).
  • 문제 평가 능력을 위한 벤치마크 생성.
  • 특정 인간 맥락에 맞게 AI 평가의 "정밀도"를 제어하는 방법 연구.

결론적으로, 본 논문은 해결사로서의 AI에서 평가자로서의 AI로 초점을 이동시킵니다. 추론 모델은 강력하지만, 인간의 주관적 판단 (특히 "재미"와 같은 모호한 지표에 대해) 과 정렬하는 능력은 복잡하고 비선형적이며, 메타 추론 및 자원 할당에 대한 새로운 접근이 필요함을 보여줍니다.