LLMs Judge Themselves: A Game-Theoretic Framework for Human-Aligned Evaluation

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 평가 방식은 기존의 고정된 형식의 태스크와 정답 (Reference Answer) 에 의존하는 방식에서, 점점 더 주관적이고 개방형인 현대 LLM 의 행동을 포착하는 데 한계를 드러내고 있습니다.

• 기존 평가의 한계: 단일 모델의 점수나 스칼라 지표를 사용하는 방식은 인간의 비교적 판단 (Comparative Judgment) 과 불일치하는 경우가 많습니다. 인간은 다양한 관점의 부분적 순위를 종합하여 전역적인 합의를 도출하는 반면, LLM 기반 평가는 종종 문맥에 민감하지 않은 단일 출력을 생성합니다.
• 자기 선호 편향 (Self-Preference Bias): LLM 을 평가자 (Judge) 로 사용할 때, 모델은 자신의 생성물을 과도하게 선호하는 경향이 있어 평가의 객관성과 공정성이 훼손됩니다.
• 핵심 질문: 게임 이론의 원리를 적용하여 LLM 들이 서로를 평가하는 '상호 평가 (Mutual Evaluation)'를 통해, 인간의 판단과 정렬된 (Aligned) 모델 순위를 도출할 수 있는가?

2. 방법론 (Methodology)

저자들은 **분산형 피어 순위 프레임워크 (Decentralized Peer Ranking Framework)**를 제안하며, 이를 게임 이론적 투표 알고리즘을 통해 구현했습니다.

• 프로세스:

  1. 응답 생성: 여러 LLM 이 동일한 질문 세트에 대해 응답을 생성합니다.
  2. 분산형 피어 평가 (Decentralized Peer Evaluation): 각 모델은 평가자이자 평가 대상 (Evaluatee) 이 됩니다. 모든 모델의 응답 (자신의 응답 포함) 을 익명화하여 무작위 순서로 제시받고, 품질에 따라 전체 응답에 대한 완전한 순위 (Complete Ranking) 를 매깁니다.
  3. 순위 집계 (Aggregation): 각 질문에서 생성된 개별 모델들의 순위 행렬을 기반으로, 사회적 선택 이론 (Social Choice Theory) 의 게임 이론적 투표 알고리즘을 적용하여 '합의 순위 (Consensus Ranking)'를 도출합니다.
     • 주요 알고리즘: 평균 투표 (Average), 보르다 카운트 (Borda Count), 코펠랜드 (Copeland), 도드슨 (Dodgson), IRV, 케메니 - 영 (Kemeny-Young) 등.
     • 케메니 - 영 (Kemeny-Young) 방법: 입력된 모든 순위와의 켄달-타우 (Kendall-Tau) 거리 합을 최소화하는 순위를 찾는 방식으로, 본 연구의 기본 집계 전략으로 채택되었습니다.
  4. 인간 판단 정렬 검증: 도출된 순위와 Chatbot Arena 와 같은 대규모 크라우드소싱 플랫폼의 인간 선호도 순위 (Pairwise Comparison 기반) 를 비교하여 정렬 정도 (Pearson 및 Kendall 상관관계) 를 측정합니다.

• 확장성 실험: 평가 부하를 줄이기 위해 **확장자 그래프 (Expander Graph)**를 기반으로 한 희소 비교 (Sparse Comparison) 설정을 도입했습니다. 각 평가자가 모든 모델을 평가하는 대신, 잘 연결된 소수의 서브셋만 평가하도록 하여 복잡도를 $O(M^2)$에서 $O(KM)$으로 줄였습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 패러다임: 상호 평가, 게임 이론적 집계, 인간 기반 검증을 통합하여 LLM 능력을 평가하는 최초의 작업입니다.
2. 자기 선호 편향 완화: LLM 이 자신의 출력을 평가할 때 발생하는 편향을 게임 이론적 집계 (특히 합의 기반 방법) 를 통해 효과적으로 완화할 수 있음을 증명했습니다.
3. 최적의 집계 알고리즘 발견: 다양한 알고리즘 중 케메니 - 영 (Kemeny-Young) 방법이 인간의 판단과 가장 강력하고 안정적으로 정렬됨을 발견했습니다.
4. 스케일링 가능성: 평가자 간 비교 횟수를 줄이는 희소 설정 (Sparse Setting) 에서도 순위의 안정성과 인간 정렬도가 유지됨을 확인하여 대규모 모델 풀 평가의 실용성을 입증했습니다.

4. 실험 결과 (Results)

• 인간 판단과의 정렬도:
  • 단일 모델 평가나 단순 정확도 (Accuracy) 기반 순위보다 **집계 기반 순위 (Aggregation-based Ranking)**가 인간 판단과 훨씬 높은 상관관계를 보였습니다.
  • **케메니 - 영 (Kemeny-Young)**은 모든 벤치마크에서 가장 높은 중앙값 상관관계와 낮은 분산을 보이며 가장 일관된 성능을 발휘했습니다.
  • 수학 추론 (GSM8K) 과 같은 명확한 정답 신호가 있는 작업에서는 정렬도가 매우 높았으나, 창의적 글쓰기 (Creative Writing) 와 같은 주관적 작업에서는 변동성이 컸음에도 불구하고 데이터셋 수준에서는 여전히 유의미한 인간 합의를 포착했습니다.
• 자기 선호 편향 완화 효과:
  • SR (Self Ranking): 모델이 자신의 순위를 매길 때 인간 판단과의 정렬도가 가장 낮고 불안정했습니다.
  • SIA (Self-Inclusive Aggregation) vs SFA (Self-Free Aggregation): 자기 평가를 포함하든 (SIA) 제외하든 (SFA) 케메니 - 영 집계를 적용하면, 편향이 크게 감소하여 인간 선호도와 유사한 안정적인 순위를 도출했습니다. 이는 집계 메커니즘이 개별 모델의 편향을 상쇄함을 의미합니다.
• 희소 평가의 효과:
  • 모든 모델을 비교하는 풀 (Full) 설정과 확장자 그래프 기반의 희소 (Exp) 설정 (각 평가자가 3 개의 모델만 평가) 간의 순위 정렬도 차이가 미미했습니다. 이는 평가 비용을 획기적으로 줄이면서도 신뢰할 수 있는 결과를 얻을 수 있음을 시사합니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 평가가 단순한 점수 비교가 아니라 구조화된 순위 집계 및 의사결정 문제로 접근해야 함을 강조합니다.

• 공정성과 견고성: 분산형 피어 평가와 게임 이론적 집계를 결합하면, 중앙 집중식 평가자나 단일 모델의 편향을 줄이고 인간과 정렬된 공정한 평가를 가능하게 합니다.
• 실용적 적용: 향후 LLM 평가 프로토콜은 정확도 중심에서 벗어나, **합의 지향적 (Consensus-oriented)**이고 **편향 인식 (Bias-aware)**인 집계 메커니즘을 우선시해야 함을 제안합니다.
• 이론적 통찰: 게임 이론과 사회 선택 이론이 LLM 평가의 복잡성 (주관성, 편향, 다중 이해관계자) 을 해결하는 강력한 프레임워크가 될 수 있음을 보여주었습니다.

요약하자면, 이 논문은 LLM 들이 서로를 평가하고 게임 이론적 알고리즘으로 그 결과를 집계하는 방식을 통해, 기존 평가 방식의 한계를 극복하고 인간과 더 잘 맞는 신뢰할 수 있는 모델 순위를 생성할 수 있음을 실증적으로 입증했습니다.