Who Defines "Best"? Towards Interactive, User-Defined Evaluation of LLM Leaderboards

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 의 성능을 비교하고 배포 결정을 내리는 데 있어 리더보드 (Leaderboard) 는 핵심적인 역할을 수행합니다. 그러나 기존 리더보드 (예: LMArena/Chatbot Arena) 는 다음과 같은 근본적인 한계를 가지고 있습니다.

• 평가 주체의 비대칭성: 리더보드의 순위는 소수의 벤치마크 설계자가 설정한 평가 우선순위 (데이터 구성, 집계 방식) 에 의해 결정되며, 실제 사용자와 조직의 다양한 목표 및 제약 조건을 반영하지 못합니다.
• 집계 점수의 모호성: 단일 집계 점수 (Global Aggregate Score) 는 다양한 프롬프트 유형과 도메인에서의 모델 행동을 가립니다. 특정 하위 집합 (Slice) 에서의 성능이 전체 평균보다 훨씬 중요할 수 있는 실제 시나리오에서 이러한 구분이 드러나지 않습니다.
• 편향된 데이터 구성: 기존 데이터셋은 특정 주제 (예: 프로그래밍, AI 관련 질문) 로 편향되어 있으며, 단순한 인사말이나 반복적인 질문이 포함되어 있어 순위 왜곡을 초래할 수 있습니다.
• 선호도 기반 평가의 한계: 객관적 정답이 있는 작업과 가치 판단이 필요한 작업에 동일한 선호도 (Preference) 기반 평가가 적용되면서, 사실적 정확성이나 안전성 같은 중요한 차원이 희석될 수 있습니다.

2. 연구 방법론 (Methodology)

이 연구는 LMArena 데이터셋에 대한 심층 분석과 이를 기반으로 한 대화형 시각화 도구 설계를 통해 문제를 해결하고자 합니다.

가. LMArena 데이터셋 심층 분석

• 데이터셋: LMArena 의 최신 'Human Preference 140K' 데이터셋 (53 개 LLM 에 대한 135,634 개의 선호도 판단) 을 분석 대상으로 삼았습니다.
• 주제 계층 구조 구축: 프롬프트를 의미적 의도에 따라 분류하기 위해 3 단계 주제 계층 구조 (Top-level, Mid-level, Fine-grained) 를 구축했습니다.
  • 저수준 클러스터링 (GPT-5 mini 를 이용한 주제 설명 생성 및 K-means 클러스터링, $k=400$).
  • 고수준 카테고리화 (GPT-5 를 이용한 추상적 그룹화 및 수동 검토).
• 성능 편차 분석: 전체 순위와 각 카테고리별 순위 간의 상관관계 (Spearman's rank correlation) 를 분석하여 모델 성능이 도메인에 따라 어떻게 달라지는지 규명했습니다.
• 작업 유형별 평가 한계 분석:
  • 결정론적 작업 (수학 등): 정답의 정확성과 인간 선호도 간의 불일치를 분석하고, 설명 스타일 (Conciseness, Structure 등) 이 선호도에 미치는 영향을 조사했습니다.
  • 가치 의존적 작업 (정치/역사 등): 다원적 관점 (Pluralistic) 과 특정 입장 (Non-pluralistic) 을 취한 응답에 대한 평가를 분석하여, 평가자의 가치관이 모델 순위에 어떻게 영향을 미치는지 확인했습니다.

나. 대화형 시각화 인터페이스 설계 (Design Probe)

• 목표: 사용자가 고정된 리더보드를 수동적으로 소비하는 것이 아니라, 자신의 맥락에 맞는 평가 우선순위를 정의하고 데이터 슬라이스를 재가중치 (Reweighting) 할 수 있도록 지원합니다.
• 인터페이스 구성:
  • 왼쪽 패널 (카테고리 선택): 프롬프트 계층 구조를 트리 형태로 제공. 사용자가 관련 카테고리를 선택/제거하고 가중치를 조정할 수 있음. 각 카테고리 내 프롬프트 예시를 직접 확인 가능.
  • 오른쪽 패널 (모델 순위): 선택된 슬라이스에 기반하여 실시간으로 계산된 모델 순위 및 히트맵 (Heatmap) 을 표시. 특정 셀을 클릭하면 해당 모델 - 카테고리 조합의 구체적인 사례를 확인 가능.
  • 연동 상호작용 (Coordinated Views): 카테고리 선택 변경 시 순위가 즉시 업데이트되며, 특정 모델의 성능이 다른 카테고리에서 어떻게 변하는지 시각적으로 추적 가능.

다. 질적 사용자 연구 (Qualitative User Study)

• 참가자: AI 모델 개발 및 평가 경험이 있는 전문가 10 명 (엔지니어, 데이터 분석가, 학자 등).
• 과제: 제공된 10 개 LLM 중 특정 시나리오 (예: 교육용 튜터, 고객 서비스 등) 에 가장 적합한 모델을 선택하는 작업.
• 방법: 생각하기 소리 내기 (Think-aloud) 프로토콜을 적용한 인터뷰 수행.

3. 주요 결과 및 발견 (Key Results & Findings)

가. 데이터셋 및 순위 편향성

• 주제 편향: 데이터셋의 약 30% 가 프로그래밍 및 소프트웨어 개발 관련 질문으로 편향되어 있어, 일반 사용자나 다른 도메인 전문가의 필요를 반영하지 못함.
• 순위 변동성: 전체 순위와 특정 카테고리 순위 간 상관관계가 낮은 경우가 많음 (예: 'Data Processing & Analysis' 카테고리에서 Claude 계열 모델이 전체 순위보다 훨씬 높은 성능을 보임).
• 작업 유형별 차이:
  • 수학: 정답이 맞더라도 사용자는 '간결함', '구조화', '추론 과정' 등 설명 스타일에 따라 선호도를 결정함. (정확성만으로는 승리를 보장하지 않음).
  • 정치/역사: 가치 판단이 필요한 질문에서는 다원적 응답보다 특정 입장을 취한 응답이 더 선호되는 경향이 있으며, 이는 평가자의 가치관에 따라 결과가 크게 달라짐을 의미함.

나. 사용자 연구 결과 (5 가지 주요 테마)

1. 선입견의 도전 및 확인: 사용자는 인터페이스를 통해 기존에 가지고 있던 모델에 대한 선입견 (예: "Claude 가 최고다") 이 특정 도메인에서는 틀릴 수 있음을 발견하거나, 반대로 검증받음.
2. 세분화된 카테고리 선택을 통한 맥락 정합성: 상위 카테고리만으로는 부적합한 하위 카테고리를 제거하고, 실제 업무에 필요한 세분화된 주제를 선택함으로써 평가의 정확성을 높임.
3. 예시 검증을 통한 의사결정 근거 마련: 단순 점수보다 구체적인 프롬프트 예시를 확인하여 모델이 왜 그 성능을 냈는지 이해하고, 이를 통해 선택에 대한 확신을 가짐.
4. 카테고리 가중치 조정: 통계적 신뢰도 (샘플 수) 와 업무 중요도를 고려하여 각 카테고리별 가중치를 능동적으로 조정 (예: 샘플 수가 적은 경우 무시하거나, 중요한 과목은 가중치 증대).
5. 리더보드의 재정의: 리더보드를 '최고 모델'을 찾는 정답이 아닌, 조직의 필요에 따른 의사결정을 지원하는 의미 구성 (Sensemaking) 도구로 인식하게 됨.

4. 주요 기여 (Contributions)

1. 평가 패러다임의 전환: LLM 리더보드 평가를 고정된 집계 평가가 아닌, 데이터 슬라이스를 탐색하고 재가중치하는 대화형 과정으로 재정의함.
2. 실증적 분석: LMArena 데이터셋의 구성이 모델 순위에 미치는 영향을 실증적으로 분석하여, 단일 점수가 어떻게 특정 데이터 편향을 반영하는지 보여줌.
3. 대화형 시각화 도구: 사용자가 평가 우선순위를 정의하고 컨텍스트에 맞는 모델 평가를 수행할 수 있는 대화형 시각화 인터페이스 (Design Probe) 를 구현하고, 이를 통한 질적 연구 결과를 제시함.

5. 의의 및 시사점 (Significance)

• 투명성과 책임성 증대: 리더보드가 어떻게 구성되었는지, 그리고 어떤 가치 판단에 기반하여 순위가 매겨지는지를 투명하게 보여줌으로써, AI 시스템의 책임 있는 사용 (Responsible AI) 을 지원함.
• 맥락 기반 의사결정 지원: 조직이나 사용자는 자신의 특정 요구사항 (예: 교육용, 금융용 등) 에 맞는 평가 기준을 직접 설정하여, 실제 배포 환경에 더 적합한 모델을 선택할 수 있게 됨.
• 평가의 한계 인식: 집계된 선호도 평가가 가치 의존적 작업이나 결정론적 작업에서 가지는 구조적 한계를 드러내고, 이를 해결하기 위해 다중 지표 (Multiple Metrics) 와 대화형 탐색의 필요성을 강조함.
• HCI 와 AI 평가의 융합: 인간 - 컴퓨터 상호작용 (HCI) 의 시각적 분석 및 의미 구성 (Sensemaking) 기법을 AI 평가 도구에 적용하여, 사용자가 복잡한 모델 성능 데이터를 능동적으로 이해하고 해석할 수 있도록 함.

이 연구는 "누가 '최고'를 정의하는가?"라는 질문을 던지며, LLM 리더보드가 단순한 순위표가 아닌, 사용자의 맥락과 가치를 반영할 수 있는 상호작용적 평가 도구로 진화해야 함을 주장합니다.