기술 요약: 대규모 언어 모델의 상대적 선호도 평가를 위한 합의 기반 프레임워크

문제 정의

전통적인 대규모 언어 모델(LLM) 벤치마크는 정적 데이터셋과 객관적 점수 지표(예: 정답과의 일치 여부)에 크게 의존한다. 이러한 방식은 이진적인 정답 유무를 판단하는 데는 효과적이지만, 여러 개의 유효한 답변이 존재할 때 발생하는 응답 품질의 질적 차이를 포착하지 못한다. 실제 시나리오에서 응답 간의 차이는 엄격한 정답/오답의 이진 논리가 아니라 명확성, 완결성, 유용성의 스펙트럼에 달려 있다. 기존의 "LLM-as-a-Judge(판사로서의 LLM)" 접근 방식은 이를 해결하려고 시도하지만, 체계적 편향(위치 편향, 장황함, 스타일 편향) 문제를 겪을 수 있으며, 모델들이 토론이나 반복적인 논의에 참여할 때 상호작용 효과를 유발하여 판단을 왜곡할 가능성이 있다.

방법론

본 논문은 블라인드 피어 랭킹(blind peer ranking)에 기초하여 모델 생성 응답 간의 상대적 선호도를 측정하는 **합의 기반 프레임워크(Consensus-Based Framework)**를 제안한다. 핵심 목표는 객관적 정답 여부를 측정하는 것이 아니라, 다양한 피어 모델 패널에 의해 모델의 응답이 얼마나 빈번하게 선호되는지를 반영하는 **상대적 지능 지수(Relative Intelligence Index, RII)**를 도출하는 것이다.

실험 설계

• 참가자: 다섯 가지 최첨단 LLM(Anthropic Claude Opus 4.6, OpenAI GPT-5.2, Google Gemini Pro 3.1, Grok-fast 4.1, Mistral Large 2512)이 **생성자(Generator)**와 **판사(Judge)**의 역할을 동시에 수행하였다.
• 도메인: 평가는 프로그래밍, 일반 지식, 안전성, 논리적 추론(퍼즐), 수학의 5개 도메인을 포괄하였다.
• 규모: 본 연구는 5개의 도메인당 5개씩 총 25개의 고유 프롬프트를 사용하였으며, 5회의 독립적인 실험 실행을 통해 총 3,125회의 평가($25 \times 5 \times 5 \times 5$)를 수행하였다.
• 구성: 모든 모델은 무작위성과 다양성의 균형을 맞추기 위해 온도(temperature) 0.3에서 작동하였다.

평가 파이프라인

프로세스는 다음의 5단계 순차적 단계를 따랐다:

1. 응답 생성: 각 모델은 표준화된 프롬프트에 대한 응답을 생성하였다.
2. 익명화 및 무작위화: 응답에서 모델 식별자를 제거하고 익명의 라벨을 부여하였다. 위치 편향을 완화하기 위해 판사별로 순서를 무작위로 배치하였다.
3. 독립적 랭킹: 각 모델은 판사로서 관련성, 정확성(해당하는 경우), 명확성, 간결성을 기준으로 익명화된 모든 응답을 독립적으로 랭킹하였다. 판사 간의 상호작용이나 토론은 허용되지 않았다.
4. 역익명화: 라벨을 원래의 모델로 다시 매핑하였다.
5. 집계: RII를 계산하기 위해 점수를 집계하였다.

지표 정의

모델 $i$에 대한 **상대적 지능 지수(RII)**는 모든 프롬프트와 실행에 걸쳐 피어 판사들에 의해 부여된 평균 점수로 정의된다:
$$RII_i = \frac{\sum_j S_{i,j}}{\sum_j 1}$$
여기서 $S_{i,j}$는 판사 $j$가 모델 $i$에 부여한 점수이다. 이 지표는 선형 스케일링에 불변하며 서열적 선호도를 반영한다.

주요 결과

연구 결과, 도메인별 특이점과 안정성 간의 트레이드오프가 나타났음에도 불구하고 일관된 모델 간 선호 패턴이 발견되었다.

• 종합 선호도: Claude가 가장 높은 평균 RII(3.491)를 기록하였고, Grok(3.382)이 그 뒤를 이었다. Mistral은 가장 낮은 점수(2.328)를 기록하였다.
• 도메인 특이성:
  • 수학 및 논리: Claude가 일관되게 선호되었으며, 여러 실행 과정에서도 회복 탄력성을 보였다.
  • 프로그래밍: Claude가 높은 평균 선호도를 유지하였으나, ChatGPT는 특정 실행에서 유의미한 급증을 보였다.
  • 안전성: 점수가 상위 모델들(Claude, ChatGPT, Gemini) 사이에서 밀집되어 나타났으며, 이는 안전성 평가를 위한 공유된 휴리스틱을 시사한다. Mistral은 지속적으로 저조한 성적을 보였다.
  • 일반 지식 및 퍼즐: Grok이 가장 선호되는 모델로 부상하였으며, 특히 측면 사고(lateral thinking) 과업에서 Claude를 여러 차례 앞질렀다.
• 안정성 대 성능: 일관성과 정점 선호도 사이의 트레이드오프가 관찰되었다. Mistral과 Gemini는 가장 높은 일관성(가장 낮은 표준 편차)을 보인 반면, ChatGPT는 가장 낮은 일관성(가장 높은 변동성)을 보였다.
• 지연 시간 트레이드오프: 선호도 점수와 응답 속도 사이의 실질적인 트레이드오프가 확인되었다. Mistral이 가장 빨랐던 반(4,300ms), Gemini와 Claude는 각각 현저히 높은 지연 시간(14,600ms 및 11,200ms)을 보였다.

주요 기여

1. 블라인드 피어 랭킹 프레임워크: 독립적이고 익명화된 판단에 의존함으로써 상호작용 효과와 브랜드 편향을 최소화하는, 모델 주도의 확장 가능한 비교 평가 방법을 도입하였다.
2. 상대적 지능 지수(RII): 모델 간 선호도 정렬을 정량화하는 지표를 제안하여, 전통적인 정확도 기반 벤치마크를 보완하는 관점을 제공한다.
3. 모델 간 역학 관계의 경험적 분석: 다양한 도메인에서 서로 다른 LLM들이 서로를 어떻게 랭킹하는지에 대한 데이터를 제공하며, "최고"라는 개념이 종종 맥락 의존적이며 상대적임을 강조한다.

의의 및 주장

본 논문은 이 프레임워크를 인간 평가를 대체하거나 객적 지능을 측정하는 도구가 아니라, 여러 유효한 답변이 존재하는 시나리오에서 인지된 응답 품질에 대한 **대리 신호(proxy signal)**로 규정한다.

• 겸허한 주장: 저자들은 RII가 객관적 정확성이나 인간의 판단이 아닌, 공유된 학습 데이터와 스타일적 편향의 영향을 받는 "모델 간 선호도 정렬"을 반영한다고 명시적으로 밝히고 있다.
• 유용성: 본 프레임워크는 정답 여부가 이진적이지 않은 "회색 영역" 과업에서 신속한 벤치마킹을 위한 재현 가능하고 자동화된 접근 방식을 제공한다.
• 향후 방향: 향-후 연구는 정답성 필터링을 통합하고, 모델의 다양성을 확장하며, 모델 간 합의와 실제 사용자 만족도 사이의 상관관계를 더 잘 이해하기 위해 인간의 선호도와 캘리브레이션(calibration)하는 데 집중해야 한다고 제언한다.

본 연구는 합의 기반 평가가 정렬 문제(alignment problem)를 해결하지는 못하지만, 모델이 동료 모델의 출력 품질을 어떻게 인식하는지 이해하는 데 있어 가치 있고 안정적인 신호를 제공한다고 결론짓는다.