MultiwayPAM: Multiway Partitioning Around Medoids for LLM-as-a-Judge Score Analysis

이 논문은 LLM-as-a-Judge 평가에서 발생하는 계산 비용과 편향을 해결하고 점수 구조를 분석하기 위해 질문, 답변자, 평가자의 조합으로 구성된 점수 텐서에 대해 군집 멤버십과 대표 객체 (medoids) 를 동시에 추정하는 새로운 텐서 군집화 방법인 MultiwayPAM 을 제안합니다.

핵심

이 논문은 **"LLM(거대 언어 모델) 이 평가자 (심판) 로 활동할 때 발생하는 복잡한 점수들을 어떻게 정리하고, 그 속에 숨겨진 편향을 찾아낼 수 있을까?"**에 대한 해답을 제시합니다.

비유하자면, 이 연구는 **"수천 개의 시험지 (답안) 를 수백 명의 심판이 평가한 점수표를 분석하는 새로운 방법"**을 개발한 것입니다.

이 내용을 일상적인 언어와 쉬운 비유로 설명해 드릴게요.

---

1. 왜 이 연구가 필요할까요? (문제 상황)

상상해 보세요. 새로운 AI 가 쓴 글 (답변) 들을 평가하는 대회가 열렸습니다.

• 문제: 50 개의 질문, 50 명의 답변자 (AI), 50 명의 심판 (AI) 이 있다면, 총 $50 \times 50 \times 50 = 125,000$개의 조합이 생깁니다.
• 고통: 모든 조합을 AI 심판에게 점수를 매기게 하면, 시간과 돈 (컴퓨팅 비용) 이 너무 많이 듭니다.
• 편향: AI 심판은 사람처럼 '편견'이 있을 수 있습니다. 예를 들어, "자기가 만든 답변은 무조건 잘한다"거나 "특정 성격의 답변자에게만 높은 점수를 준다"는 식입니다.

우리는 이 거대한 점수표 속에서 **"어떤 질문, 어떤 답변자, 어떤 심판이 서로 비슷한 성향을 가졌는지"**를 찾아내어, 불필요한 계산을 줄이고 편향을 이해하고 싶었습니다.

2. 해결책: 'MultiwayPAM'이란 무엇인가요?

저희가 제안한 방법은 **'MultiwayPAM(멀티웨이 파함)'**이라는 새로운 분석 도구입니다.

비유: "대형 마트 진열장 정리하기"

• 기존 방법 (TBM): 마트 진열장에 있는 수만 개의 상품을 단순히 '평균 가격'으로 그룹화합니다. "이 구역은 평균 5,000 원대 상품이다"라고만 알 수 있습니다. 하지만 어떤 상품이 대표 상품인지, 왜 그 가격이 나왔는지 구체적으로 알기 어렵습니다.
• 새로운 방법 (MultiwayPAM): 이 방법은 **"대표 상품 (메도이드, Medoid)"**을 선정합니다.
  • "이 구역의 가장 전형적인 상품은 이거야!"라고 하나를 뽑아냅니다.
  • 그리고 "이 상품과 비슷한 것들은 모두 이 그룹에 속해"라고 묶습니다.

이렇게 하면 단순히 "평균 점수"만 보는 게 아니라, **"이 그룹을 대표하는 질문은 무엇이고, 이 그룹을 대표하는 심판은 누구이며, 그들이 준 점수는 얼마인가?"**를 한눈에 파악할 수 있습니다.

3. 어떻게 작동하나요? (작동 원리)

이 도구는 두 단계를 반복하며 가장 좋은 그룹을 찾아냅니다.

1. 초기 배치 (BUILD): 무작위로 '대표 상품' 몇 개를 뽑아 그룹을 만듭니다.
2. 교체와 수정 (SWAP): "아, 이 대표 상품 대신 저걸로 바꾸면 그룹이 더 잘 정리되겠네?"라고 생각하며 대표 상품을 계속 바꿔봅니다.
   • 질문 그룹, 답변자 그룹, 심판 그룹을 번갈아 가며 최적의 조합을 찾습니다.
   • 마치 퍼즐을 맞추듯, 점수 패턴이 가장 잘 맞는 '대표'들을 찾아냅니다.

4. 실험 결과: 무엇을 발견했나요?

실제 데이터 (Truthy, Emerton) 에 이 방법을 적용해 보니 흥미로운 사실들이 드러났습니다.

• 심판의 성향 파악:

  • 어떤 심판 (예: "군인 커리어를 걱정하는 간호사") 은 특정 질문 (예: "물리적 환경 이동 능력") 에 대해 낮은 점수를 주었습니다.
  • 반면, 다른 심판 (예: "축구 팬") 은 전혀 다른 질문 (예: "하루 8 잔의 물") 에 대해 높은 점수를 주었습니다.
  • 즉, 심판의 배경 (페르소나) 이 점수에 큰 영향을 미친다는 것을 그룹별로 명확히 보여줬습니다.

• 질문의 난이도 파악:

  • 어떤 질문 그룹은 모든 심판이 낮은 점수를 주었습니다 (답변하기 어려운 질문).
  • 또 다른 질문 그룹은 모든 심판이 높은 점수를 주었습니다 (명확한 질문).

5. 이 연구의 핵심 가치

이 연구는 단순히 점수를 줄이는 게 아니라, **"왜 그 점수가 나왔는지"**를 설명 가능한 형태로 만들어줍니다.

• 비용 절감: 모든 조합을 평가할 필요 없이, 대표 그룹만 분석하면 전체적인 경향을 알 수 있어 AI 추론 비용을 아낄 수 있습니다.
• 편향 발견: "아, 이 심판은 자기와 비슷한 답변자에게만 잘해 주는구나"라는 편향을 찾아내어, 더 공정한 평가를 설계하는 데 도움을 줍니다.

요약

이 논문은 **"수많은 AI 평가 데이터를 '대표 상품'을 뽑아내는 방식으로 정리하여, 복잡한 점수 패턴을 쉽게 이해하고 평가의 편향을 찾아내는 새로운 방법 (MultiwayPAM)"**을 제안했습니다. 마치 거대한 도서관에서 책들을 단순히 '장르'로만 분류하는 게 아니라, **'가장 대표적인 책 한 권'**을 뽑아 그 장르의 특징을 한눈에 보여주는 것과 같습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

LLM-as-a-Judge는 프롬프트 템플릿을 변경함으로써 다양한 관점에서 텍스트의 품질을 평가할 수 있는 유연한 프레임워크입니다. 그러나 이 방법론을 대규모로 적용할 때 두 가지 주요한 과제가 존재합니다.

1. 계산 비용 (Computational Cost): 평가 대상 텍스트, 질문, 답변 생성자 (Answerer), 평가자 (Evaluator) 의 모든 조합에 대해 LLM 추론을 수행하는 것은 비용이 매우 큽니다. (예: $d_1$개의 질문, $d_2$개의 답변자, $d_3$개의 평가자가 있다면 $d_1 \times d_2 \times d_3$번의 생성 단계가 필요함)
2. 평가자의 편향 (Evaluator Bias): LLM 평가자는 다양한 형태의 편향을 가집니다. 예를 들어, '자기 강화 편향 (Self-enhancement bias)'처럼 자신이 생성한 답변을 선호하거나, 유사한 성향의 질문/답변자/평가자 조합이 유사한 점수를 주는 구조적 편향이 존재할 수 있습니다.

기존의 텐서 클러스터링 방법들은 이러한 블록 구조 (Block Structure) 를 발견할 수는 있으나, 각 클러스터의 구성을 해석하기 어렵다는 한계가 있습니다. 클러스터 내 인덱스 수가 많아질수록 어떤 데이터가 대표성을 갖는지 파악하기 어렵기 때문입니다.

2. 제안 방법: MultiwayPAM (Methodology)

저자들은 LLM-as-a-Judge 점수 텐서의 구조를 분석하고 편향을 해석하기 위해 **MultiwayPAM (Multiway Partitioning Around Medoids)**이라는 새로운 텐서 클러스터링 방법을 제안합니다.

• 핵심 아이디어: 벡터 데이터 클러스터링에 널리 사용되는 PAM (Partitioning Around Medoids) 알고리즘을 고차원 텐서 데이터로 확장한 것입니다.
• 목표: 주어진 텐서 $Y$ (질문, 답변자, 평가자 모드) 에 대해 각 모드별 **클러스터 소속 (Membership)**과 **대표 인덱스 (Medoids)**를 동시에 추정합니다. Medoid 를 통해 각 클러스터의 구성을 직관적으로 이해할 수 있습니다.
• 알고리즘 구조:
  1. BUILD 알고리즘 (초기화): 각 모드 (Question, Answerer, Evaluator) 에 대해 탐욕적 (Greedy) 방식으로 초기 Medoid 를 선택합니다.
     • 첫 번째 Medoid 는 전체 슬라이스 간 불일치 (Dissimilarity) 합이 최소가 되는 인덱스를 선택합니다.
     • 이후 Medoid 들은 기존 Medoid 들로부터 가장 먼 슬라이스를 선택하는 방식으로 추가됩니다.
     • 초기 클러스터 소속은 각 인덱스를 가장 가까운 Medoid 에 할당하여 결정합니다.
  2. SWAP 알고리즘 (반복 최적화): 초기화된 Medoid 와 소속 목록을 기반으로 로컬 최적해를 찾습니다.
     • 각 모드에서 Medoid 인덱스와 비-Medoid 인덱스 쌍을 교환 (Swap) 하여 텐서 재구성 오차 (Dissimilarity) 가 감소하는지 확인합니다.
     • 교환 시 클러스터 소속을 재계산하며, Medoid 가 자신의 클러스터에 속하도록 보장하는 조건을 포함합니다.
     • 모든 모드에 대해 최적의 교환을 반복 수행하여 수렴할 때까지 과정을 반복합니다.
• 손실 함수: 원본 텐서 $Y$와 Medoid 텐서 $\hat{Y}$ (각 요소가 해당 블록의 Medoid 값으로 대체된 텐서) 간의 L2 노름 (제곱 오차 합) 을 최소화합니다.

3. 실험 및 결과 (Experiments & Results)

저자들은 두 가지 실제 데이터셋 (Truthy-DPO-v0.1과 Emerton-DPO-Pairs-Judge) 을 사용하여 MultiwayPAM 을 검증했습니다.

• 데이터셋 구성:
  • 질문 ($d_1=50$), 답변자/평가자 역할 ($d_2=d_3=50$) 로 구성된 3 차 텐서 생성.
  • GPT-4o mini 를 사용하여 답변 생성 및 평가 수행.
  • 클러스터 수 설정: 각 모드당 5 개 ($c=[5, 5, 5]$).
• 주요 발견:
  • Truthy 데이터셋: Medoid 분석을 통해 특정 질문 유형과 평가자 성향 간의 상관관계를 발견했습니다.
    • 예: "군대 경력의 위험을 우려하는 간호사" (Medoid E14) 는 "물리적 환경 이동 능력" (Medoid Q6) 관련 질문에 낮은 점수를 부여하는 반면, "Trident F.C. 팬" (Medoid E22) 은 "하루 8 잔의 물 섭취" (Medoid Q11) 관련 질문에 높은 점수를 부여했습니다. 이는 평가자의 배경 (Persona) 이 점수 편향에 영향을 미친다는 것을 보여줍니다.
  • Emerton 데이터셋: 점수 변화의 주된 원인이 질문 (Question) 의 종류에 있음을 확인했습니다.
    • 일부 질문 (Medoid Q11) 에 대해서는 모든 답변자 - 평가자 조합이 낮은 점수를, 다른 질문 (Medoid Q40) 에 대해서는 높은 점수를 일관되게 부여했습니다.
• 성능 비교 (TBM vs MultiwayPAM):
  • 기존 텐서 블록 모델 (TBM, Tensor Block Model) 과 비교했습니다.
  • RMSE-M (Medoid 기반 오차): MultiwayPAM 이 TBM 보다 **더 낮은 오차 (0.714 vs 0.783, 0.523 vs 0.570)**를 기록하여 원본 텐서를 Medoid 로 근사하는 데 더 우수함을 입증했습니다.
  • RMSE-C (Centroid 기반 오차): TBM 이 약간 더 좋았으나, Medoid 를 통해 해석 가능한 대표성을 얻는 것이 본 연구의 핵심 목표이므로 MultiwayPAM 의 접근이 유효함을 강조했습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 텐서 클러스터링 알고리즘 개발: PAM 알고리즘을 텐서 데이터에 적용하여 MultiwayPAM을 제안했습니다. 이는 각 모드별 클러스터 소속과 Medoid 를 동시에 추정할 수 있게 합니다.
2. 해석 가능성 (Interpretability) 향상: 단순히 클러스터만 나누는 것이 아니라, 각 클러스터를 대표하는 구체적인 인덱스 (Medoid) 를 제공함으로써, LLM 평가자의 편향 구조나 질문/답변 특성을 인간이 직관적으로 이해할 수 있게 합니다.
3. LLM-as-a-Judge 분석 프레임워크: LLM 평가의 계산 비용 절감 (구조 파악을 통한 예측 가능성) 과 편향 구조 규명이라는 두 가지 문제를 해결하기 위한 체계적인 접근법을 제시했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM-as-a-Judge 방식의 평가에서 발생하는 대규모 데이터의 복잡성과 편향을 해결하기 위해 Medoid 기반의 텐서 클러스터링을 도입했다는 점에서 의의가 있습니다.

• 실용적 가치: Medoid 를 통해 "어떤 질문이 어떤 유형의 평가자에게 어떻게 평가되는가"를 구체적으로 파악할 수 있어, 평가 시스템의 신뢰성을 높이고 편향을 보정하는 데 기여할 수 있습니다.
• 향후 과제:
  • 사전에 클러스터 수 ($c$) 를 결정해야 하는 한계를 극복하기 위해 적절한 블록 수를 자동으로 결정하는 방법 연구.
  • Medoid 가 수치적 근사 (Approximation) 만을 최적화할 뿐, 같은 클러스터 내 다른 인덱스들과 의미론적 (Semantic) 유사성이 항상 높은 것은 아니라는 점을 고려하여, 의미적 유사성을 고려한 Medoid 선택 방법 개발 필요.

요약하자면, MultiwayPAM 은 LLM 평가 데이터의 구조적 패턴을 발견하고 해석 가능한 대표 사례를 추출함으로써, 대규모 텍스트 평가 시스템의 효율성과 투명성을 동시에 높이는 강력한 도구입니다.