Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 다양한 응용 분야에서 '심판자 (Judge)'로 널리 사용되고 있습니다. 특히 직접 평가 (Direct Assessment) 방식, 즉 참조 없이 특정 점수 범위 (예: 1~5 점) 에서 개별 출력에 점수를 매기는 작업에서 LLM 심판자의 신뢰성 문제가 대두되었습니다.

이 논문은 기존에 잘 알려지지 않았던 새로운 편향인 **'점수 범위 편향 (Score Range Bias)'**을 발견하고 이를 해결하는 방법을 제시합니다.

• 점수 범위 편향의 정의: 동일한 내용을 평가하더라도, 정의된 점수 범위 (예: 04, 15, 2~6 등) 가 변경되면 LLM 심판자의 점수 분포와 인간 평가자와의 상관관계가 크게 달라지는 현상입니다.
• 현상: 이상적인 LLM 심판자는 점수 범위가 이동하더라도 (예: 15 점에서 26 점으로) 일관된 평가 기준을 유지해야 하지만, 실제 모델들은 특정 점수 (예: 4 점 또는 2 점) 를 선호하는 경향을 보이며, 이는 모델의 크기와 패밀리 (Family) 에 따라 다르게 나타납니다.

2. 방법론 (Methodology)

저자는 이 편향을 완화하기 위해 대조적 디코딩 (Contrastive Decoding) 기법을 적용했습니다.

• 핵심 아이디어: 동일한 모델 패밀리 (예: Llama-3 계열 또는 Qwen-2.5 계열) 내의 서로 다른 크기의 모델들은 유사한 점수 범위 편향을 공유한다는 관찰에서 출발합니다.
• 구현 방식:
  1. 메인 모델 (Main Model): 실제 평가를 수행하는 모델 (예: Llama-3.1-8B).
  2. 어시스턴트 모델 (Assistant Model): 편향을 학습하고 있는 모델 (예: Llama-3.2-3B).
  3. 수식: 다음 토큰의 확률을 조정하여 편향을 상쇄합니다.
     $$\log p_{main} - \lambda \log p_{asst}$$
     여기서 $p_{main}$은 메인 모델의 확률, $p_{asst}$는 어시스턴트 모델의 확률이며, $\lambda$는 두 모델 간의 로짓 (logit) 분포를 정렬하기 위한 하이퍼파라미터입니다.
• 동작 원리: 어시스턴트 모델이 가진 특정 점수 (예: 4 점) 에 대한 과도한 선호도를 메인 모델의 출력에서 차감함으로써, 인간 평가자의 분포에 더 가까운 결과를 도출합니다.

3. 주요 기여 (Key Contributions)

1. 점수 범위 편향의 발견 및 분석: 다양한 모델 크기 (1B~14B) 와 패밀리 (Llama-3, Qwen-2.5) 에서 직접 평가 시 점수 범위에 따라 평가 결과가 왜곡되는 '점수 범위 편향'이 존재함을 최초로 체계적으로 증명했습니다.
2. 대조적 디코딩을 통한 편향 완화: 동일한 패밀리 내의 작은 모델을 어시스턴트로 사용하여 대조적 디코딩을 적용함으로써, 이 편향을 효과적으로 제거하고 인간 평가와의 상관관계를 크게 향상시켰습니다.
3. 강건한 평가 프레임워크 제안: 표준적인 15 점 범위를 넘어선 다양한 점수 범위 (04, 2~6 등) 에서도 일관된 성능을 내는 평가 방법론을 제시했습니다.

4. 실험 결과 (Results)

실험은 SummEval 데이터셋을 기반으로 요약 (Summarization) 작업의 일관성 (Coherence), 관련성 (Relevance), 일관성 (Consistency) 평가에 수행되었습니다.

• 성능 향상:
  • 대조적 디코딩을 적용한 결과, 인간 평가와의 스피어만 (Spearman) 상관관계에서 평균적으로 11.7% 의 상대적 개선을 기록했습니다.
  • 특히 2~6 점 범위에서 편향이 가장 극심했으나, 대조적 디코딩을 통해 Llama-3 패밀리에서 Pearson 상관관계가 .168 (3B 모델) 및 .270 (8B 모델) 에서 .310으로 크게 향상되었습니다.
  • Qwen-2.5 14B 모델의 경우 평균 상관관계가 .392 에서 .438로 향상되었습니다.
• 분포 분석:
  • 그레디 (Greedy) 디코딩을 사용할 때 모델들은 특정 점수 (Llama 는 4 점, Qwen 은 2 점) 로 편향된 분포를 보였으나, 대조적 디코딩을 적용하면 인간 평가자의 분포와 매우 유사한 균일한 분포를 나타냈습니다.
• 어시스턴트 모델 크기:
  • 작은 모델 (예: 3B) 을 어시스턴트로 사용하는 것이 큰 모델 (예: 7B) 을 사용하는 것보다 더 효과적이었습니다. 큰 어시스턴트 모델은 메인 모델의 올바른 로짓까지 과도하게 penalize 하여 성능을 저하시킬 수 있음이 발견되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 심판자의 신뢰성 제고: LLM 을 평가자로 사용할 때 발생할 수 있는 숨겨진 편향 (점수 범위 편향) 을 식별하고 이를 기술적으로 해결함으로써, 자동화된 평가 시스템의 신뢰도를 높였습니다.
• 범용성: 이 접근법은 특정 모델에 국한되지 않으며, 다양한 모델 패밀리와 크기에 적용 가능합니다.
• 실용적 가치: 점수 범위를 15 점으로 고정할 필요 없이, 다양한 점수 체계 (04, 2~6 등) 를 유연하게 사용할 수 있게 하여 평가 프로세스의 유연성을 높였습니다.
• 한계: 현재 실험은 영어와 요약 작업에 국한되어 있으며, 대조적 디코딩을 위해 두 개의 모델을 실행해야 하므로 추론 비용이 증가합니다 (단, 스펙큘레이티브 디코딩 환경에서는 이 단점이 완화될 수 있음).

이 논문은 LLM-as-a-Judge 의 한계를 극복하고 더 공정하고 일관된 자동 평가를 가능하게 하는 중요한 기술적 통찰을 제공합니다.