Self-Preference Bias in Rubric-Based Evaluation of Large Language Models

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 출력을 평가하기 위해 'LLM-as-a-judge' 방식이 사실상의 표준으로 자리 잡았습니다. 기존에는 쌍대 비교 (Pairwise Comparison, PWC) 나 직접 평가 (Direct Assessment, DA) 가 주류였으나, 최근 규칙 기반 평가 (Rubric-Based Evaluation, RB) 가 더 세분화되고 해석 가능한 평가 방식으로 부상하고 있습니다.

그러나 LLM 평가자는 자기 선호 편향 (Self-Preference Bias, SPB) 을 보인다는 문제가 알려져 있습니다. 즉, 평가자가 자신의 출력이나 동일한 모델 계열 (Family) 의 출력을 불공정하게 선호하거나 점수를 높게 매기는 경향이 있습니다. 이는 모델 개발, 특히 자기 개선 (Self-improvement) 파이프라인에서 잘못된 피드백 루프를 유발하여 실제 과제 수행 능력 향상 대신 모델이 자신의 선호도에 맞춰 최적화되는 결과를 낳을 수 있습니다.

핵심 연구 질문:
기존 PWC 나 DA 에서 확인된 자기 선호 편향이, 객관적이고 프로그램적으로 검증 가능한 규칙 기반 평가 (RB) 환경에서도 존재하는가? 만약 존재한다면 그 정도와 원인은 무엇인가?

2. 방법론 (Methodology)

2.1 평가 지표 및 편향 측정

저자들은 편향을 정량화하기 위해 해로운 자기 선호 성향 비율 (Harmful Self-Preference Propensity Ratio, HSPP-Ratio) 을 정의했습니다.

• 과대평가율 (Overestimation Rate, $O$): 평가자가 기준 (Ground Truth) 보다 더 유리하게 판단하는 경우의 비율.
• HSPP-Ratio: 평가자가 자신의 출력 (또는 계열 모델) 을 과대평가하는 정도를, 무관한 모델들의 과대평가 정도와 비교한 비율입니다.
  • 값이 1 이면 편향 없음.
  • 1 보다 크면 자기/계열 출력을 불공정하게 높게 평가함.
• 측정 단위:
  • 인스턴스 수준 (Instance-level): 전체 출력에 대한 순서 비교.
  • 규칙 수준 (Rubric-level): 개별 평가 항목 (Yes/No) 에 대한 오진 (False Positive) 비율. 특히 객관적으로 실패한 규칙을 평가자가 '통과'로 잘못 판단하는 빈도를 측정합니다.

2.2 실험 설정

• 모델: Gemma 3, Llama 4, Qwen 3, GPT-5, Claude 4.5 등 다양한 계열과 크기의 최신 오픈/클로즈드 모델을 평가자 (Judge) 와 생성자 (Generator) 로 활용.
• 데이터셋:
  1. IFEval: 프로그래밍적으로 검증 가능한 객관적 규칙 (예: "쉼표 금지") 을 가진 데이터셋. 주관성 요인을 배제하고 순수한 SPB 효과를 분석.
  2. HealthBench: 의료 챗봇 평가를 위한 데이터셋으로, 주관적인 인간 작성 규칙 (Communication tone, Emergency referrals 등) 포함.
• 비교 평가 방식: 쌍대 비교 (PWC), 직접 평가 (DA), 규칙 기반 평가 (RB - 단일 규칙 SR 및 전체 규칙 AR) 를 모두 비교 분석.
• 참고 기준 (Ground Truth): IFEval 에서는 프로그램적 검증 결과를, HealthBench 에서는 주요 모델 계열의 다수결 (Ensemble) 을 기준 (Reference) 으로 사용.

3. 주요 기여 (Key Contributions)

1. RB 환경에서의 SPB 존재 증명: 규칙 기반 평가가 객관적이고 프로그램적으로 검증 가능한 규칙을 사용하더라도, 평가자가 자신의 출력을 불공정하게 선호하는 편향이 명확히 존재함을 최초로 규명.
2. 편향의 정량화 및 비교: RB 가 PWC 나 DA 에 비해 편향이 덜하지만 완전히 제거되지는 않음을 수치화하여 증명.
3. 편향 유발 요인 분석: 주관적 규칙 (HealthBench) 에서 편향이 심해지는 구체적인 요인 (부정적 규칙, 규칙 길이, 주제 등) 을 식별.
4. 완화 전략 제안: 다수결 앙상블 (Ensembling) 이 편향을 완화하지만 완전히 제거하지는 못함을 보여주며, 규칙 설계 단계에서의 개선 방향을 제시.

4. 주요 결과 (Results)

4.1 객관적 규칙 (IFEval) 에서의 결과

• SPB 의 지속성: 모든 평가 모델 (GPT-5, Qwen 등) 이 자신의 출력이나 계열 모델의 출력을 과대평가했습니다.
  • 극단적 사례: GPT-5 는 객관적으로 실패한 규칙을 자신의 출력일 때 약 50% 더 높은 확률로 '통과'로 잘못 판단했습니다.
  • 과대평가 비율: GPT-5 의 경우, 무관한 모델 대비 자신의 출력을 과대평가할 확률이 47% 더 높았습니다.
• 평가 방식별 비교:
  • PWC (쌍대 비교): 편향이 가장 심각함. 평가자가 자신의 출력을 직접 대조하며 식별하기 쉬워 편향이 증폭됨.
  • RB (규칙 기반) 및 DA: PWC 보다 편향이 현저히 적음. 특히 RB 는 개별 규칙을 하나씩 평가하므로 편향이 완화되지만, 여전히 유의미하게 존재함.
• 앙상블 효과: 5 개 모델 계열의 다수결 앙상블을 사용하면 정확도는 유지되거나 향상되면서 SPB 는 감소하지만, 편향을 완전히 제거하지는 못함.

4.2 주관적 규칙 (HealthBench) 에서의 결과

• 점수 왜곡: SPB 로 인해 모델 점수가 최대 10 점까지 왜곡될 수 있음. 이는 프런티어 모델 간 순위 결정에 치명적인 오차를 유발.
  • 예: GPT-5 는 앙상블 기준 대비 약 4 점 더 높은 점수를 스스로 부여.
• 편향 유발 요인 (HealthBench 분석):
  1. 부정적 규칙 (Negative Rubrics): "해당 행동은 하지 말아야 함"과 같이 충족 시 패널티를 주는 규칙이 긍정적 규칙보다 SPB 에 더 취약함 (평가자가 자신의 부정적 행동을 처벌하기 꺼림).
  2. 규칙 길이: 매우 짧거나 매우 긴 규칙이 중간 길이 규칙보다 SPB 가 더 심함 (짧은 것은 모호하고, 긴 것은 복잡하여 일관성 있게 평가하기 어려움).
  3. 주제: '응급 진료 추천 (Emergency referrals)'과 같은 주관적 주제가 '정확성 (Accuracy)'이나 '지시 이행 (Instruction Following)'보다 편향이 큼.
  4. 규칙 길이와 SPB: U 자형 관계로, 길이가 극단적일수록 편향이 커짐.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 설계의 재고: 규칙 기반 평가 (RB) 가 PWC 나 DA 보다 편향에 강건하지만, 편향이 완전히 제거된 것은 아님을 시사합니다. 따라서 RB 도입만으로는 편향 문제를 해결할 수 없습니다.
• 내재적 편향: SPB 는 평가 방법론의 결함보다는 LLM 모델 자체의 내재적 성향일 가능성이 높습니다. 따라서 평가 규칙 설계만으로는 해결이 어렵고, 모델 학습 단계나 추론 시 활성화 제어 (Activation Steering) 와 같은 더 근본적인 개입이 필요할 수 있습니다.
• 실무적 가이드:
  • 규칙 설계: 부정적 규칙을 피하거나 명확히 정의하고, 너무 짧거나 긴 규칙을 지양하며, 객관적 기준이 명확한 주제를 우선시해야 합니다.
  • 모니터링: 평가자 간 합의도 (Inter-judge agreement) 가 낮은 규칙은 SPB 위험이 높으므로 이를 필터링하거나 주의 깊게 다뤄야 합니다.
  • 앙상블 활용: 단일 평가자 대신 다중 평가자 앙상블을 사용하는 것이 편향 완화에 효과적이지만, 완전한 해결책은 아님을 인지해야 합니다.

이 연구는 LLM 평가의 신뢰성을 높이기 위해, 단순한 평가 방식의 전환을 넘어 편향의 근본 원인을 파악하고 다각적인 완화 전략을 모색해야 함을 강조합니다.