기술 요약: 대규모 언어 모델의 수치적 편향에 미치는 정렬(Alignment)의 영향 탐구

문제 정의

텍-질(text quality)의 평가자로 대규모 언어 모델(LLM)을 활용하는 "LLM-as-a-judge" 패러다임은 BLEU나 ROUGE와 같은 전통적인 지표를 대체할 수 있는 확장 가능한 대안으로 부상했습니다. 그러나 이 방식은 평가자가 특정 숫자 토큰을 불균형적으로 생성하여 점수 분포를 왜곡하는 현상인 수치적 편향(numerical bias) 문제를 겪고 있습니다. 이러한 편향은 평가의 변별력을 저하시키며, 인간의 판단과 높은 상관관계를 보이는 것이 실제 평가 능력 때문이 아니라 점수 클러스터링(score clustering)을 통해 인위적으로 달성된 것일 수 있다는 점에서 프레임워크의 견고성에 대한 우려를 제기합니다.

평가용 LLM은 일반적으로 지시 이행 능력을 향상시키기 위해 정렬(instruction 및 preference tuning) 과정을 거친 사후 정렬(post-alignment) 모델을 사용하지만, 선행 연구들은 정렬이 출력 다양성을 감소시킬 수 있다고 시사합니다. 본 연구는 수치적 편향이 정렬 과정의 부작용이며, 모델이 입력 품질의 미세한 차이를 포착하지 못하고 점수 부여에 있어 과도하게 일관성을 갖게 되는 현상이라는 가설을 세웠습니다.

방법론

본 연구는 세 가지 회귀 작업(regression tasks)에 대해 사전 정렬(pre-alignment) 모델과 사후 정렬(post-alignment) 모델을 비교 분석함으로써 모델 정렬과 수치적 편향 사이의 관계를 조사합니다:

1. MTQE (기계 번역 품질 추정): 참조 텍스트 없이 번역 품질을 평가함.
2. GECQE (문법 오류 수정 품질 추정): 수정된 문장을 평가함.
3. LCP (어휘 복잡도 예측): 단어의 복잡도를 예측함.

실험 설계

• 모델: 저자들은 네 가지 모델 시리즈(Gemma, Mistral, Llama 3, Qwen 2)를 각각 베이스(사전 정렬) 버전과 인스트럭트(사후 정렬) 버전으로 비교했습니다.
• 지표:
  • 첨도(Kurtosis): 수치적 편향을 정량화하기 위한 주요 지표로 사용되었습니다. 첨도가 높을수록 특정 값 주변에 더 날카롭고 집중된 분포를 나타냅니다.
  • 피어슨 상관계수 ($r$): 모델 점수와 인간의 골드 스코어(gold scores) 간의 정렬을 평가하기 위해 측정되었습니다.
• 완화 전략 (RQ2): 사후 정렬 모델의 편향을 완화하기 위해 세 가지 접근 방식을 테스트했습니다:
  1. 온도 스케일링 (Temperature Scaling): 출력 다양성을 높이기 위해 온도 파라미터를 변화시킵니다.
  2. 분포 교정 (Distribution Calibration): 레이블의 주변 분포(marginal distribution)를 교정하기 위해 생성적 교정 방법(Jiang et al., 2023)을 적용합니다.
  3. 점수 범위 조정 (Score Range Adjustment): 프롬프트에 명시된 출력 범위(예: 1–5, 0–9, 1–100)를 수정합니다.

주요 결과

1. 정렬은 수치적 편향을 유발한다

• 분포 변화: 사전 정렬 모델은 지시 이행 능력이 약해 무작위 출력을 내놓는 경향이 있어 낮은 첨도의 다양한 점수 분포를 보였습니다. 반면, 사후 정렬 모델은 특정 값(예: 8)에 점수가 집중되어 결과적으로 훨씬 높은 첨도를 나타냈습니다.
• 정확도와의 상관관계: 첨도와 평가 정확도($r$) 사이에 강한 음의 상관관계($-0.60$)가 관찰되었습니다. 수치적 편향이 높은 모델은 일관되게 인간의 판단과의 상관관계가 낮았습니다.
• 언어 및 모델별 차이: 편향은 저자원 언어(예: 네팔어-영어, 싱할라어-영어)보다 고자원 언어(예: 영어-독일어, 영어-중국어)에서 더 두드러졌습니다. 모델 중에서는 Gemma가 가장 강한 편향을 보였으며, Llama와 Qwen은 상대적으로 낮은 첨도를 보였습니다.

2. 완화 전략의 효과성

• 온도 스케일링: 온도를 높이면 첨도(편향)는 감소했으나, 평가 정확도가 일관되게 개선되지는 않았습니다. 일부 경우, 지나치게 높은 온도는 성능을 저하시켰습니다.
• 분포 교정: 이 방법은 여러 모델에서 첨도를 성공적으로 줄였으나, 정확도 측면에서는 혼재된 결과를 보였으며, 이미 정확도가 높은 모델의 경우 오히려 성능을 떨어뜨리기도 했습니다.
• 점수 범위 조정: 이것이 가장 효과적인 전략으로 입증되었습니다. 점수 범위를 조정하는 것(예: 1–100으로 확장하거나 1–5로 축소)은 첨도를 크게 낮추었으며, 많은 경우 인간의 판단과의 상관관계를 향상시켰습니다. 예를 들어, Gemma를 사용한 MTQE 작업에서 1–100 범위는 기본 범위 및 온도 튜닝 결과보다 더 나은 성능을 보였습니다.

주요 기여

1. 인과 관계 규명: 본 연구는 LLM 평가자의 수치적 편향이 일반적인 출력 다양성 문제와 구별되는, 정렬 과정의 직접적인 결과라는 실증적 근거를 제공합니다.
2. 편향-정확도 트레이드오프: 저자들은 정렬이 지시 이행 능력을 향상시키지만, 그 결과로 발생하는 수치적 편향이 평가 정확도를 저해할 수 있음을 보여줍니다. 또한, 골드 데이터가 없는 상황에서 견고한 평가자를 선택하기 위한 대리 지표(proxy metric)로 첨도를 사용할 수 있음을 제안합니다.
3. 점수 범위의 최적화: 본 논문은 점수 범위를 고정된 설계 선택지로 취급하는 것에 이의를 제기하며, 이를 튜닝 가능한 하이퍼파라미터로 취급해야 함을 입증합니다. 점수 범위를 최적화하는 것이 온도 스케일링이나 교정 단독 사용보다 편향을 완화하고 성능을 높이는 데 더 효과적인 휴리스틱임을 보여줍니다.

의의 및 한계

본 논문은 사후 정렬 모델이 지시 이행 능력 덕분에 평가 작업에서 사전 정렬 모델보다 우수하지만, 내재된 수치적 편향이 신뢰성을 제한한다는 결론을 내립니다. 연구 결과는 최적의 점수 범위 선택이 LLM-as-a-judge 시스템에서 중요하면서도 자주 간과되는 핵심 요소임을 강조합니다.

저자들은 자신들의 완화 전략(특히 점수 범위 조정)이 근본적인 해결책이라기보다는 **휴리스틱하며 작업 특이적(task-specific)**이라는 점을 인정하며 겸허한 입장을 유지합니다. 또한 공개 모델의 내부 정렬 데이터를 분석할 수 없다는 점, 수치적 점수 출력에 국한되었다는 점, 그리고 정렬이 자연어 또는 순위 기반 평가에 미치는 영향이 미해결 상태라는 점 등을 한계로 꼽았습니다. 향리 연구는 정렬 유도 편향의 근본 원인을 해결하기 위한 더욱 견고하고 일반화 가능한 전략을 개발하는 데 초점을 맞출 것입니다.