기술 요약: LLM 평가자는 언어 간 편향성을 보인다

1. 문제 정의

프롬프트 기반의 "LLM-as-a-Judge" 시스템과 학습된 보상 모델(Reward Models)을 모두 포함하는 대규모 언어 모델(LLM) 평가자는 자동화된 벤치마킹, 안전성 감사, 그리고 인간 피드백 기반 강화학습(RLHF)을 위한 표준 도구로 사용됩니다. 이러한 시스템은 일반적으로 **쌍체 정확도(pairwise accuracy)**를 통해 검증되는데, 이는 평가자가 선호되는 응답을 거절된 응답보다 더 높게 순위 매기는지를 측정합니다.

다국어 환경에서의 지배적인 가정은 높은 쌍체 정확도가 **언어 중립적 점수 산출(language-neutral scoring)**을 의미한다는 것입니다. 즉, 의미론적으로 동일한 콘텐츠는 어떤 언어로 표현되든 동일한 절대 점수를 받아야 한다는 것입니다. 본 논문은 이 가정에 이의를 제기하며, LLM 평가자가 체계적이고 언어 의존적인 점수 변화(pointwise score shifts)를 보인다는 점을 입증합니다. 결과적으로, 쌍체 지표 하에서는 견고해 보이는 평가자들이 임계값 기반 결정(threshold-based decisions)에서는 상당한 격차를 유발하며, 특히 저자원 언어(lower-resource languages)에 불이익을 주거나 오차를 발생시킵니다.

2. 방법론

데이터셋 및 범위

저자들은 의미적으로 동일한 지시어-응답 쌍을 사용하여 23개 언어에 걸쳐 실험을 수행했습니다. 데이터는 RewardBench와 그 인간 검증 다국어 확장판인 M-RewardBench에서 추출되었습니다. 이 벤치마크들은 Chat, Chat-Hard, Safety, Reasoning의 네 가지 뚜렷한 카테고리를 다루며, 연구 결과가 다양한 작업 형식과 도메인에 걸쳐 나타나도록 보장합니다. M-RewardBench의 모든 데이터는 기계 번역의 흔적을 피하기 위해 전문적으로 번역되고 인간에 의해 검증되어 의미적 병렬성을 유지했습니다.

평가자(Evaluators)

본 연구는 서로 다른 아키텍처와 학습 패러다임을 대표하는 8개의 개별 모델을 평가했습니다:

• LLM-as-a-Judge (4개 모델): Aya Expanse 32B, Qwen 2.5 72B, LLaMA 3.1 70B Instruct, M-Prometheus 14B. 이들은 표준 1–5 리커트 척도 루브릭(rubric)으로 프롬프트되었습니다.
• 보상 모델 (4개 모델): URM-LLaMA-3.1-8B, BTRM-Qwen-2-7B, Skywork-Reward-Gemma-2-27B, Skywork-Reward-LLaMA-3.1-8B-v0.2. 이들은 명시적인 루브릭 없이 연속적인 스칼라 점수를 출력합니다.

실험 설계

1. 점수 변화 분석 (Scoring Shift Analysis): 저자들은 동일한 콘텐츠에 대해 언어 간 평균 점수(mean pointwise scores)를 비교했습니다.
2. 쌍체 vs. 절대 검증 (Pairwise vs. Absolute Validation): 고정된 전역 결정 임계값(fixed global decision threshold) 하에서 쌍체 정확도와 수용률(acceptance rates) 사이의 관계를 분석했습니다.
3. 메커니즘 조사 (Mechanism Investigation): 왜 저자원 언어가 더 높은 점수를 받는지 이해하기 위해, 저자들은 모델 불확실성(음의 로그 가능도, NLL로 측정)과 보상 점수 사이의 관계를 모델링했습니다. 이들은 점수 분산을 불확실성, 언어 정체성 및 이들의 상호작용에 의해 설명되는 구성 요소로 분해하기 위해 중첩 최소제곱 회귀(nested OLS regressions)를 채택했습니다.
4. 공격 표면 분석 (Attack Surface Analysis): 언어별 임계값 전략이 코드 스위칭(code-switched) 프롬프트에 대해 얼마나 취약한지 테스트했습니다.

3. 주요 결과

체계적인 점수 편향

• 방향성 변화 (Directional Shift): 평가자는 언어에 따라 의미적으로 동일한 콘텐츠에 대해 현저히 다른 절대 점수를 부여합니다. 이 편향은 상당하며, 1–5 척도 기준으로 약 0.4–0.5 점의 변화에 달합니다.
• 자원 상관관계 (Resource Correlation): 모델이 저자원 언어에서 성능이 떨어질 것이라는 예상과 달리, 평가자는 저자원 언어에 더 관대하게 점수를 부여합니다. 언어 자원 수준(학습 데이터 가용성)과 점수의 엄격함 사이에는 강한 음의 상관관계가 존재합니다(보상 모델의 경우 Spearman $\rho = -0.81$). 힌디어, 히브리어, 아랍어 등은 가장 높은 점수를 받는 반면, 영어, 이탈리아어, 프랑스어는 가장 낮은 점수를 받습니다.
• 모델 간 일관성 (Cross-Model Consistency): 이 편향은 단일 모델의 특성이 아닙니다. 이는 모든 8개 평가자(프런티어 모델인 GPT-4.1-mini, Qwen3-32B 포함)에서 지속되며, 서로 다른 아키텍처(LLaMA, Qwen, Gemma)와 학습 패러다임 전반에 걸쳐 일관되게 나타납니다.

쌍체 정확도의 사각지대

• 높은 정확도, 상이한 결과: 평가자들은 모든 언어에서 균일하게 높은 쌍체 정확도(>90%)를 유지합니다. 그러나 고정된 전역 결정 임계값(예: 50 백분위수) 하에서, 수용률은 언어별로 최대 43%포인트까지 차이가 납니다.
• 안전성 함의: 이러한 불일치는 유해한 콘텐츠가 고자원 언어의 동일한 콘텐츠보다 안전 필터를 통과할 가능성이 훨씬 높음을 의미합니다. 예를 들어, 거절된 영어 응답은 -4.51(필터링됨)을 기록할 수 있는 반면, 동일한 의미를 가진 우크라이나어 대응 문구는 +3.57(통과됨)을 기록할 수 있습니다.

메커니즘: 불확실성 vs. 구조적 편향

• 불확실성 상관관계: 모델 불확실성(높은 NLL)과 보상 점수 사이에는 강한 양의 상관관계가 있습니다. 모델은 콘텐츠에 대해 확신이 없을 때 더 높은 점수를 주는 경경향이 있습니다.
• 불확실성이 유일한 원인은 아님: 불확실성이 분산의 일부를 설명하지만, 언어 정체성은 NLL을 통제한 후에도 여전히 중요한 예측 변수로 남습니다.
• 구조적 불일치: 언어 내 회귀 분석 결과, 인스턴스 난이도(NLL)와 점수 사이의 관계는 일관적이지 않고 도메인에 따라 다릅니다(Chat 작업에서는 종종 음의 관계). 이는 이 편향이 단순한 콘텐츠 난이도에 대한 반응이 아니라 구조적인 언어 수준의 불일치임을 확인시켜 줍니다.

완화 전략의 취약성

• 코드 스위칭 공격: 제안된 완화책인 '언어별 임계값 사용'은 신뢰할 수 있는 언어 식별(LID) 도구를 필요로 합니다. 저자들은 코드 스위칭된 프롬프트(예: 힌디어 콘텐츠를 영어 래퍼로 감싼 형태)가 LID 도구를 무력화할 수 있음을 보여줍니다. 시스템이 언어를 영어로 잘못 식별하면, 모델이 실제로는 더 엄격한 힌디어 기준에 따라 점수를 매기는 콘텐츠에 대해 관대한 영어 임계값을 적용하게 되어, 수용률을 50%에서 75%로 인위적으로 높입니다.

4. 기여

1. 언어 의고적 점수 변화: 본 논문은 LLM 평가자가 의미적으로 동일한 콘텐츠에 대해 저자원 언어에 더 관대한 점수를 부여하는 체계적이고 교차 모델적으로 일관된 점수 편향을 보인다는 점을 입증했습니다. 이 편향은 프런티어 모델에서도 지속됩니다.
2. 쌍체 정확도의 사각지대: 쌍체 정확도가 이러한 변화를 포착하지 못해 전역 임계값 하에서의 심각한 수용률 격차를 은폐한다는 점을 밝혀냈습니다. 또한 per-language 임계값이 코드 스위칭 입력에 취약함을 강조했습니다.
3. 메커니즘 분석: "왜" 발생하는지에 대해 조사하여, 불확실성이 편향과 상관관계가 있지만 언어 정체성이 불확실성을 통제한 후에도 예측력을 가진다는 것을 찾아냈습니다. 이 효과는 인스턴스 수준의 난이도만으로는 설명될 수 없습니다.

5. 의의 및 주장

저자들은 다국어 LLM 평가자의 주요 검증 지표로서 쌍체 정확도에 의존하는 현재의 방식이 불충분하다고 주장합니다. 연구 결과는 교정되지 않은 교차 언어적 편향이 안전성 감사 및 RLHF에서 저자원 언어의 배포에 위험을 초래할 수 있음을 시사합니다.

• 실질적 함의: 보상 모델의 원시 점수를 언어 간 비교 가능한 것으로 간량 없이 취급하는 것은 위험합니다. 언어별 오프셋(offset) 보정을 통해 수용률 격차를 약 60% 줄일 수 있지만, 구조적 분산(언어 $\times$ 아이템 상호작용)을 제거하지 못하며 LID 실패를 통한 새로운 공격 표면을 생성합니다.
• 향후 방향: 본 논문은 사후 교정에서 벗어나 원칙적인 해결책으로의 전환을 촉구합니다. 여기에는 보상 모델의 언어 인지적 교정, RLHF 과정에서의 언어 조건부 점수 정규화, 그리고 쌍체 정확도와 함께 교차 언어적 점수 일관성을 명시적으로 테스트하는 평가 프로토콜 등이 포함됩니다.

결론적으로, 커뮤니티는 LLM 평가자의 다국어 편향을 구조적인 문제로 인식해야 하며, 상대적인 순위 지표를 넘어 언어 간 절대 점수의 공정성과 신뢰성을 확보하기 위한 노력을 기울여야 합니다.