💬 NLP

Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity

이 논문은 VOIR DIRE 벤치마크를 도입하여 MLLM-as-a-Judge 시스템이 문화적으로 모호한 콘텐츠를 평가할 때 뚜렷한 캘리브레이션 및 오리엔테이션 실패를 겪는다는 점을 입증하며, 이는 특정 문화적 규범에 대한 모델의 편향이 스케일 압축(scale compression)을 교정한 후에도 지속되고 페르소나 프롬프팅이나 인컨텍스트 데모니스트레이션(in-context demonstrations)만으로는 완전히 해결될 수 없음을 드러낸다.

원저자: Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daniel Lee, Harsh Sharma, Eunkyu Park, Pranav Narayanan Venkit, Jeonghwan Kim, Kah Mun Chia, Andreas Vlachos, Shafiq Joty

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생의 에세이를 채점하거나 사진을 평가하기 위해 매우 똑똑한 로봇 판사를 고용했다고 상상해 보세요. 보통 우리는 이 로봇이 제대로 작동하는지 확인하기 위해 인간 교사와 얼마나 일치하는지를 확인합니다. 하지만 이 논문은 까다로운 질문을 던집니다: 로봇은 과연 어떤 인간 교사와 동의하고 있는가?

저자인 다니엘 리(Daniel Lee)와 그의 팀은 VOIR DIRE(숨겨진 편향을 찾아내기 위해 배심원들을 심문하는 법적 절차에서 이름을 따옴)라는 특별한 테스트를 구축했습니다. 그들은 이 AI 판사들이 사진을 볼 때 특정 문화적 편향을 가지고 있는지, 특히 미국적 관점과 중국 본토의 관점을 통해 사물을 보는 방식이 어떻게 다른지 확인하고자 했습니다.

연구 결과는 다음과 같이 쉽게 설명할 수 있습니다.

1. 설정: 두 개의 서로 다른 세계

연구진은 626쌍의 이미지를 만들었습니다. 각 쌍은 동일한 "개념"(예: 축하 식사, 패션 의상, 또는 건물)을 보여주되, 스타일은 두 가지 방식으로 다르게 표현했습니다. 하나는 매우 미국적인 스타일이고, 다른 하나는 매우 중국적인 스타일입니다.

그들은 두 그룹의 인간 전문가에게 이 이미지들을 평가하도록 요청했습니다:

그룹 A: 미국인 전문가.
그룹 B: 중국인 전문가.

반전: 전문가들은 각자의 그룹 내에서는 서로 의견이 일치했지만(일관성이 있었지만), 동일한 이미지에 대해서는 서로 강력하게 의견이 엇갈렸습니다.

예시: 편의점 식사 이미지는 미국인에게는 "품질이 낮음"으로 평가될 수 있지만, 중국인 전문가에게는 "신선하고 믿을 수 있음"으로 평가될 수 있습니다. 두 그룹 모두 자신들의 문화적 규칙에 근거하여 "옳지만", 수치는 완전히 다릅니다.

2. 문제: "갇혀 있는" 로봇 판사

AI 판사들이 이 이미지들을 볼 때, 그들은 중립적인 심판처럼 행동하지 않았습니다. 그들은 두 가지 구체적인 실수를 저질렀습니다.

실수 A: "긍정성 바닥" (고무줄 현상)

숫자 1과 2가 "나쁨" 또는 "낮은 품질"을 나타내는 자를 상상해 보세요.

인간의 현실: 미국인들은 특정 중국 문화 아이템을 "나쁨"(1 또는 2점)으로 평가하는 경-향이 있습니다.
로봇의 문제: AI 판사들은 자의 하단부를 사용하는 것을 거부합니다. 그들은 거의 1이나 2를 주지 못하며, 약 3점 정도의 "바닥"에 갇혀 있습니다.
결과: AI는 낮은 점수를 주는 것을 거부하기 때문에, 의도치 않게 해당 아이템을 높게 평가한 중국인 전문가들과 동의하게 되고, 낮게 평가한 미국인 전문가들과는 의견이 어긋나게 됩니다. AI가 중국을 "선택"한 것이 아니라, 단지 "이것은 나쁘다"라고 말하기에는 너무 예의를 차리는 것입니다.

실수 B: "기본 설정" (나침반 현상)

연구진이 AI에게 *"미국인인 척해봐"*라고 지시하며 이 "예의" 문제를 해결하려고 시도했을 때조차, AI는 완전히 전환되지 않았습니다.

이는 마치 GPS에게 *"뉴욕으로 가라"*고 명령했지만, 자동차의 내부 나침반이 북쪽을 향해 고정되어 있어 계속 시카고 쪽으로 약간씩 밀려나는 것과 같습니다.
AI는 기본적인 문화적 지향성을 가지고 있습니다. 미국인처럼 행동하라는 지시를 받아도, 중국 이미지를 판단할 때 여전히 중국의 문화적 규범 쪽으로 약간 기울어집니다. 이 "표류" 현상은 단순히 지시를 바꾸는 것만으로는 고칠 수 없었습니다.

3. 실험: 편향을 고치려는 시도들

팀은 AI를 더 공정한 판사로 만들기 위해 다양한 기술을 시도했습니다:

페르소나(Persona) 변경: AI에게 "당신은 전형적인 미국인입니다" 또는 "당신은 전형적인 중국인입니다"라고 말했습니다.
- 결과: 약간의 도움은 되었지만, AI는 완전히 전환되지 못했습니다. 미국인처럼 행동하라는 말을 들어도, 미국인이 싫어하는 것에 대해 낮은 점수를 주는 법을 배우지 못했습니다.
예시 보여주기 (In-Context Learning): AI에게 질문하기 전에 유사한 사진들에 대해 인간이 어떻게 평가했는지 예시를 보여주었습니다.
- 결과: 이것은 상황을 오히려 악화시켰습니다. AI는 1점에서 5점 사이의 전체 척도를 사용하는 법을 배우는 대신, 오히려 더 높은 점수(4점과 5점)를 주는 법을 배웠습니다. 공정하게 판단하는 법을 배운 것이 아니라, 더 열광적으로 반응하는 법을 배운 것입니다.

4. 핵심 결론

이 논문은 단 하나의 "일치도 점수"만 보고는 AI 판사가 좋은지 판단할 수 없다고 결론짓습니다.

과거의 방식: "이 AI는 인간과 80% 일치합니다." (하지만 어떤 인간인가요? 미국인인가요? 중국인인가요? 아니면 둘 다인가요?)
새로운 방식: 당신은 두 개의 점수를 보고해야 합니다: "미국인과 얼마나 잘 일치하는가?" 그리고 "중국인과 얼마나 잘 일치하는가?"

만약 AI가 미국인과는 일치하지만 중국인과는 일치하지 않는다면(또는 그 반대라면), 그것은 데이터의 오류가 아니라 AI의 속성입니다. 그것은 AI가 어떤 문화적 "렌즈"를 착용하고 있는지를 드러냅니다.

요약

AI 판사들은 충분히 검증되지 않은 배심원과 같습니다. 그들은 숨겨진 문화적 편향을 가지고 있어, 한 그룹의 사람들과는 동의하면서 다른 그룹과는 조용히 의견을 달리합니다. 이 논문은 우리가 이 판사들이 중립적이라고 가정하는 것을 멈추고, 그들이 정확히 누구의 문화를 대변하고 있는지 측정해야 한다고 주장합니다.

핵심 비유:
AI를 "실온"에 고정된 온도계라고 생각해보세요.

만약 당신이 냉동고(낮은 점수를 주는 문화)에 넣는다면, 온도는 내려가지 않을 것입니다. 계속 "실온"에 머물러 있을 것입니다.
만약 오븐(높은 점수를 주는 문화)에 넣는다면, 온도가 약간 올라갈 수는 있겠지만, 마땅히 뜨거워져야 할 만큼 뜨거워지지는 않을 것입니다.
이 논문은 이렇게 말합니다: "그 온도계가 오븐과 일치한다고 해서 '정확하다'고 말하지 마세요. 낮은 온도를 측정하기를 거부하므로 '고장 났다'고 말해야 합니다."

기술 요약: 배심원 의무: 문화적 모호성 하에서의 MLLM-as-a-Judge의 보정 및 방향성 실패

문제 정의

"LLM-as-a-Judge" 및 "MLLM-as-a-Judge" 패러다임은 참조 기반 메트릭이 불충분한 개방형 생성 작업을 평가하기 위해 점점 더 많이 사용되고 있습니다. 이러한 시스템은 관습적으로 인간의 주석과의 일치도를 측정함으로써 검증됩니다. 그러나 이러한 검증 방식에는 결정적인 결함이 있습니다. 즉, 모델이 누구의 판단을 근사하는지를 명시하지 않는다는 점입니다. 선호도에 민감한 도메인(예: 타당성, 적절성, 바람직함)에서 인간의 판단은 단일하지 않으며 문화적으로 위치합니다. 모델이 문화적으로 이질적인 인간 풀(pool)을 대상으로 평가될 때, 결과적인 "일치도" 점수는 해당 풀의 특정 문화적 구성에 대해 암묵적으로 조건화됩니다.

선행 연구들은 모델 생성에서의 문화적 편향(예: 텍스트-이미지 시스템에서의 왜곡)을 기록해 왔으나, 문화적 편향이 모델 평가를 어떻게 형성하는지에 대해서는 상대적으로 주의를 기울이지 않았습니다. 이는 구조적으로 중대한 결과를 초래하는데, 판사(judge)의 출력값이 RLAIF(AI 피드로 학습된 강화학습)를 위한 훈련 신호로 사용되거나 리더보드의 그라운드 트루스(ground truth)로 활용되기 때문입니다. 만약 판사 모델이 보고되지 않은 문화적 성향을 가지고 있다면, 그 편향은 미래의 훈련 주기와 평가 지표로 전파됩니다.

방법론: VOIR DIRE 벤치마크

이를 조사하기 위해 저자들은 문화적 모호성 하에서 MLLM-as-a-Judge의 정렬과 문화적으로 구별되는 인간 참조 풀 사이의 괴리를 정량화하기 위해 설계된 멀티모달 벤치마크인 VOIR DIRE를 도입합니다.

벤치마크 구성

데이터셋 구성: VOIR DIRE는 626개의 문화적으로 쌍을 이룬 이미지-프롬프트 항목으로 구성됩니다. 각 항목은 동일한 대상(예: 축하 식사)을 공유하면서 미국 중심의 개념과 중국 본토 중심의 개념을 쌍으로 연결합니다.
카테고리: 항목은 음식 및 음료, 패션 및 인적 특성, 건축 및 상징의 세 가지 카테고리에 걸쳐 있습니다.
이미지 소싱: 시각적 차이가 미적 또는 구도적 변수가 아닌 순수하게 문화적 단서가 되도록 동일한 파라미터(종횡비, 조명, 구도)를 맞춘 Gemini 3 Pro Image를 사용하여 이미지를 생성했습니다. 또한, 발견된 결과가 합성 이미지의 인위적 결과물이 아님을 확인하기 위해 30개의 자연스러운 사진 쌍으로 구성된 서브셋을 제작했습니다.
프롬프트 설계: 프롬프트는 이문화(bicultural) 전문가 주석가들에 의해 작성되었으며, 단순한 사실 확인이 아닌 문화 간에 논쟁의 여지가 있는 평가적 판단을 유도하도록 설계되었습니다.
인간 주석: 10명의 이문화 능통 주석가(미국 측 5명, 중국 본토 측 5명)가 네 가지 차원에서 항목을 평가했습니다:
1. Q1 (평가적 반응): 프롬프트에 대한 이미지를 5점 척도로 평가하는 서수 척도.
2. Q2 (문화적 정렬): 항목을 중국식에서 미국식까지 5점 척도로 평가.
3. Q3 (주관성): 프롬프트의 주관성 정도.
4. Q4 (교차 문화적 인식 가능성): 상대 문화권의 사람이 그 근거를 이해할 가능성.

실험 설정

저자들은 10가지 프롬프트 조건 하에서 6개의 MLLM(미국 기원 3개: Claude Opus 4.7, GPT-5.5, Llama 4 Scout; 중국 기원 3개: GLM-5, Kimi K2.6, Qwen-3-VL-Flash)을 평가했습니다:

두 가지 중립 조건 (영어 및 간체 중국어).
페르소나 상세도(기본 vs 고급), 페르소나 문화(미국 vs 중국), 프롬프트 언론의 교차를 포함한 8가지 페르소나 조건.

또한, 데몬스트레이션 예시의 출처(미국 vs 중국 주석가)와 데몬스트레이션 이미지의 출처(미국 vs 중국 이미지)를 변화시킨 4가지 인컨텍스트 러닝(ICL) 조건을 테스트했습니다.

문화적 모호성의 검증

본 벤치마크는 항목들이 풀 내부적으로는 신뢰할 수 있으나(Krippendorff's $\alpha$ = 0.86 [미국], 0.74 [중국]), 풀 간에는 괴리가 있음(Q1에 대한 미국과 중국 합의 간의 Pearson $r$ = -0.12)을 검증합니다. 결정적으로, 불일치는 인식(Q2)의 문제가 아니라 평가(Q1)에 관한 것이며, 이는 두 풀이 내용은 동의하지만 그 규범적 가치에 대해서는 동의하지 않음을 확인시켜 줍니다.

주요 결과

1. 긍정성 하한(Positivity-Floor) 보정 실패

모델들은 "긍정성 하한"을 보이며, 낮은 점수(1 또는 2)를 거의 생성하지 못합니다(단 6~16%의 셀에서만 발생). 미국 측 합의가 낮은(≤2) 항목에서도 모델은 낮은 점수를 부여하지 못하고 약 3점 부근의 하한값에 군집하는 현상을 보였습니다.

메커니즘: 이 하한값은 더 관대한 문화적 해석을 기계적으로 정당화합니다. 본 코퍼스에서 중국 측 풀은 논쟁적인 항목에 대해 더 관대하므로, 모델이 척도의 낮은 부분을 사용하지 못하는 결과는 중국 이미지가 있는 경우 중국의 합의와 체계적으로 정렬되는 결과를 낳습니다.
비대칭성: 편향은 국지적입니다. 미국 이미지에 대해서는 모델들이 약간의 미국적 성향을 보입니다. 반면, 중국 이미지에 대해서는 이 편향이 반전되어 확대되며, 중국인에 대해 강한 성향을 보입니다.

2. 방향성 실패 (잔차)

보정이 부분적으로 회복되더라도(예: 페르소나 프롬프팅을 통해), **문화적 방향성 잔차(residual)**가 지속됩니다.

페르소나 프롬프트: 페르소나 프롬프트(예: "당신은 미국인입니다")는 판사의 기울기를 예상된 방향으로 이동시키지만, 보정 실패를 완전히 해결하지는 못합니다. 중국 이미지에 대해 6개 모델 중 5개는 미국 페르소나 조건에서도 문화적 축의 중간값 미만에 머물러 있습니다.
ICL 데몬스트레이션: 참조 풀의 데몬스트레이션은 보정을 복구하지 못합니다. 대신, 낮은 점수(1 또는 2)의 사용을 복구하지 못한 채 높은 점수(5점)를 늘리는 방식으로 척도의 상단 범위를 넓힐 뿐입니다. 더욱이, ICL은 보정하는 대신 방향성 잔차를 심화시킵니다. 즉, 데몬스트레이션을 추가하면 판사가 한쪽 풀과의 정렬을 희생하여 다른 쪽 풀과 어긋나는 방식으로, 데몬스트레이션 풀의 문화적 규범에 더 밀착하게 됩니다.

3. 모델 기원의 공변량 역할

모델 기원(미국 vs 중국)은 데몬스트레이션에 의해 거의 불변하는 작은 가산적 기울기( $\sim$ 0.10 MAE)를 더합니다.

순수 역량의 문제가 아님: "역량" 가설(중국 기원 모델이 중국 문화를 더 잘 안다는 가설)은 대칭성(중국 모델은 중국인과, 미국 모델은 미국인과 정렬됨)을 예측할 것입니다. 그러나 데이터는 그러한 대칭성을 보여주지 않습니다. 모든 6개 시스템은 기원과 상관없이 중국 이미지에 대해 중국인에게 기울어지는 경향을 보였습니다.
영향력의 위계: 판사의 행동 변량은 항목(Item, $R^2$ = 0.57)에 의해 지배되며, 그다음으로 페르소나 구성, 모델 기원이 가장 적은 기여를 합니다.

기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

VOIR DIRE 벤치마크: 문화적 모호성이 항목의 속성임을 입증하는 626개의 문화적 쌍 항목으로 구성된 멀티모달 벤치마크를 구축했습니다. 이는 내부 풀 신뢰도와 교차 풀 괴리를 통해 검증되었습니다.
편향의 분해: MLLM-as-a-Judge에서 나타나는 두 가지 뚜렷한 실패 모드를 식별했습니다:
- 보정 실패 (Calibration Failure): 낮은 점수를 생성하지 못하는 현상 (긍정성 하한).
- 방향성 실패 (Orientation Failure): 페르소나 프롬프팅 후에도 지속되는 특정 문화적 규범으로의 기본 회귀.
방법론적 권고:
- R1 (다중 풀 보고): 정렬도는 각 참조 풀에 대해 각각 별도로 보고되어야 합니다. 단일한 "인간과의 일치도" 점수를 제시하는 것은 문화적으로 이질적인 환경에서 범주 오류입니다. 교차 풀 간의 괴리는 노이즈가 아닌 판사 모델의 속성으로 취급되어야 합니다.
- R2 (공변량으로서의 기원): 모델의 기원은 모델 정체성과 함께 평가 시 보고되어야 합니다. 이는 체계적이지만 작은 문화적 기울기를 도입하기 때문입니다.

결론

본 연구는 현재의 MLLM-as-a-Judge 시스템이 긍정성 하한 보정 실패와 지속적인 방향성 실패로 인해 문화적 모호성 하에서의 인간 선호도의 전체 스펙트럼을 포착하는 데 실패한다고 결론짓습니다. 페르소나 프롬프팅이나 인컨텍스트 데몬스트레이션 모두 이러한 문제를 완전히 해결할 수 없으며, 오히려 데몬스트레이션은 방향성 잔차를 악화시키는 경우가 많습니다. 저자들은 평가 프레임워크가 단일한 "최선의" 정렬 점치를 찾는 것에서 벗어나, 다수의 문화적 참조 풀에 대한 정렬 프로파일을 보고하고, 괴리를 판사 모델의 근본적인 특성으로 취급해야 한다고 주장합니다.