Lost in Translation: Do LVLM Judges Generalize Across Languages?

1. 연구 배경 및 문제 제기 (Problem)

대규모 시각 - 언어 모델 (LVLM) 의 정렬 (Alignment) 과 평가에서 자동 평가자 (Reward Models 또는 LVLM-as-a-Judge) 의 역할이 핵심적이지만, 기존 연구는 영어 중심 (English-centric) 으로만 이루어져 왔습니다.

• 현황: 기존 벤치마크 (VL-RewardBench, Multimodal RewardBench 등) 는 영어 데이터에 국한되어 있으며, 다국어 환경에서의 평가 도구의 일반화 능력을 검증할 수 있는 체계적인 벤치마크가 부재합니다.
• 문제: 다국어 및 멀티모달 환경에서 LVLM 평가자가 얼마나 견고하게 작동하는지, 그리고 언어 간 성능 편차 (Performance Variance) 가 존재하는지에 대한 실증적 분석이 이루어지지 않았습니다. 이는 영어에서는 잘 작동하는 평가 모델이 다른 언어에서는 할루시네이션을 유발하거나 편향된 판단을 내릴 수 있음을 의미합니다.

2. 제안된 벤치마크: MM-JudgeBench (Methodology & Contribution)

이 논문은 다국어 및 멀티모달 평가 모델 (LVLM Judges) 을 평가하기 위한 최초의 대규모 벤치마크인 MM-JudgeBench를 소개합니다.

• 데이터 구성:
  • 규모: 25 가지의 유형학적으로 다양한 언어 (아랍어, 벵골어, 중국어, 카자흐어 등) 에 걸쳐 6 만 개 이상의 쌍별 선호도 (Pairwise Preference) 인스턴스를 포함합니다.
  • 하위 집합 (Subsets):
    1. M-VL-RewardBench: VL-RewardBench 를 확장한 일반 시각 - 언어 선호도 평가 세트로, 다양한 시각적 추론 과제를 다룹니다.
    2. M-OpenCQA: OpenCQA 에서 파생된 차트 중심의 시각 - 텍스트 추론 세트로, 구조화된 멀티모달 입력에 대한 평가를 수행합니다.
  • 학습 데이터: MM-RewardBench 에서 파생된 10 만 개의 다국어 학습 데이터셋을 공개하여 도메인 적응 (Domain Adaptation) 및 파인튜닝을 지원합니다.
• 구축 방법론:
  • 번역 모델 선정: 25 개 언어로 번역하기 위해 번역 품질을 검증한 후 Gemini-3-Pro를 선택했습니다. (LaBSE 및 CometKiwi 점수 기반 평가)
  • 품질 필터링: 번역 품질이 낮은 샘플 (LaBSE 및 Comet 점수 < 0.75) 은 인간 평가자를 통해 역번역 (Back-translation) 으로 재검토하거나 재번역하여 필터링했습니다.
  • 평가 프로세스: 22 개의 LVLM(15 개 오픈소스, 7 개 독점 모델) 을 대상으로 평가하며, 정답 (Ground Truth) 이 있는 경우 정답 일치율을, 없는 경우 (OpenCQA) 고수준 평가자 (GPT-5) 를 참조하여 일관성을 평가합니다.

3. 주요 실험 결과 (Key Results)

22 개의 최신 LVLM 을 MM-JudgeBench 에서 평가한 결과는 다음과 같은 중요한 통찰을 제공합니다.

• 언어 간 성능 편차 (Cross-lingual Variance):
  • 많은 모델이 영어에서는 높은 정확도를 보이지만, 다른 언어 (특히 저자원 언어인 카자흐어 등) 에서는 성능이 급격히 하락합니다.
  • 효율성을 위해 최적화된 모델 (예: Gemini-2.5-Flash-Lite, Claude-4.5-Haiku) 은 영어에서는 괜찮은 성능을 보이지만, 다국어 환경에서는 성능 붕괴 (Performance Collapse) 를 겪는 경우가 많습니다.
• 모델 크기와 아키텍처의 한계:
  • 모델 크기나 아키텍처가 다국어 견고성의 좋은 예측 지표가 되지 못합니다.
  • Qwen3-VL 시리즈는 오픈소스 모델 중 가장 일관된 다국어 행동을 보이며, 32B 모델은 68.8% 의 평균 정확도를 기록하여 많은 독점 모델보다 우수한 성능을 보였습니다.
  • 반면, reward 모델링에 특화된 것으로 알려진 LLaVA-Critic-7B는 50% 미만의 낮은 점수를 기록하여 일반화 능력이 부족함을 드러냈습니다.
• 편향 (Bias) 분석:
  • 위치 편향 (Position Bias): 모델이 입력된 답변의 순서 (A 또는 B) 에 따라 편향되어 선택하는 경향이 언어와 모델에 따라 크게 다릅니다. (예: Grok-4.1-Fast 는 높은 위치 편향을 보임)
  • 길이 편향 (Length Bias): 더 긴 답변을 선호하는 경향도 관찰되었습니다.
  • 정확도만으로는 신뢰할 수 있는 평가가 불가능하며, 편향 분석이 필수적입니다.
• 추론 (Reasoning) 의 중요성:
  • 답변 선택 시 이유 (Reasoning) 를 함께 생성하도록 유도하면 평가 정확도가 향상됩니다. (Qwen3-VL-2B/8B 기준 정확도 2.2~4% 향상)
• 도메인 적응 효과:
  • 제공된 다국어 학습 데이터 (M-MM-RewardBench) 로 Qwen3-VL-8B 를 파인튜닝한 결과, 제로샷 (Zero-shot) 대비 14% 이상의 성능 향상을 보였습니다.

4. 연구의 의의 및 결론 (Significance)

• 현실적 한계 노출: 현재 LVLM 평가자들이 영어 외의 언어에서는 일관되지 않은 행동을 보이며, 이는 영어 중심 평가만으로는 발견할 수 없는 근본적인 한계임을 밝혔습니다.
• 필요성 강조: 신뢰할 수 있는 자동 평가자를 개발하기 위해서는 다국어 및 멀티모달 벤치마크가 필수적임을 강조합니다.
• 향후 방향: 단순한 정확도 평가뿐만 아니라 편향 분석, 추론 능력, 그리고 저자원 언어에 대한 강건성을 고려한 평가 체계의 필요성을 제시했습니다. 또한, 강화학습 (RL) 등을 통한 추가적인 개선 전략을 제안했습니다.

요약하자면, 이 논문은 MM-JudgeBench 를 통해 LVLM 평가 모델이 언어 간에 얼마나 취약한지를 실증적으로 증명하고, 향후 신뢰할 수 있는 글로벌 AI 시스템을 구축하기 위해서는 다국어적 관점에서의 평가와 개선이 시급함을 역설합니다.