1. 문제 정의 (Problem Definition)

기존의 다국어 모델 (LLM) 에 대한 문화적 가치 평가는 거의 전적으로 텍스트 기반으로 이루어져 왔습니다. 즉, 모델에게 국가와 설문 질문, 그리고 텍스트로 된 응답 옵션을 제공하고 정답을 예측하게 하는 방식입니다.

그러나 인간의 문화적 가치는 언어뿐만 아니라 시각적 장면과 일상적인 사회적 실천을 통해 표현됩니다. 멀티모달 대규모 언어 모델 (MLLM) 이 텍스트와 이미지를 모두 처리할 수 있게 됨에 따라, 중요한 질문이 제기되었습니다: "응답 옵션이 텍스트가 아닌 시각적 이미지로 제시될 때, 모델은 국가별 문화적 가치 경향에 기반한 판단을 일관되게 유지할 수 있는가?"

이 논문은 텍스트와 이미지 간에 예측이 반전 (Prediction Reversal) 되는 현상을 발견하고, MLLM 이 문화적 맥락에서 시각적 증거를 기반으로 가치 판단을 내리는 능력 (Visual Value Grounding) 을 평가할 수 있는 새로운 벤치마크인 ValueGround를 제안합니다.

2. 방법론 (Methodology)

2.1 벤치마크 구성: ValueGround

ValueGround 은 World Values Survey (WVS) 의 질문들을 기반으로 구축되었습니다.

• 작업 설정: 모델에게 특정 국가 ($c$), 설문 질문 ($q$), 그리고 두 개의 대비되는 이미지 쌍 ($I_A, I_B$) 을 제공합니다. 모델은 텍스트 응답 옵션을 보지 못한 상태에서, 해당 국가의 가치 경향과 가장 잘 맞는 이미지를 선택해야 합니다.
• 이진화: 원래 WVS 의 다중 응답 옵션을 두 가지 극단적인 선택지 (예: "예" vs "아니오") 로 축소하여 시각화하기 용이하도록 만들었습니다.

2.2 제어된 이미지 쌍 생성 프레임워크 (Agentic Paired-Image Construction)

응답 옵션을 시각화할 때 불필요한 변수를 통제하고 핵심 의미만 전달하기 위해 3 단계 에이전트 기반 파이프라인을 도입했습니다:

1. Planner Agent: 질문과 옵션 쌍을 분석하여 공통된 배경 장면 (Shared Base Scene) 과 고정해야 할 속성, 그리고 두 이미지를 구분할 핵심 편집 속성을 계획합니다.
2. Base Image Generator: 계획된 공통 배경을 바탕으로 중립적인 기준 이미지를 생성합니다.
3. Editor Agent: 기준 이미지를 바탕으로 두 가지 옵션 ($A$ 와 $B$) 에 해당하는 의미적 차이를 최소화된 편집 (Minimal Contrast) 으로 적용합니다.
4. Critic Agent: 생성된 이미지 쌍이 다음 세 가지 원칙을 충족하는지 평가하고 피드백을 제공합니다.
   • 의미 정렬 (Semantic Alignment): 각 이미지가 해당 옵션의 의미를 명확히 반영하는가?
   • 최소 대비 (Minimal Contrast): 두 이미지는 배경, 인물, 구도 등은 동일하게 유지하고 오직 핵심 의미만 다르게 표현되었는가?
   • 단축키 억제 (Shortcut Suppression): 텍스트, 깃발, 체크 표시 등 정답을 쉽게 유추할 수 있는 시각적 단서가 제거되었는가?

2.3 평가 설정

모델의 성능을 세 가지 설정에서 비교 분석했습니다:

1. 메인 작업 (Main Task): 국가 + 질문 + 이미지 쌍 입력 $\rightarrow$ 이미지 선택 (실제 평가 목표).
2. 텍스트 전용 설정 (Text-only): 국가 + 질문 + 텍스트 옵션 입력 $\rightarrow$ 텍스트 옵션 선택 (언어적 사전 지식만 평가).
3. 옵션 - 이미지 정렬 설정 (Option-Image Alignment): 질문 + 텍스트 옵션 + 이미지 쌍 입력 (국가 정보 없음) $\rightarrow$ 이미지와 옵션의 매칭 여부 확인 (시각적 대비 인식 능력 평가).

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 제안: 응답 옵션만 시각화된, 문화적 조건부 시각적 가치 정렬 (Culture-Conditioned Visual Value Grounding) 을 평가하는 최초의 제어된 멀티모달 벤치마크인 ValueGround를 개발했습니다.
2. 에이전트 기반 생성 파이프라인: 의미 정렬, 최소 대비, 단축키 억제를 보장하는 인간 검증이 포함된 고품질 이미지 쌍 생성 파이프라인을 제안했습니다.
3. MLLM 의 한계 규명: 현재 최첨단 MLLM 들은 텍스트 기반 판단은 잘 수행하지만, 시각적 증거로 전환될 때 성능이 급격히 저하되고 예측이 반전되는 현상을 체계적으로 입증했습니다.

4. 실험 결과 (Results)

6 개의 주요 MLLM (GPT-5 Mini, Gemini 3 Flash, Claude Haiku 4.5 등) 과 13 개 국가를 대상으로 실험한 결과는 다음과 같습니다:

• 성능 저하: 텍스트 전용 설정에서의 평균 정확도 (72.8%) 에 비해, 이미지 옵션이 포함된 메인 작업에서의 평균 정확도는 **65.8%**로 떨어졌습니다.
• 정렬 능력 vs 통합 능력: 모델들은 이미지 쌍이 의도한 대비를 잘 표현했는지 확인하는 '정렬 설정'에서는 **92.8%**의 높은 정확도를 보였습니다. 이는 모델이 시각적 대비 자체는 잘 인식한다는 뜻이지만, 이를 국가별 문화적 맥락과 통합하는 데 실패함을 의미합니다.
• 예측 반전 (Prediction Reversal): 모델이 텍스트에서는 정답을 맞췄으나, 이미지로 바뀌었을 때 오답을 선택하는 '유해한 반전 (Harmful Reversal)'이 빈번하게 발생했습니다. (예: GPT-5 Mini 는 12.1%, Claude Haiku 4.5 는 36.9% 의 반전율).
• 모델 간 차이: Gemini 3 Flash 가 전체적으로 가장 강력한 성능 (75.6%) 을 보였으나, 모든 모델이 시각적 근거 기반의 문화적 판단에서 어려움을 겪었습니다.
• 국가별 편차: 영국, 미국, 독일 등 서구권 국가에서는 상대적으로 성능이 좋았으나, 러시아, 멕시코, 브라질 등에서는 성능이 크게 저하되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 멀티모달 정렬의 새로운 도전: ValueGround 는 MLLM 이 단순히 텍스트를 이해하는 것을 넘어, 시각적 맥락과 문화적 배경을 통합하여 가치 판단을 내리는 능력이 아직 부족함을 보여줍니다.
• 안정성 문제: 모델의 판단이 입력 모달리티 (텍스트 vs 이미지) 에 따라 불안정하게 변할 수 있음을 시사하며, 이는 실제 사회적 의사결정 시스템에 적용 시 심각한 편향이나 오류를 초래할 수 있음을 경고합니다.
• 향후 연구 방향: 이 벤치마크는 텍스트 사전 지식, 표면적 시각적 단서, 그리고 진정한 멀티모달 정렬을 분리하여 분석할 수 있는 통제된 실험 환경을 제공하며, 향후 문화적 정렬 (Cultural Alignment) 과 더 사회적으로 위치화된 (Socially Situated) 모델 평가 연구의 기초를 마련합니다.

요약하자면, 이 논문은 **"모델이 텍스트로 배운 문화적 가치를 이미지로 볼 때에도 제대로 적용할 수 있는가?"**라는 질문에 대해, **"아직 대부분의 모델이 그 과정에서 실패하거나 판단을 뒤집는다"**는 결론을 내리며, 멀티모달 AI 의 문화적 이해도 평가에 새로운 기준을 제시했습니다.