🤖 AI

CULTURESCORE: Evaluating Cultural Faithfulness in Video Generation Models

이 논문은 문화적 충실도를 정체성, 맥락, 행동 차원으로 분해하여 현재의 최첨단 비디오 생성 모델들이 시각적 품질보다 문화적 정확성을 우선시함으로써 문화적으로 정확한 표현에 상당한 어려움을 겪고 있음을 밝히는 새로운 평가 프레임워크인 CultureScore를 소개한다.

원저자: Anku Rani, Wei Dai, Shravan Nayak, Pattie Maes, Mahdi M. Kalayeh, Paul Pu Liang

게시일 2026-06-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anku Rani, Wei Dai, Shravan Nayak, Pattie Maes, Mahdi M. Kalayeh, Paul Pu Liang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 어떤 장면이든 묘사하면 만들어내는 마법의 영화 카메라가 있다고 상상해 보세요. 당신이 "인도에서 축제를 기념하는 가족을 보여줘"라고 말하면, 카메라는 아름다운 고화질 영상을 내놓습니다. 하지만 여기 함정이 있습니다. 영상 속 가족은 서구식 정장을 입고, 고급 식탁에 앉아 음식을 먹으며, 합장(bowing with folded hands) 대신 악수를 하고 있습니다.

일반적인 품질 검사기라면 이 영상에 완벽한 점수를 줄 것입니다. 조명이 훌륭하고, 사람들은 실물처럼 보이며, 카메라 움직임도 매끄럽기 때문입니다. 하지만 현지 인도 사람에게 이 영상은 잘못된 느낌을 줍니다. 마치 모두가 의상을 잘못 맞춰 입은 코스튬 파티처럼 느껴질 것입니다.

이 논문은 이러한 "마법의 영화 카메라"(AI 비디오 생성기)를 테스트하는 새로운 방법인 CULTURESCORE를 소개합니다. 이 논문은 영상이 그저 예쁘게 보이는 것과 특정 문화에 진실하게 보이는 것은 다르다고 주장합니다.

다음은 이들의 연구 결과를 쉬운 비유를 사용하여 정리한 내용입니다.

1. 문제점: "완벽하게 틀린" 영상

현재 AI 영상을 평가하는 도구들(예: VideoScore)은 마치 프레임만을 보는 예술 비평가와 같습니다. 그들은 다음과 같은 것들을 체크합니다: "영상이 흐릿한가? 색상이 밝은가? 사람의 움직임이 매끄러운가?"

결함: 만약 AI가 인도의 전통 인사법인 '나마스테(Namaste)'를 서구식 악수로 대체한다면, 예술 비평가는 그 악수가 완벽하게 그려졌다는 이유로 높은 점수를 줄 것입니다.
현실: 하지만 해당 문화권의 사람들에게 이 영상은 실패작입니다. 이는 마치 맛있어 보이는 케이크를 먹었는데 맛이 비누 맛이 나는 것과 같습니다.

2. 해결책: "세 겹의 레이어 케이크" (CULTURESCORE)

저자들은 CULTURESCORE라고 불리는 새로운 채점 시스템을 제안합니다. 단순히 전체 그림을 보는 대신, AI가 어디에서 실수했는지 확인하기 위해 영상을 세 가지 특정 레이어로 나눕니다.

레이어 1: 정체성 (누가 방 안에 있는가?)
- 비유: 배우들이 적절한 옷을 입고 있는가? 그들이 되어야 할 모습과 닮았는가?
- 예시: 프롬프트가 "일본인 동료"라고 지정했다면, 그들은 전형적인 일본 비즈니스 복장을 하고 있습니까, 아니면 일반적인 서구식 사무실 직원의 모습입니까?
레이어 2: 행동 (그들은 무엇을 하고 있는가?)
- 비유: 그들이 올바른 리듬으로 움직이고 있는가?
- 예시: '나마스테'는 단순히 손을 모으는 것이 아니라 특정한 절과 타이밍이 필요합니다. 악수는 다른 리듬을 가집니다. AI는 배우의 모습이 괜찮더라도 "스텝"을 틀리는 경우가 많습니다.
레이어 3: 맥락 (그들은 어디에 있는가?)
- 비유: 배경이 제대로 설정되었는가?
  এটি (It is)
- 예시: 특정 문화의 가족 저녁 식사라면, 그들은 낮은 테이블(다스타르콴, dastarkhwan) 주변에 앉아 있습니까, 아니면 높은 서구식 식탁에 앉아 있습니까?

3. 거대한 발견: "역전된 세계"

연구진은 세 가지 똑똑한 비디오 AI 모델(Veo, LTX-2, Wan)을 10개국의 프롬프트로 테스트했습니다. 그리고 충격적인 패턴을 발견했습니다.

"할리우드" 모델: 한 모델(LTX-2)은 가장 "영화적"이고 고품질인 영상을 만들었습니다. 전통적인 품질 검사에서 가장 높은 점수를 받았습니다.
"문화적" 모델: 또 다른 모델(Wan 2.2)은 영상이 덜 "예쁘지만" 훨씬 더 문화적으로 정확했습니다.
반전: 실제 해당 국가의 사람들이 영상을 보았을 때, 그들은 "할리우드" 모델을 싫어했고 "문화적" 모델을 좋아했습니다.
- 비유: 이것은 가장 비싸고 화려하게 플레이팅된 요스가 현지인들에게는 최악의 맛을 내고, 소박한 집밥이 가장 사랑받는 레스토랑과 같습니다. 표준 심사위원들(VideoScore)은 엉뚱한 요리를 찬양하고 있었던 것입니다.

4. "마법의 단어" 테스트

연구진은 AI가 실제로 문화를 이해하는지, 아니면 단순히 키워드를 암기하는 것인지도 테스트했습니다.

그들은 AI에게 "무슬림 인도 가족이 식사하는 모습을 보여줘"라고 요청했습니다. (AI가 제대로 수행함).
그다음 "무슬림 가족이 식사하는 모습을 보여줘"라고 요청했습니다. (AI가 틀림).
교훈: AI는 진정으로 문화를 이해하는 것이 아니라, 단지 "인도"나 "일본"이라는 단어를 트리거(trigger)로 찾고 있을 뿐입니다. 국가 이름을 제거하면 AI는 문화적 규칙을 잊어버립니다. 이는 마치 정답지를 암기했을 뿐 수학을 이해하지 못하는 학생과 같습니다.

5. 가장 어려운 부분: "춤"

세 가지 레이어 중, 행동(동작과 제스처)이 AI가 가장 맞추기 어려운 부분이었습니다.

연구진이 매우 상세한 지침을 주었음에도 불구하고, AI는 여전히 움직임을 제대로 구현하는 데 어려움을 겪었습니다.
비유: AI는 기모노를 입은 사람을 완벽하게 그릴 수 있고(정체성), 일본 정원에 배치할 수도 있지만(맥락), 절을 하도록 만들려고 하면 동작이 뻣뻣하거나 로봇처럼 보입니다. 문화의 "춤"은 컴퓨터가 배우기에 여전히 매우 어렵습니다.

요약

이 논문은 우리가 AI 영상을 판단할 때 단순히 "예쁜" 점수만을 믿어서는 안 된다고 결론짓습니다. 영상은 기술적으로는 완벽할 수 있지만, 문화적으로 무례하거나 부정확할 수 있습니다. AI를 전 세계를 위해 공정하고 유용하게 만들기 위해서는 누가, 무엇을, 어디서 하는지를 별도로 확인해야 하며, 그림의 품질을 채점하는 기계가 아니라 실제로 그 문화 속에 살고 있는 사람들의 목소리에 귀를 기울여야 합니다.

기술 요약: CULTURESCORE: 비디오 생성 모델의 문화적 충실도 평가

문제 정의

Veo 3.1, LTX-2, Sora와 같은 비디오 생성 모델이 물리적 세계를 시뮬레이션하는 능력이 발전함에 따라, 다양한 글로벌 문화를 정확하게 표현하는 능력은 매우 중요하면서도 연구가 미진한 영역으로 남아 있습니다. VideoScore나 UnifiedReward와 같은 기존 평가 지표들은 시각적 품질, 시간적 일관성, 사실적 근거(factual grounding)에 초점을 맞추고 있지만, **문화적 충실도(cultural faithfulness)**를 평가하는 데는 실패합니다. 이러한 포괄적인 지표들은 오해의 소지가 있습니다. 예를 들어, 특정 문화적 인사(예: 나마스테 또는 살람)를 일반적인 서구식 악수로 대체하여 생성한 모델이 올바른 제스처를 생성한 모델과 동일하게 높은 점수를 받을 수 있기 때문입니다.

문화적 표현을 위한 기존 벤치마크(예: CulturalFrames, CuRE, CUBE)는 주로 정적인 텍스트-이미지(T2I) 모델에 집중해 왔습니다. 그러나 문화는 종종 정적 프레임으로는 포착할 수 없는 순차적인 동작, 제스처, 리듬을 통해 표현됩니다. 결과적으로, 생성된 비디오가 정체성, 행동, 맥락에 관한 특정 문화적 규범을 준수하는지 추론하여 평가할 수 있는 프레임워크가 부족한 실정입니다.

방법론: CULTURESCORE 프레임워크

저자들은 문화적 충실도를 세 가지 세밀한 차원으로 분해하는 구성적 평가 프레임워크인 CULTURESCORE를 제안합니다:

정체성(Identity): 누가 표현되는가, 그리고 어떻게 표현되는가? 이는 외형, 의복, 인구통계학적 표식(예: 특정 전통 의상 또는 전문직 복장 규범)을 다룹니다.
행동(Behavior): 사람들이 무엇을 하고 있는가? 이는 문화적으로 규범적인 제스처, 운율, 표현력에 초점을 맞추며, 특정 동작과 자세의 시퀀스(예: 절의 리듬이나 인사를 할 때의 손 위치)를 평가하는 것을 요구합니다.
맥락(Context): 문화적으로 국지화된 배경. 여기에는 물리적 환경, 환경적 세부 사항(예: 이슬람 캘리그래피, 페르시아 양단) 및 사회적 관습(예: 좌석 배치)이 포함됩니다.

데이터 큐레이션 및 평가 파이프라인

이 프레임워크는 비디오 생성을 위해 조정된 CulturalFrames에 기반한 데이터셋을 통해 실행됩니다:

프롬프트: 저자들은 10개국과 5개 사회-문화적 영역에 걸쳐 문화적으로 검증된 2,943개의 프롬프트 평가 세트를 구축했습니다.
프롬프트 증강: 모델의 행동을 조사하기 위해 프롬프트를 세 가지 변형으로 확장했습니다:
- 기본 프롬프트(Base Prompt): 원래의 문화적으로 검증된 프롬프트.
- 확장 프롬프트(Extended Prompt): 사전적 정의에서 유도된 정체성, 행동, 맥락에 대한 명시적 설명을 추가하여 증강된 프롬프트.
- 지리적 제약 제거(Geographical Constraint Removed): 국가명을 제거하여(예: "무슬림 인도인 가족" $\to$ "무슬림 가족") 모델이 명시적인 지리적 토큰에 의존하는지 또는 문화적 개념을 내재화하고 있는지 테스트합니다.
비디오 생성: 세 가지 최첨단 모델인 Veo 3.1 Fast(Google DeepMind), LTX-2, Wan 2.2를 평가했습니다.
자동 스코어링 (VLM-as-Judge):
- 질문 생성: Gemini-3-Flash를 사용하여 각 비디오에 대해 9,289개의 문화적으로 근거 있는 질문-답변(QA) 쌍을 생성하였으며, 암묵적 지식에 의존하지 않도록 구체적인 시각적 및 시간적 세부 사항을 포함했습니다.
- 평가: 시각-언어 모델(Qwen3-VL-235B)이 생성된 비디오를 위 QA 쌍과 대조하여 각 차원에 대한 이진 정확도를 분석했습니다.
- 점수 산출: 최종 CULTURESCORE는 정체성, 행동, 맥락 차원의 평균 정확도입니다.

인간 평가

자동화된 지표를 검증하기 위해 저자들은 Prolific에서 N=45명의 원주민 거주자(9개국 중 국가당 5명)를 대상으로 연구를 수행했습니다. 참가자들은 다음을 수행했습니다:

질문 관련성: 생성된 QA 쌍이 의미 있는 탐사 도구인지 판단.
지각적 정확도: 시각적 증거에 엄격히 기반하여 QA 쌍에 답변.
선호도 순위: 전반적인 문화적 충실도를 기준으로 세 모델의 순위를 매김.

주요 결과

1. 현재 모델의 체계적 실패

현재 어떤 모델도 높은 문화적 충실도를 달را하지 못했습니다. 가장 성능이 좋은 모델인 Wan 2.2는 전체 CULTURESCORE가 **56.8%**에 불고했습니다.

행동(Behavior)이 가장 어려운 차원: 모든 모델에서 행동 점수는 52% 미만으로 나타났습니다 (Wan 2.2: 49.8%, LTX-2: 47.0%, Veo 3.1: 51.9%).
맥락(Context)이 가장 우수한 성과: 맥락 점수가 가장 높았으며, Wan 2.2는 69.3%에 도달했습니다.

2. 지각적 지표와의 역상관 관계

놀라운 발견은 표준 비디오 품질 지표와 문화적 충실도 사이의 역관계입니다:

LTX-2는 가장 높은 VideoScore(평균 3.34, 가장 "영화적"이라고 인식됨)를 기록했지만, CULTURESCORE에서는 최하위권인 51.4%를 기록했습니다.
Wan 2.2는 가장 높은 CULTURESCORE(56.8%)를 기록했지만, 가장 낮은 VideoScore(2.72)를 받았습니다.
이는 지각적 품질(움직임의 부드러움, 시각적 충실도)을 최적화하는 것이 문화적 정확도로 이어지지 않으며, 오히려 역상관 관계가 있을 수 있음을 시사합니다.

3. 프롬프트 민감도 및 지리적 의존성

확장 프롬프트: 명시적인 문화적 가이드(확장 프롬프트)를 제공하면 모든 차원에서 점수가 향상되었으며, 특히 맥락 부분에서 (+18% ~ +25%) 큰 폭의 상승이 있었습니다. 그러나 행동 점수는 여전히 매우 낮게 유지되어, 프롬프트 보강만으로는 시간적 동작의 실패를 해결할 수 없음을 보여주었습니다.
지리적 트리거: 프롬프트에서 국가명을 제거하자 정확도가 크게 떨어졌습니다 (예: LTX-2의 맥락 정확도가 62.1%에서 28.6%로 하락). 이는 모델이 문화적 개념을 개방형 지식으로서 내재화하기보다, 명시적인 지리적 토큰을 통해 문화적 연상을 활성화하는 데 의존하고 있음을 나타냅니다.

4. 인간 선호도와의 일치성

인간의 선호도 순위는 CULTURESCORE와 방향성은 일치했으나, VideoScore와는 반대였습니다:

원주민 평가자들은 Veo 3.1 Fast를 가장 선호했으며(평균 순위 1.66), 그 뒤를 Wan 2.2가 이었고, LTX-2가 마지막으로 선정되었습니다.
VideoScore는 LTX-2를 잘못 선호했습니다.
CULTURESCORE는 상위 경쟁 모델 중 Wan 2.2가 가장 문화적으로 충실하다고 올바르게 식별하여, 진단 도구로서의 유용성을 입증했습니다.

기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

프레임워크 제안: 문화적 충실도를 정체성, 행동, 맥락으로 분해하여 미세한 실패 진단을 가능하게 하는 구성적 프레임워크인 CULTURESCORE를 도입했습니다.
벤치마크 공개: 10개국에 걸친 2,943개의 프롬프트, 6,180개의 생성된 비디오, 9,289개의 추론/QA 쌍을 포함하는 문화적으로 근거 있는 평가 세트를 구축하고 공개했습니다.
경험적 분석: 현재의 비디오 생성 모델들이 지각적 품질과 문화적 충실도 사이에 역상관 관계가 있는 체계적인 문화적 실패 모드를 보인다는 종합적인 분석을 제공합니다.

의의:
저자들은 문화적 충실도가 교육, 미디어, 정책 분야에서 공평한 AI 접근을 위한 필수 기준이라고 주장합니다. 본 연구는 기존 지표가 문화적 정확성을 우선시할 때 모델 선택을 어떻게 "적극적으로 오도"할 수 있는지 보여줍니다. CULTURESCOE는 모델이 어디서, 어떻게 실제 표현과 달라지는지(예: 배경은 맞지만 제스처는 틀린 경우)를 드러내는 진단 도구를 제공함으로써, 생성 비디오 시스템의 문화적 표현을 감사하고 개선하기 위한 토대를 마련합니다.

한계 및 윤리

저자들은 다음과 같은 몇 가지 한계를 인정합니다:

비대칭적 커버리지: API 비용 문제로 인해 Veo 3.1은 전체 세트가 아닌 층화 추출된 샘플(294개 비디오)에 대해서만 평가되었습니다.
지리적 범위: 지정학적 제약으로 인해 인간 평가에서 이란은 제외되었습니다.
VLM 편향: 자동화된 스코어링은 자체적인 문화적 편향을 가질 수 있는 VLM(Qwen3-VL, Gemini)에 의존합니다.
정체성 정의: "정체성"의 조작화가 외형(의복, 외모)과 같은 시각적 표식에 의존하고 있어, 고정관념을 강화할 위험이 있으며 삶의 경험이나 역사와 같은 복잡한 개념을 완전히 포착할 수는 없습니다.

저자들은 CULTURESCORE를 인간 판단의 독립적인 절대적 진리가 아닌 보완적인 지표로 규정하며, 이 데이터셋이 확정적인 문화적 기록이 아니라 재현과 확장을 가능하게 하는 용도로 사용되어야 함을 강조합니다.