When Cultures Move: Measuring and Improving Multicultural Text-to-Video Generation

당신이 한 영화를 보고 있다고 상상해 보세요. 감독이 컴퓨터에게 "유명한 도시에서 춤추는 사람을 보여줘"라고 요청합니다. 인공지능의 세계에서 이것은 "텍스트-투-비디오(text-to-video)" 생성이라고 불립니다. 오랫동안 주요 목표는 단순히 비디오가 실제처럼 보이게 만드는 것, 즉 사람이 실제로 존재하는 것처럼 보이고 조명이 올바르게 보이는 것이었습니다. 하지만 숨겨진 문제가 있습니다: 컴퓨터는 종종 '문화'를 이해하는 데 서툽니다. 컴퓨터는 "춤"이 무엇인지는 알 수 있지만, 전통적인 중국 부채춤과 미국의 힙합 루틴, 또는 루마니아 민속 무용의 차이점은 알지 못합니다. 그들은 이들을 서로 뒤섞거나, 더 나아가, 그 무엇도 제대로 반영하지 못한 기묘하고 일반적인 버전을 만들어낼 수도 있습니다. 이는 AI가 이야기, 교육, 광고를 만들기 시작함에 따라 매우 중요합니다. 우리는 AI가 의도치 않게 전통을 지우거나 가짜 스테레오타입을 만들어내기를 원하지 않기 때문입니다. 우리는 AI가 사람, 동작, 장소가 서로 다른 지역에서 결합된 장면을 다룰 때 세부 사항을 정확하게 파악하기를 원합니다.

이 논문은 바로 이 문제를 해결하기 위해 AI에게 '다문화적' 장면을 다루는 법을 가르치는 새로운 방법을 소개하며 이 문제를 다룹니다. 연구진은 현재의 AI 모델들이 문화를 혼합하는 것을 얼마나 잘 처리하는지 확인하기 위해 243개의 서로 다른 프롬프트와 972개의 비디오로 구성된 특별한 테스트 세트(벤치마크)를 구축했습니다. 그들은 표준 AI 모델들이 예를 들어 미국인이 루마니아 성에서 중국 음식을 먹는 장면을 요청받았을 때 어려움을 겪는다는 것을 발견했습니다. 이를 해결하기 위해 그들은 MAVEN(Multi-Agent Video Enrichment for cultural Narrative)이라는 영리한 기술을 시도했습니다. 하나의 크고 일반적인 AI 두뇌에게 모든 것을 하라고 요구하는 대신, 그들은 업무를 세 개의 작은 전문화된 "에이전트(agent)"로 나누었습니다: 사람(외형) 전문가, 동작(방식) 전문가, 그리고 장소(랜드마크) 전문가입니다.

연구는 이 세 명의 전문가가 병렬로(동시에) 협력하는 것이 하나의 일반론적인 에이전트가 모든 것을 처리하거나 혹은 순차적으로 처리하는 것보다 훨씬 더 효과적이라는 점을 시사합니다. 연구진이 이를 테스트했을 때, 병렬 팀의 전문가들은 비디오 품질을 망치거나 캐릭터를 떨리게 만들지 않으면서도 랜드마크의 정확도를 포함하여 문화적 정확도를 유의미하게 향상시켰습니다. 또한 그들은 표준적인 컴퓨터 테스트(이미지를 비교하는 수학적 방식)가 비디오가 "괜찮아" 보일 수는 있어도, 더 발전된 AI "판사"가 포착할 수 있는 미묘하고 깊은 문화적 세부 사항은 놓칠 수 있다는 것을 발견했습니다. 논문은 AI 비디오가 진정으로 존중받고 정확해지기 위해서는, 문화를 하나의 흐릿한 덩어리로 취급하는 것을 멈추고 전문적인 전문가 중심의 구체적인 부분들로 분해해야 한다고 결론짓습니다.

핵심 아이디어: 왜 하나의 두뇌로는 부족한가

현재의 AI 비디오 생성기를 매우 재능 있지만 과로한 단 한 명의 셰프로 생각해 보세요. 만약 당신이 이 셰프에게 이탈리아 파스타, 일본 스시, 멕시코 타코를 결합한 요리를 만들어 달라고 요청한다면, 그들은 이 모든 것을 하나의 거대하고 혼란스러운 '부리토-파스타-스시 롤'로 뭉쳐버릴 수도 있습니다. 그것이 음식처럼 보일 수는 있겠지만, 실제 요리 중 그 어떤 것도 제대로 된 맛을 내지는 못할 것입니다. 셰프는 "음식"이 무엇인지는 알지만, 각 요리를 어떻게 만들어야 하는지에 대한 구체적이고 깊은 지식은 가지고 있지 않습니다.

이 논문의 저자들은 문화가 "구성적(compositional)"이라고 주장합니다. 즉, 장면은 서로 다른 부분들로 구성됩니다: 사람(외형), 동작(행위), 그리고 장소(위치). 한 문화의 사람이 다른 문화의 동작을 수행하고 제3의 문화에 속한 장소에 있을 수 있습니다. 논문은 하나의 AI가 이 세 가지를 동시에 이해하려고 노력하는 것이 너무 어렵다고 제안합니다. 대신, 팀이 필요합니다.

해결책: MAVEN 팀

연구진은 MAVEN이라 불리는 시스템을 만들었습니다. 한 명의 셰프 대신, 그들은 세 명의 전문 수셰프(sous-chef) 팀을 고용했습니다:

1. 사람 에이전트 (The Person Agent): 특정 문화의 사람들이 정확히 어떻게 보이는지(머리카락, 옷, 특징)를 아는 전문가.
2. 동작 에이전트 (The Action Agent): 문화적 동작이 어떻게 수행되는지에 대한 구체적인 세부 사항(악기를 잡는 법, 춤을 추는 법 등)을 아는 전문가.
3. 장소 에이전트 (The Location Agent): 유명한 랜드마크의 시각적 세부 사항(특정한 건축 양식, 조명, 주변 환경 등)을 아는 전문가.

그들은 이 팀을 운영하는 네 가지 방식을 테스트했습니다:

• 솔로 셰프 (Base): 아무런 도움도 받지 않습니다. 그냥 가공되지 않은 프롬프트만 사용합니다.
• 총괄 매니저 (Single-Agent): 한 명의 에이전트가 사람, 동작, 장소를 한꺼번에 수정하려고 시도합니다.
• 조립 라인 (Sequential): 에이전트들이 차례대로 작업합니다. 사람 에이전트가 프롬프트를 수정하면, 이를 동작 에이전트에게 전달하고, 다시 장소 에이전트에게 전달하는 방식입니다.
• 병렬 팀 (MAP): 세 명의 에이전트가 동시에 작업하여 각자의 부분을 수정하고, 그 후 "융합 에이전트(Fuse Agent)"가 그들의 작업물을 하나의 완벽한 프롬프트로 결합합니다.

결과: 협업의 힘

결과는 명확했습니다: 병렬 팀(MAP)이 승리했습니다.

연구진이 972개의 생성된 비디오(중국, 미국, 루마니아 문화 포함)를 대상으로 이 방식들을 테스트했을 때, 병렬 팀이 가장 문화적으로 정확한 비디오를 제작했습니다.

• 점수: 병렬 팀은 아무것도 하지 않았을 때보다 4.6%, 단일 에이전트 방식보다 1.6% 더 높은 "문화적 관련성 점수(Cultural Relevance Score)"를 개선했습니다.
• 큰 성과: 가장 큰 개선은 장소에서 나타났습니다. 병렬 팀은 베이스라인 대비 랜드마크 정확도를 12% 이상 향상시켰습니다. 이는 단일 에이전트는 사람이나 동작에 의해 주의가 분산될 수 있지만, 전담 장소 에이전트는 성이나 기념물을 제대로 구현하는 데 온전히 집중하기 때문입니다.
• 교차 문화적 마법: 시스템은 프롬프트가 혼합된 경우(예: 루마니아 성에서 중국 만두를 먹는 미국인)에 더욱 효과적이었습니다. 이러한 "교차 문화적" 장면은 보통 AI가 가장 어려워하는 부분이지만, 병렬 팀은 그 격차를 크게 줄였습니다. 이는 문제를 분해하는 것이 복잡한 혼합을 처리하는 데 도움이 된다는 것을 시사합니다.

흥미롭게도, 연구진은 병렬 팀이 비디오를 문화적으로 더 낫게 만들었지만, 비디오의 품질을 망치지는 않았다는 것을 발견했습니다. 비디오는 여전히 매끄럽고 일관되게 보였으며, 이는 문화적 세부 사항을 추가하더라도 AI가 "환각(hallucination)"을 일으키거나 영상이 깨지지 않는다는 것을 증명합니다.

측정의 문제: 컴퓨터 vs 판사

이 논문의 가장 흥리학적인 발견 중 하나는 성공을 어떻게 측정하느냐에 관한 것입니다.

• 수학적 테스트 (CLIP): 연구진은 비디오가 텍스트와 일치하는지 확인하기 위해 표준 컴퓨터 프로그램인 CLIP을 사용했습니다. 이 프로그램은 큰 특징을 포착하는 데는 능숙하지만, 작고 미묘한 문화적 세부 사항은 자주 놓칩니다.
• AI 판사 (VLM): 그들은 또한 인간과 같은 판사 역할을 하며 비디오를 보고 문화적으로 올바른지 추론하는 더 발전된 AI(Gemini 2.5 Pro)를 사용했습니다.

그들은 수학적 테스트가 병렬 팀이 만든 개선 사항을 종종 과소평가한다는 것을 발견했습니다. 반면, AI 판사는 병렬 팀의 비디오에 훨씬 높은 점수를 주었는데, 이는 사람이 악기를 잡는 특정한 방식이나 건물의 정확한 양식과 같은 미묘한 디테일을 포착했기 때문입니다. 이는 현재의 AI 테스트 도구들이 실제 문화적 정교함의 가치를 포착하기에는 너무 단순할 수 있음을 시사합니다.

이것이 의미하는 바 (그리고 그렇지 않은 것)

이 논문은 AI 비디오가 세계의 다양성을 존중하고 정확하게 표현하도록 만들기 위해서는, 문화를 하나의 균일한 것으로 취급하는 것을 멈춰야 한다고 제안합니다. 대신, 문화를 구체적인 부분들(사람, 동작, 장소)로 분해하고, 각 부분을 정교하게 다듬는 일을 전문화된 전문가들에게 맡겨야 합니다.

하지만 저자들은 자신들의 연구 한계에 대해서도 신중하게 언급했습니다. 그들은 단 세 가지 문화(중국, 미국, 루마니아)와 세 가지 유형의 동작(음식, 음악, 춤)만을 테스트했습니다. 이 연구가 전 세계의 모든 문화를 위한 문제를 해결한다고 주장하는 것은 아닙니다. 또한 그들은 자신들의 AI 모델이 때때로 얼굴을 명확하게 보여주는 데 어려움을 겪는다(종종 뒷모습을 보여줌)는 점을 인정했으며, 이로 인해 외형에 대한 문화적 세부 사항을 판단하기 어렵다는 점도 밝혔습니다.

그러나 핵심 메시지는 희망적입니다. AI를 하나의 일반론적인 존재가 아닌 전문가 팀으로 조직함으로써, 우리는 단순히 실제처럼 보이는 것을 넘어, 문화적으로 진실되게 느껴지는 영상을 생성하는 데 중요한 발걸음을 내디딜 수 있습니다.