Culture in Action: Evaluating Text-to-Image Models through Social Activities

이 논문은 기존 객체 중심의 문화적 편향을 넘어 사회적 활동과 일상적 맥락을 평가하는 새로운 벤치마크 'CULTIVATE'를 제안하고, 이를 통해 텍스트 - 이미지 생성 모델이 북반구 국가에 비해 남반구 국가의 문화를 덜 정확하게 표현하며 체계적인 편향을 보임을 규명했습니다.

핵심

1. 문제: "요리책"과 "실제 식당"의 차이

지금까지 AI 가 그리는 그림을 평가할 때는 주로 **사물 (Object)**에 집중했습니다. 예를 들어, "프랑스의 에펠탑"이나 "한국의 김치" 같은 특정 물체가 그림에 있는지 없는지 확인했죠.

하지만 문화는 물체 그 자체보다 사람들이 어떻게 행동하고, 어떤 관계를 맺는지에서 더 잘 드러납니다.

• 비유: "이탈리아에서 피자를 먹는 모습"을 그릴 때, 단순히 '피자'와 '이탈리아 국기'만 있으면 된다고 생각할까요? 아닙니다. 실제로는 가족이 긴 테이블에 둘러앉아 수다를 떨거나, 손으로 먹거나, 특정 제스처를 취할 수 있습니다.
• 현실: 현재 AI 는 이런 **사회적 활동 (Social Activities)**의 미묘한 뉘앙스를 잘 이해하지 못합니다. 대신, "이탈리아 = 모자 쓴 사람, 피아노, 거대한 토마토"처럼 **지나치게 과장된 고정관념 (Stereotype)**을 섞어 그리는 경우가 많습니다.

2. 해결책: CULTIVate (문화 재배하기)

저자들은 이 문제를 해결하기 위해 CULTIVate라는 새로운 시험지를 만들었습니다.

• 내용: 16 개 나라, 9 가지 카테고리 (춤, 인사, 식사 등) 의 총 576 가지 활동을 다룹니다.
• 목적: AI 가 "이 나라의 사람들이 실제로 어떻게 행동하는지"를 제대로 그렸는지 확인하는 것입니다.

3. 핵심 도구: AHEaD (문화 이해도 측정기)

그림을 평가할 때 단순히 "비슷한가?"만 보는 게 아니라, 4 가지 렌즈를 통해 자세히 살펴봅니다. 이를 AHEaD라고 부릅니다.

• A (Alignment - 맞춤): 기대한 문화적 요소 (예: 한국식 인사법) 가 그림에 들어갔나요?
• H (Hallucination - 환각): 존재하지 않는 엉뚱한 요소 (예: 한국 인사에 코끼리가 등장) 가 섞여 있나요?
• E (Exaggeration - 과장): 문화적 요소가 너무 과하게 강조되었나요? (예: 모든 한국 사람이 한복을 입고, 김치를 들고 있는 것)
• D (Diversity - 다양성): 같은 활동이라도 다양한 모습이 표현되었나요? (모두 똑같은 모습만 반복하지 않았나요?)

이걸 왜 만들었나요?
기존에 AI 가 그리는 그림을 평가할 때는 **"이미지 - 텍스트 일치도 (CLIPScore 등)"**라는 도구를 썼는데, 이는 마치 **"키워드 매칭"**만 하는 검색 엔진과 비슷합니다.

• 비유: "인도에서 코끼리 놀이"라는 명령을 내렸는데, AI 가 진짜 코끼리를 그렸다고 해서 점수를 높게 줍니다. 하지만 실제로는 코끼리 모양의 발을 딛고 하는 '인도식 가위바위보' 게임인데, AI 는 진짜 코끼리를 그려버린 겁니다. 기존 도구는 이를 모르고 "코끼리가 있으니 점수 높음!"이라고 하지만, 실제 문화에는 완전히 틀린 그림입니다.
• AHEaD 의 장점: 이 도구는 **"코끼리가 왜 여기 있는지?"**를 분석합니다. 문화적 맥락을 이해하지 못하면 점수를 깎아줍니다.

4. 주요 발견: "부자 나라"와 "다른 나라"의 차이

이 연구를 통해 놀라운 사실을 발견했습니다.

• 편향성: AI 는 미국, 유럽 등 **선진국 (Global North)**의 문화를 그릴 때는 훨씬 잘 그립니다. 하지만 아시아, 아프리카, 남미 등 **개발도상국 (Global South)**의 문화를 그릴 때는 실수가 훨씬 많고, 고정관념을 과하게 섞습니다.
• 결과: AI 가 그리는 그림은 선진국 문화에는 '진짜' 같지만, 다른 나라 문화에는 '가짜'나 '만화'처럼 보일 확률이 높습니다.

5. 결론: 더 나은 그림을 위해

이 논문은 단순히 "AI 가 못한다"고 비판하는 것을 넘어, 어떤 부분이 잘못되었는지 구체적으로 알려주는 나침반을 제시합니다.

• 활용: "이 그림은 인사법이 맞지만, 옷차림이 너무 과장되었네"라고 알려주면, 개발자는 AI 를 수정하여 더 정확한 그림을 만들 수 있습니다.
• 의미: 이제부터 AI 가 만드는 영화, 광고, 게임 속 배경이 특정 나라의 문화를 왜곡하지 않고, 그 나라 사람들이 실제로 겪는 삶을 더 잘 반영할 수 있게 될 것입니다.

한 줄 요약:

"AI 가 그리는 그림이 '키워드'만 맞추는 게 아니라, 그 나라 사람들의 '삶과 문화'를 진짜처럼 표현했는지 확인해주는 새로운 감시관 (AHEaD) 을 만들었습니다."

기술 요약

1. 문제 정의 (Problem)

• 기존 벤치마크의 한계: 현재 텍스트 - 이미지 (T2I) 생성 모델의 문화적 충실도 (Cultural Faithfulness) 를 평가하는 벤치마크는 주로 사물 중심의 아티팩트 (음식, 랜드마크, 의류 등) 에 집중되어 있습니다.
• 사회적 활동의 복잡성: 문화적 뉘앙스는 사물 그 자체보다는 **사회적 상호작용 (Social Activities)**을 통해 가장 잘 표현됩니다. 그러나 활동은 맥락, 상호작용, 사물과 사람 간의 공간적 배치가 복잡하게 얽혀 있어 정적인 사물 인식보다 평가가 어렵습니다.
• 평가 지표의 부재: 기존 연구는 비용이 많이 드는 인간 평가에 의존하거나, 이미지 - 텍스트 정렬 (Image-Text Alignment, ITA) 지표를 사용했습니다. 그러나 ITA 지표 (예: CLIPScore) 는 문화적 편향을 그대로 반영하거나, 과장된 요소 (Hallucination) 나 편향된 표현 (Exaggeration) 을 오히려 높은 점수로 평가하는 등 문화적 충실도를 측정하는 데 실패했습니다.
• WEIRD 편향: T2I 모델은 서구 중심 (WEIRD: Western, Educated, Industrialized, Rich, Democratic) 의 웹 데이터로 훈련되어, 글로벌 사우스 (Global South) 국가의 문화를 왜곡하거나 과장하여 생성하는 경향이 있습니다.

2. 방법론 (Methodology)

A. CULTIVate 벤치마크 구축

• 데이터 구성: 16 개 국가, 9 가지 카테고리 (춤, 인사, 식사, 게임, 축하 등) 에 걸친 576 가지 사회적 활동을 포함합니다.
• 규모: 6 개의 최신 T2I 모델로 생성된 19,000 개 이상의 이미지와 3,000 개 이상의 실제 참조 이미지를 수집했습니다.
• 특징: 정적인 사물이 아닌, 맥락과 상호작용이 포함된 '활동'을 평가 대상으로 삼아 문화적 표현의 다양성을 포착합니다.

B. AHEaD 프레임워크 (핵심 제안)

문화적 충실도를 정량적이고 해석 가능한 방식으로 평가하기 위해 AHEaD (Alignment, Hallucination, Exaggeration, Diversity) 를 제안합니다. 이는 외부 시각적 기술자 (Visual Descriptors) 를 기반으로 합니다.

1. 참조 기술자 생성 (Reference Descriptor Generation):

   • Proposer-Refiner 파이프라인: 여러 LLM 이 다양한 후보 기술자를 생성 (Proposer) 하고, 다른 LLM 이 이를 정제하여 중복과 오류를 제거 (Refiner) 하는 2 단계 방식을 사용합니다.
   • 5 가지 차원: 배경 (Background), 의류 (Attire), 사물 (Objects), 행동/상호작용 (Actions/Interactions), 공간적 배치 (Spatial Layout) 로 세분화됩니다.
   • 장점: 이미지 없이 텍스트 기반으로 생성되므로 T2I 모델의 편향에 영향을 받지 않는 객관적인 기준을 마련합니다.

2. 예측 기술자 추출 (Predicted Descriptor Extraction):

   • 생성된 이미지를 MLLM (Multimodal LLM) 을 통해 분석하여 위 5 가지 차원에 해당하는 기술자를 추출합니다.

3. 평가 지표 계산:

   • Alignment (정렬): 기대되는 문화적 요소가 이미지에 얼마나 포함되어 있는지 측정합니다.
   • Hallucination (환각): 참조 데이터에 없는 잘못된 요소 (예: 인도네시아의 '코끼리 - 개미 - 사람' 게임에 실제 코끼리가 등장하는 등) 가 있는지 측정합니다.
   • Exaggeration (과장): 문화적 요소가 현실보다 과도하게 강조되거나 편향된 스테레오타입으로 표현되었는지 측정합니다.
   • Diversity (다양성): 생성된 이미지들이 문화적 변이를 얼마나 잘 포착하는지 측정합니다.
   • FAITH 점수: Alignment, 1-Hallucination, 1-Exaggeration 의 평균으로 종합적인 문화적 충실도 점수를 도출합니다.

3. 주요 기여 (Key Contributions)

1. CULTIVate 벤치마크: 사회적 활동을 통해 T2I 모델의 문화적 충실도를 평가하는 최초의 대규모 벤치마크를 제시했습니다.
2. AHEaD 프레임워크: 인간 평가 없이 자동화 가능하면서도 해석 가능한 (Interpretable) 진단 지표를 제안했습니다. 이를 통해 모델이 어떤 문화적 요소를 놓쳤거나 과장했는지 구체적으로 파악할 수 있습니다.
3. 새로운 통찰:
   • 기존 ITA 지표는 인간의 판단과 상관관계가 낮음을 증명했습니다.
   • 정렬 (Alignment) 만으로는 충실도를 평가할 수 없으며, 환각과 과장을 함께 고려한 FAITH 지표가 인간 판단과 가장 높은 상관관계 (27% 향상) 를 보였습니다.
   • Proposer-Refiner 방식을 통해 인간 개입 없이도 고품질의 참조 기술자를 생성할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 모델 성능 편향: 모든 T2I 모델이 글로벌 노스 (Global North, 서구권) 국가에 비해 글로벌 사우스 (Global South) 국가의 문화적 활동을 더 낮게 평가하고 더 많은 오류를 범했습니다. (Global North 대비 Global South 에서 Alignment 가 4-8% 낮음).
• 지표 비교:
  • 기존 ITA 지표 (CLIPScore, ImageReward 등) 와 MLLM-as-Judge 방식은 인간 판단과 상관관계가 매우 낮았습니다.
  • 제안된 FAITH 지표는 MLLM-as-Judge 베이스라인보다 27% 높은 상관관계를 보였으며, ITA 지표보다 월등히 우수했습니다.
  • FAITH = Alignment + (1-Hallucination) + (1-Exaggeration) 조합이 최적의 성능을 발휘했습니다.
• 활동별 성능: 보편적인 활동 (식사, 콘서트) 보다 특정 문화에 뿌리내린 활동 (전통 춤, 종교 의식, 축하 행사) 에서 모델의 성능이 현저히 떨어졌습니다.

5. 의의 및 결론 (Significance)

• 문화적 포용성 증진: T2I 모델이 전 세계 다양한 문화를 정확하게 표현할 수 있도록 진단하고 개선할 수 있는 도구를 제공합니다.
• 반복적 개선 가능성: AHEaD 는 구체적인 기술자 (Descriptor) 단위의 피드백을 제공하므로, 이를 기반으로 생성된 이미지를 편집 (Image Refinement) 하여 문화적 정확도를 높이는 데 활용 가능합니다.
• 연구 방향 전환: 단순한 객체 인식이나 텍스트 정렬을 넘어, 맥락과 상호작용을 이해하는 사회적 활동 중심의 문화적 평가의 중요성을 강조합니다.

이 논문은 생성형 AI 가 문화적 편향을 줄이고 전 세계 사용자에게 더 공정하고 정확한 콘텐츠를 제공할 수 있는 길을 여는 중요한 이정표로 평가됩니다.