Characterizing Cultural Localization in AI-Generated Stories

문제 정의
대규모 언어 모델(LLM)이 전 세계적으로 배포됨에 따라, 이들이 문화적으로 현지화된 콘텐츠를 생성할 수 있는 능력에 대한 관심이 높아지고 있습니다. 그러나 모델이 총체적 현지화(holistic localization)—즉, 문화적 맥락이 서사적 플롯, 가치, 주제 및 구조를 형성하는 방식—를 통해 현지화를 달성하는지, 아니면 **템플릿 기반 현지화(templated localization)**를 통해 달성하는지는 여전히 불분명합니다. 템플릿 기반 현지화는 모델이 문화적으로 중립적이고 균질한 서사 템플릿 안에 고립된 문화적 표식(예: 이름, 장소, 유물)을 삽입하는 현상을 의미합니다. 본 논문은 만약 모델이 템플릿 기반 현지화에 의존한다면, 모델이 균질한 서사와 가치를 반영하는 이야기를 생성할 위험이 있으며, 이는 문화적 소멸, 서구적 가치의 강요, 창의적 다양성 감소와 같은 문화적 해악으로 이어질 수 있다고 주장합니다. 또한, 기존의 평가 방식은 표면적인 어휘적 변이와 심층적인 서사적 차이를 구분하지 못하는 경우가 많아, 모델의 문화적 역량을 과대평가할 가능성이 있습니다.

방법론
저자들은 AI가 생성한 이야기에서 템플릿 기반 현지화의 정도를 탐지하고 측정하기 위한 2단계 방법을 제안합니다:

1. 문화적 표식 식별: 이 방법은 먼저 서로 다른 국적 간의 이야기를 구별하는 최소한의 어휘 토큰(단어) 집합을 식별합니다. 저자들은 정규화된 점수 상호 정보량(Normalized Pointwise Mutual Information, NPMI)을 사용하여 특정 국적과의 연관성을 기준으로 단어의 점수를 매깁니다. 그 후, 이 문화적으로 연관된 단어들의 상위 $k\%$를 반복적으로 마스킹(masking)합니다. 임계값 $k$는 분류기가 무작위 추측보다 더 나은 수준으로 이야기의 국적을 구별할 수 없는 지점을 찾는 방식으로 결정됩니다. 이러한 표식들이 제거된 남은 텍스트를 "템플릿 이미지(template image)"라고 부릅니다.
2. 서사적 균질성 측정: 두 번째 단계에서는 다중 단어 시퀀스 지표인 최장 공통 부분 수열(Longest Common Subsequence, LCS)과 4-gram의 자카드 유사도(Jaccard similarity)를 사용하여 서로 다른 국적 간의 "템플릿 이미지" 유사도를 측정합니다. 문화적 표식을 제거한 후에도 남은 서사가 국가 간에 매우 유사하다면, 이는 공유된 문화적 중립적 서사 템플릿이 존재함을 나타냅니다. 이는 원래의 이야기 및 무작위 단어를 마스킹했을 때의 이야기와 비교됩니다.
3. 스테레오타입 특성 파악: 마지막으로, 저자들은 식별된 문화적 표식의 스테레오타입 여부와 유해성을 SeeGULL 데이터셋을 사용하여 특성화합니다. 이들은 표식 내의 스테레오타입 정밀도를 계산하고, 이 표식들의 평균 유해성 점수를 측정합니다.

실험 설정
본 연구는 5개의 LLM(GPT-3.5 Turbo, GPT-4o Mini, Llama 3.1 8B, Llama 3.3 70B, Gemma 3 12B)을 대상으로 193개 국적과 문화적 가치 프레임워크(예: 세계 가치 조사, 홉스테데의 문화 차원 이론)에서 도출된 125개 이야기 주제에 대해 평가를 수행했습니다. 프롬프트는 모델에게 특정 국적의 어린이를 위해 특정 주제에 관한 어린이용 이야기를 영어로 작성하도록 지시했습니다.

주요 결과

• 현지화를 위한 제한된 어휘: 본 연구는 문화적 변이가 매우 작은 부분 집합의 어휘에 집중되어 있음을 발견했습니다. 문화적으로 연관된 단어의 단 **9%에서 17%**만을 마스킹해도 분류기가 서로 다른 국적의 이야기를 구별할 수 없게 만들기에 충분했습니다.
• 공유된 템플릿의 존재: 이러한 문화적 표식을 제거한 후, 남은 서사("템플릿 이미지")는 원래의 이야기보다 국적 간에 유의미하게 높은 다중 단어 유사성을 보였습니다. 많은 경우, 마스킹된 이야기의 집단 간 유사도는 집단 내 유사도의 70% 이상을 차지했으며, 이는 문화적으로 중립적인 잠재적 공유 서사 구조가 존재함을 시사합니다.
• 스테레오타입 및 유해성: 많은 문화적 표식이 중립적이었으나, 본 연구는 19개 국가의 표식이 평균적으로 유해하다는 것을 확인했습니다. 이 국가들은 주로 글로벌 사우스(특히 아프리카와 서아시아)에 위치하며, 종종 저자원 주류 언어를 사용합니다. 유해한 표식들은 흔히 부정적인 스테레오타입(예: "신뢰할 수 없는", "폭력적인", "낙후된")과 일치했습니다.

의의 및 주장
본 논문은 현재의 AI 생성 이야기가 총체적 현지화보다는 주로 템플릿 기반 현지화를 보여준다고 주장합니다. 저자들은 이러한 모델에서의 문화적 표현이 하나의 균질한 서사적 세계관 속에 삽입된 소수의 인식 가능한 상징들로 축소된다고 주장합니다.

이 연구의 의의는 **외재적 문화 역량(extrinsic cultural competence)**에 대한 분석적 관점에 있습니다. 저자들은 문화적으로 두드ful한 개체(예: 이름이나 장소)의 존재 여부에만 초점을 맞춘 평가는 모델의 현지화된 서사 생성 능력을 과대평가할 수 있다고 주장합니다. 서사의 구조적 균질성을 밝힘으로써, 본 논문은 다음과 같은 필요성을 강조합니다:

1. 표면적 표식뿐만 아니라 서사 구조, 가치, 입장 및 방언을 포함하는 더 넓은 범위의 문화 역량 평가.
2. 명시적인 템플릿 기반 생성 파이프라인이 없더라도, LLM이 암묵적으로 전 지구적으로 지배적인 서사 스키마로 회귀할 수 있다는 인식.
3. AI 시스템의 추론 및 도구 사용 과정 전반에서 발생하는 서사적 균질화를 탐지하고 측정하는 방법론의 개발.

저자들은 이러한 메커니즘을 이해하는 것이 다양한 서사 전통의 소멸이나, 특히 글로벌 사우스 공동체에 대한 부정적인 스테레오타입의 확산과 같은 잠재적인 문화적 해악을 예측하고 방지하는 데 필수적이라고 결론짓습니다.