Lessons Without Borders? Evaluating Cultural Alignment of LLMs Using Multilingual Story Moral Generation

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 이야기는 문화를 통해 가치를 전달하는 핵심 수단이며, 독자들은 이야기에서 교훈 (Story Moral) 을 추론합니다. 그러나 동일한 이야기라도 독자의 언어적, 문화적 맥락에 따라 해석과 도출되는 교훈이 달라질 수 있습니다.
• 문제: 현재 대규모 언어 모델 (LLM) 은 다양한 문화적 관점을 반영하는지, 혹은 서구 중심의 편향을 가지고 있는지 평가하는 데 한계가 있습니다. 기존의 문화적 정렬 (Cultural Alignment) 평가는 주로 정적인 지식 퀴즈나 명확한 '옳고 그름'을 판단하는 태스크에 의존하여, 인간이 일상적인 서사를 어떻게 유연하게 해석하고 문화적 차이를 반영하는지 (해석적 다양성) 를 충분히 포착하지 못합니다.
• 핵심 질문: LLM 이 다양한 언어와 문화적 배경을 가진 인간 독자들의 교훈 생성 패턴 (특히 해석의 다양성과 문화적 차이) 을 재현할 수 있는가?

2. 방법론 (Methodology)

저자들은 **다국어 스토리 교훈 생성 (Multilingual Story Moral Generation)**을 새로운 평가 태스크로 도입했습니다.

• 데이터셋 구축:

  • 14 개의 언어 - 문화 쌍 (예: 포르투갈어 - 브라질, 아랍어 - 이집트 등) 에서 유래한 14 개의 소설 줄거리 (WikiPlots 기반) 를 수집했습니다.
  • 각 줄거리를 14 개 언어로 번역하여 총 196 개의 텍스트 패시지를 구성했습니다.
  • 인간 생성 교훈: Prolific 플랫폼을 통해 각 언어 - 문화 권역의 원어민 참여자들에게 각 이야기의 교훈을 작성하게 하여 총 588 개의 인간 생성 데이터를 수집했습니다. (AI 오염 방지를 위해 AI 사용 금지 및 AI 생성 의심 데이터 제거 과정을 거침).
  • LLM 생성 교훈: GPT-4o, Gemini 2.5 Flash, Gemma3, Phi3, Aya, Qwen3 등 7 개의 모델을 사용하여 동일한 스토리에 대한 교훈을 생성했습니다. 프롬프트에는 해당 언어의 원어민으로서의 문화적 배경을 시뮬레이션하도록 지시하는 '사회인구학적 프롬프팅'을 적용했습니다.

• 평가 프레임워크 (3 가지 접근법):

  1. 의미적 유사성 분석 (Semantic Similarity): 임베딩 모델 (LaBSE, MiniLM 등) 을 사용하여 인간 간, 인간 - 모델 간, 모델 간 교훈의 의미적 거리를 측정했습니다.
     • 가설 H1: 번역이 문화적 차이를 평탄화하는가?
     • 가설 H2: 인간 교훈은 문화 간에 유의미하게 변이가 있는가?
     • 가설 H3: LLM 은 인간 내 언어적 변이 범위 내에 있는가?
     • 가설 H4: LLM 은 인간과 유사한 언어 간 변이 (문화적 민감성) 를 보이는가?
  2. 인간 선호도 설문 (Human Preference Survey): 동일한 스토리에 대해 인간이 작성한 교훈과 LLM 이 작성한 교훈 중 어느 것이 더 적절하다고 느끼는지 2x2 설계 (스토리 내/외, 문화 내/외) 로 평가했습니다.
  3. 가치 범주화 (Schwartz Value Categorization): Schwartz 의 10 가지 보편적 가치 이론을 사용하여 생성된 교훈들이 어떤 가치 (예: 안전, 자아실현, 관용 등) 를 더 많이 반영하는지 LLM 을 통해 분석했습니다.

3. 주요 결과 (Key Results)

• 의미적 유사성 (Similarity):

  • 최첨단 모델 (GPT-4o, Gemini) 은 인간 생성 교훈과 높은 의미적 유사성을 보이며, 인간 간 합의 수준을 초과하거나 근접하는 성능을 발휘했습니다.
  • 중요한 발견: 모든 LLM 은 인간보다 언어 간 유사성 (Cross-lingual Similarity) 이 현저히 높았습니다. 즉, LLM 은 서로 다른 언어/문화권에서 생성된 교훈이 인간보다 더 비슷하게 나옵니다. 이는 LLM 이 문화적 다양성을 재현하지 못하고, 특정 가치에 수렴 (Convergence) 하는 경향이 있음을 의미합니다.
  • 작은 모델들은 인간보다 유사성이 낮았으나, 이는 교훈의 품질이 낮기 때문으로 해석되었습니다.

• 인간 선호도 (Human Preference):

  • 참여자들은 자신의 문화권에서 생성된 교훈을 약간 더 선호하는 경향이 있었으나, **스토리 적합성 (In-story)**이 문화적 근접성보다 선호도에 더 큰 영향을 미쳤습니다.
  • 놀랍게도, LLM 이 생성한 교훈이 인간이 생성한 교훈보다 일관되게 더 선호되었습니다. 이는 LLM 이 생성한 내용이 더 명확하고, 보편적으로 받아들여지는 "표준"적인 교훈 형태를 띠기 때문으로 분석됩니다.

• 가치 분석 (Schwartz Values):

  • LLM 이 생성한 교훈은 인간보다 **보편적이고 흔한 가치 (Security, Benevolence 등)**를 더 명시적으로 언급하는 경향이 있었습니다.
  • 반면, 인간이 도출한 교훈에는 덜 빈번하거나 사회적 논쟁이 될 수 있는 가치 (Power, Achievement, Hedonism 등) 가 더 다양하게 분포되어 있었습니다. LLM 은 "안전"하고 "공통된" 교훈을 선호하여 문화적 뉘앙스의 다양성을 잃는 것으로 나타났습니다.

4. 주요 기여 (Key Contributions)

1. 새로운 평가 태스크 제안: 정적인 지식 테스트를 넘어, 서사적 이해의 핵심인 '교훈 생성'을 통해 LLM 의 문화적 정렬과 해석적 다양성을 평가하는 새로운 프레임워크를 제시했습니다.
2. 다국어 문화적 정렬 평가 데이터셋: 14 개 언어 - 문화 쌍에 걸친 인간 및 LLM 생성 교훈 데이터를 공개하여, 문화적 편향과 다양성 연구의 벤치마크를 제공합니다.
3. LLM 의 문화적 평탄화 (Cultural Flattening) 발견: LLM 이 인간 수준의 교훈 생성 능력은 갖추었으나, 문화적 맥락에 따른 해석의 다양성 (Variation) 을 재현하지 못하고, 보편적이고 단일화된 가치로 수렴하는 경향이 있음을 실증적으로 증명했습니다.
4. 평가 방법론의 확장: 의미적 유사성, 인간 선호도, 가치 이론을 결합한 다각적인 평가 방식을 통해 LLM 의 문화적 민감성을 종합적으로 분석했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 의의: 이 연구는 LLM 이 단순히 '정답'을 맞추는 것을 넘어, 인간이 문화적 맥락에 따라 어떻게 유연하게 이야기를 해석하는지 모방할 수 있는지에 대한 중요한 통찰을 제공합니다. 현재의 최첨단 모델조차도 문화적 다양성과 해석의 뉘앙스를 포착하는 데 한계가 있음을 보여줍니다.
• 결론: LLM 은 인간과 유사한 교훈을 생성할 수 있지만, 이는 문화적 특이성 (Cultural Specificity) 과 해석의 폭이 제한된 '평균화'된 결과일 가능성이 높습니다. 향후 LLM 개발 및 평가는 단순한 정확도뿐만 아니라, 다양한 문화적 관점에서의 해석적 다양성을 보존하고 증진하는 방향으로 나아가야 함을 시사합니다.
• 한계: 번역 과정에서의 왜곡 가능성, 데이터셋의 크기 제한, 그리고 요약본을 기반으로 한 평가의 한계 등이 지적되었으며, 향후 더 다양한 텍스트와 원어 기반 평가를 통해 이를 보완할 필요가 있습니다.

이 논문은 LLM 이 문화적으로 어떻게 '동화'되는지, 그리고 진정한 문화적 정렬을 달성하기 위해 어떤 추가적인 노력이 필요한지에 대한 중요한 기초 연구를 제공합니다.