💬 NLP

TALES: A Taxonomy and Analysis of Cultural Representations in LLM-generated Stories

이 논문은 문화적 왜곡에 대한 분류 체계와 6개의 대규모 언어 모델(LLM)에 대한 대규모 평가를 포함하는 포괄적인 프레임워크인 TALES를 소개하며, 이를 통해 AI가 생성한 인도 문화 관련 이야기의 88%가 오류를 포함하고 있으며 특히 중·저자원 언어와 준도시 지역의 서사에 영향을 미친다는 점을 밝혀낸다.

원저자: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

게시일 2026-02-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kirti Bhagat, Shaily Bhatt, Athul Velagapudi, Aditya Vashistha, Shachi Dave, Danish Pruthi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 박학다식하며 이야기하기를 좋아하는 로봇 친구가 있다고 상상해 보세요. 당신은 그 로봇에게 인도의 작은 마을에서 열린 결혼식이나, 북적이는 도시에서의 어린 시절 기억에 관한 이야기를 써달라고 부탁합니다. 당신은 로봇이 현지의 풍미—특정한 간식, 올바른 가족 호칭, 독특한 전통들—를 포착해 내기를 기대합니다.

하지만 이 논문인 TALES에 따르면, 그 로봇 친구는 종종 세부 사항을 틀리게 말하곤 합니다. 사실, 이는 마치 당신의 고향을 묘사하기 위해 여행 안내서만 읽어본 관광객에게 설명을 부탁하는 것과 같습니다. 그들은 주요 랜드마크는 맞출지 모르지만, 현지 속어나 음식, 그리고 일상적인 관습은 뒤섞어버릴 가능성이 높습니다.

연구진이 발견한 내용을 일상적인 비유를 사용하여 간단히 정리했습니다:

1. 문제점: 로봇의 "여행 안내서" 뇌

연구진은 다음과 같은 질문을 던졌습니다: AI가 인도 문화를 바탕으로 이야기를 할 때, 제대로 하고 있는가?
그 결과, **대중적인 AI 모델들이 생성한 이야기의 88%**에 오류가 포함되어 있다는 것을 발견했습니다. 이것은 단순한 오타 수준이 아니라, 문화적 실수였습니다.

이것은 마치 요리사가 지역 음식을 만들려고 노력하는 상황과 같습니다.

실수: 요리사가 "인도 음식"은 모두 하나라고 생각해서, 짠맛이 나는 커리에 설탕 같은 디저트 재료를 넣는 것과 같습니다.
현실: 연구진은 AI가 종종 특정 지역 음식을 혼동하거나, 가족 호칭을 잘못 사용하거나(남성 친척을 '이모/고모'라고 부르는 등), 실제 생활에서는 일어나지 않는 사건(예: 학교 버스에 표 검사원이 타고 있는 모습 등)을 묘사한다는 것을 발견했습니다.

2. 도구: "문화적 치트 시트" (TALES-Tax)

실수를 세기 전에, 연구진은 이를 분류할 방법이 필요했습니다. 그들은 단순히 추측하지 않고, 인도 출신의 실제 사람들(9개의 포커스 그룹 및 15개의 개별 설문 조사)에게 AI 이야기를 읽게 한 뒤, 무엇이 "어색하게" 느껴지는지 지적하도록 했습니다.

이 피드백을 바탕으로, 연구진은 7가지 범주의 오류를 가진 문화적 치트 시트(TALES-Tax라고 불림)를 만들었습니다:

문화적 부정확성 (Cultural Inaccuracy): 사실을 틀리게 말함 (예: 특정 간식을 아침 식사로 먹는다고 말하는 경우).
있을 법하지 않은 시나리오 (Unlikely Scenarios): 가짜처럼 느껴지는 사건을 만들어냄 (예: 아침 학교 조례 시간에 거리 공연가가 복잡한 클래식 악기를 연주하는 경우).
클리셰 (Clichés): 고정관념에 의존함 (예: 특정 지역 사람들이 모두 특정 종류의 커피를 마시거나 학교에 전통 축제 의상을 입고 온다고 가정하는 경우).
단순화 (Oversimplification): 독특한 세부 사항을 뭉뚱그려 표현함 (예: 구체적인 지역 명칭 대신 모든 인도 예술을 그냥 '랑골리'라고 부르는 경우).
사실적 오류 (Factual Errors): 지리나 역사를 틀리게 말함 (예: 녹색 지역 옆에 사막이 있다고 말하는 경우).
언어적 오류 (Linguistic Errors): 이름을 잘못 철자하거나 가족 호칭을 잘못 사용하는 경우.
논리적 오류 (Logical Errors): 사물의 작동 원리를 어김 (예: 등장인물이 식수로 쓰는 우물에서 목욕을 하는 경우).

3. 대규모 테스트: 108명의 전문가와 함께한 "맛 테스트"

연구진은 단 하나의 이야지만 본 것이 아닙니다. 그들은 71개 지역에서 온 108명의 전문가를 고용했습니다. 이들은 현지 문화를 속속들이 알고 있는 원어민들이었습니다.

그들은 6가지 다른 AI 모델(GPT-4와 Gemini 같은 유명 모델 포함)이 작성한 14가지 다른 언어의 540개 이야기를 전문가들에게 읽게 했습니다.

결과:

"풍요로운 곳" vs "빈약한 곳"의 격차: AI는 대도시(Tier-1)에 대한 이야기를 하거나 영어로 작성할 때는 훨씬 더 나았습니다. 하지만 이야기가 작은 마을을 배경으로 하거나 덜 흔한 인도 언어로 작성될 경우, 실수가 4배로 늘어났습니다.
"일반화의 덫" (The Generic Trap): 일부 AI 모델은 실수를 피하기 위해 문화적 세부 사항이 전혀 없는 매우 지루하고 일반적인 이야기를 쓰려고 했습니다. 다른 모델들은 창의적이려 노력했지만 세부 사항을 틀렸습니다. 두 방식 모두 좋지 않았습니다.
공감 능력 (Relatability): 이러한 실수 때문에, 이야기는 그 이야기를 대상으로 하는 사람들에게 "공감할 수 없는" 느낌을 주었습니다. 이는 마치 당신의 고 hometown을 배경으로 한 영화를 보는데, 배우들이 가짜 억양으로 말하고 잘못된 음식을 먹는 것과 같습니다. 당신은 결코 몰입할 수 없습니다.

4. 거대한 놀라움: "지식 vs 수행 능력"의 역설

여기서 가장 흥ante한 부분이 나옵니다. 연구진은 다음과 같이 궁금해했습니다: "AI가 단순히 무지한 것인가? 사실을 모르는 것인가?"

이를 테스트하기 위해, 그들은 실수를 퀴즈(TALES-QA라고 불림)로 변환했습니다. 연구진은 AI에게 "이 결혼식에서 제공되는 전통 음식은 무엇인가요?" 또는 "이 동상은 어디에 위치해 있나요?"와 같은 직접적인 질문을 던졌습니다.

충격적인 결과:

퀴즈 형식으로 물었을 때, AI는 영어로 76%, 인도 언어로 **60%**의 확률로 정답을 맞혔습니다.
결론: AI는 사실을 알고 있습니다. 그 정보는 AI의 뇌 속에 들어 있습니다. 하지만 이야기를 쓰려고 할 때, AI는 그 지식을 제대로 활용하지 못합니다.

비유:
어떤 학생이 역사 객관식 시험에서는 만점에 가까운 점수(90%)를 받지만, 역사를 주제로 에세이를 쓰라고 하면 터무니없고 틀린 사실들을 지어내는 상황을 상상해 보세요. 그 학생은 "무식한" 것이 아니라, 창의적이고 개방적인 상황에서 자신이 아는 것을 적용하는 데 실패하는 것입니다.

요약

이 논문은 현재의 AI 모델이 과도하게 자신만만한 관광객과 같다고 결론짓습니다. 그들은 가이드북을 읽었지만(데이터를 가지고 있지만), 현지 문화에 대해 이야기를 하려고 할 때 고정관념에 의존하고, 세부 사항을 뒤섞으며, 그 장소의 진정한 "풍미"를 담아내는 데 실패합니다. 이는 특히 작은 마을이나 덜 흔한 언어에서 두드러집니다.

연구진은 자신들의 "문화적 치트 시트"와 "퀴즈"가 개발자들을 도와, 미래의 AI가 그 대상이 되는 사람들에게 실질적이고 존중이 담긴 이야기를 들려줄 수 있기를 바랍니다.

기술 요약: TALES – LLM 생성 이야기의 문화적 표현에 대한 분류 및 분석

문제 정의

대규모 언어 모델(LLM)이 창의적 글쓰기 작업에서 크게 발전했음에도 불구하고, 이들은 비서구 문화권을 정확하게 표현하는 데 빈번히 실패하며, 종종 스테레오타입, 사실적 오류, 그리고 문화적 균질화를 고착화한다. 문화적 역량에 대한 기존의 평가들은 주로 지식 검색, 가치 정렬, 또는 폐쇄형 작업에서의 규범 준수에 초점을 맞추고 있다. 오픈 엔드(open-ended) 생성 작업(예: 스토리텔링)에서 문화적 표현을 평가하는 데에는 결정적인 공백이 존재하는데, 이러한 작업에서 '정확성'은 주관적이며 지역 사회의 실제 경험에 뿌리를 두고 있기 때문이다. 특히, 엄청난 언어적, 지리적, 문화적 다양성을 특징으로 하는 인도 지역에서 LLM이 문화적 정체성을 어떻게 잘못 표현하는지를 식별할 수 있는 구조화된 프레임워크가 부족한 실정이다.

방법론

저자들은 세 가지 주요 단계로 구성된 커뮤니티 중심 평가 프레임워크인 TALES(Taxonomy and Analysis of Cultural Representations in LLM-generated Stories)를 제안한다.

1. 분류 체계 개발 (TALES-Tax)

RQ1(LLM은 어떻게 다양한 문화적 정체성을 잘못 표현하는가?)을 해결하기 위해, 연구진은 다음을 포함하는 질적 연구를 수행하였다:

포커스 그룹(N=9) 및 개별 설문 조사(N=15) (다양한 인도 지역 참가자 대상).
참가자들은 축제, 결혼식, 일상생활 등의 주제를 바탕으로 한 LLM 생성 이야기(GPT-4 사용)를 검토하였다.
참가자들의 의견과 강조된 텍스트 구간에 대해 **성찰적 주제 분석(reflexive thematic analysis)**을 수행하여, 연구팀은 일곱 가지 범주의 문화적 오표현에 대한 분류 체계인 TALES-Tax를 도출하였다:
1. 문화적 부정확성(Cultural Inaccuracy): 상징, 전통 또는 신념에 대한 잘못된 묘사.
2. 비현실적 시나리오(Unlikely Scenarios): 현지 규범에 비추어 맥락상 불가능한 사건.
3. 클리셰(Clichés): 스테레오타입이나 낭만화된 트로프(tropes)의 과도한 사용.
4. 단순화(Oversimplification): 복잡한 문화적 요소를 균질화함.
5. 사실적 오류(Factual Error): 지리, 역사 등 객관적 정보의 오류.
6. 언어적 부정확성(Linguistic Inaccuracy): 철자, 문법 또는 부적절한 코드 스위칭(code-switching).
7. 논리적 오류(Logical Error): 서사의 일관성 결여.

2. 대규모 인간 평가

RQ2(이러한 오표현은 얼마나 빈번하게 발생하는가?)를 해결하기 위해, 연구팀은 대규모 어노테이션 연구를 실시하였다:

평가 대상 모델: 6개의 인기 LLM (폐쇄형 소스 2개: GPT-4.1, Gemini 2.5 Pro; 오픈 소스 4개: Llama 3.3 70B, Gemma 3 27B, Qwen 3 32B, Aya 32B).
어노테이터: 인도 전역의 71개 지역에서 온, 모국어 능숙도와 삶의 경험을 갖춘 108명의 "전문" 어노테이터 (영어 + 13개 인도 언어, 총 14개 언어 커버).
데이터: 홉스테드(Hofstede)의 문화적 양파 모델(상징, 영웅, 의례, 가치)에 기반한 프롬프트를 사용하여 생성된 540개의 이야기.
어노테이션: 어노테이터들은 TALES-Tax를 사용하여 오표현 구간을 강조 표시하고, 이야기의 관련성(relatability)을 5점 리커트 척도로 평가하였다.
분석: Mann–Whitney U 검정을 통해 언어 자원 수준(High, Mid, Low)과 지역 티어(Tier-1, Tier-2, Tier-3)에 따른 오표현 빈도를 비교하는 통계 분석을 수행하였다.

3. 문화적 지식 측정 (TALES-QA)

RQ3(오표현은 문화적 지식의 부족 때문인가?)을 해결하기 위해, 연구진은 다음을 수행하였다:

어노테이션된 오표현 구간을 독립적인 질문으로 변환하였다(TALES-QA).
GPT-4.1을 사용하여 후보 질문을 생성한 후, 인간 전문가가 이를 검증하고 정교화하였다.
다양한 형식(단답형, 빈칸 채우기, 객관식, 진위형)을 포함하는 1,683개의 질문(인도 언어 1,115개, 영어 568개) 데이터셋을 구축하였다.
동일한 6개의 모델을 이 질문 뱅크로 평가하여, 모델이 스토리텔링 과정에서 적용하지 못한 근본적인 지식을 보유하고 있는지 확인하였다.

주요 결과

오표현의 빈도 및 분포

높은 빈도: 생성된 이야기의 **88%**가 적어도 하나의 문화적 오표현을 포함하고 있었다. 평균적으로 이야기당 5.42개의 오표현이 발견되었으며, 이는 약 5문장마다 한 번꼴이다.
언어적 격차: 비영어 언어에서 오표현이 유의미하게 증가했다.
- 중간 자원 언어는 영어에 비해 오표현이 56% 증가했다.
- 저자원 언어에서는 오표현이 4배로 늘어났다.
- 비영어권 이야기에서는 언어적 오류가 지배적인 범주였다.
지역적 격차: Tier-3 (준도시/농촌) 지역을 배경으로 한 이야기는 Tier-1 지역보다 훨씬 더 많은 오표현을 포함했다. 문화적 부정확성과 사실적 오류는 Tier-3 지역에서 가장 급격히 증가했다.
관련성(Relatability): 평균 관련성 점수는 3.25/5였다. 오표현의 수와 이야기의 관련성 사이에는 중간 정도의 음의 상관관계( $r_s = -0.27$ )가 존재했다. 폐쇄형 소스 모델들이 오픈 소스 모델들보다 일반적으로 높은 관련성 점수를 받았다.

문화적 지식 vs. 생성적 적용

지식 격차: 이야기 속의 높은 오표현율에도 불구하고, 모델들은 TALES-QA(독립 질문)에서 놀라울 정도로 높은 정확도를 보였다.
- 영어: 평균 정확도 76.9%.
- 인도 언어: 평균 정확도가 **59.8%**로 떨어졌으며, 저자원 언어에서 가장 낮은 성능을 보였다.
시사점: 오표현의 주요 원인은 문화적 지식의 부족이 아니다. 대신, 모델들이 저장된 문화적 지식을 맥락이 풍부한 서사를 생성할 때 충실히 적용하는 데 어려움을 겪고 있다는 것을 의미한다.

모델별 발견 사항

Gemini 2.5 Pro는 전체적으로 가장 우수한 성능을 보였으며, 가장 많은 문화적 특이 항목(Cultural Specific Item)을 생성하면서도 오표현 비율은 가장 낮았다.
LLaMA 3.3 70B는 이야기당 오표현은 적었으나 문화적 풍부함(문화적 항목 수) 또한 가장 낮았다. 이는 능동적인 오표현보다는 "무표현"(일반적인 텍스트)으로 흐르는 경향을 시사한다.
Aya 32B와 Qwen 3 32B는 높은 문화적 풍부함을 보였으나 동시에 높은 오표현율도 나타냈다.

핵심 기여

TALES-Tax: 인도 참가자들의 포커스 그룹과 설문 조사를 통해 도출된, 일곱 가지 범주의 문화적 오표현에 대한 새로운 커뮤니티 기반 분류 체계.
대규모 평가: 71개 지역의 108명 원어민이 참여한 포괄적인 인간 평가를 통해, 6개 모델, 14개 언어, 다양한 인도 지역에 걸친 문화적 오표현에 대한 최초의 세밀한 분석 제공.
TALES-QA: 문화적 지식과 생성 능력을 분리하여, 모델이 지식은 갖추고 있으나 스토리텔링 시 이를 제대로 적용하지 못한다는 점을 밝혀낸 1,683개의 독립 질문 뱅크.
격차에 대한 실증적 증거: 문화적 오표현이 중/저자원 언어 및 준도시 지역에서 심화된다는 정량적 증거를 제시함으로써, AI 개발의 특정 개선 영역을 강조함.

의의 및 주장

본 논문은 단순한 지식 검색 메트릭을 넘어, 커뮤니티 구성원의 실제 삶의 경험을 통해 생성 환경에서의 문화적 표현을 평가한다는 점에서 그 중요성을 가진다고 주장한다.

커뮤니티 중심 접근법: 인도 참가자들의 관점에 기반한 분류 체계와 평가를 통해, 본 연구는 현재 AI 시스템의 "서구 중심적" 설계를 비판하며, 소수화된 지역 내의 소수 공동체(예: 인도 농촌)가 겪는 구체적인 피해를 조명한다.
지식 vs. 적용: 모델이 문화적 지식 질문에는 올바르게 답하면서도 이야기 생성 시에는 문화적 표현을 정확하게 하지 못한다는 발견은, 생성 과정에서의 **문화적 정렬(cultural alignment)**에 근본적인 간극이 있음을 시사한다. 이는 단순히 훈련 데이터나 지식 베이스를 늘리는 것만으로는 불충분하며, 모델이 오픈 엔드 작업에서 문화적 맥락을 적용하는 더 나은 메커니즘이 필요함을 의미한다.
향atre 방향: 저자들은 AI 시스템이 문화적 세부 사항을 환각(hallucination)하기보다는, 문화적 불확실성을 처리하는 방식(예: 답변을 유보하거나 후속 질문을 던지는 방식)을 설계해야 한다고 주장한다. TALES-Tax와 TALES-QA의 공개는 비서구적 맥락에서 문화적 역량을 개선하고 오표현을 완화하기 위한 향후 연구의 구조적 토대를 제공한다.

저자들은 초기 포커스 그룹에 영어를 사용했다는 점과 특정 프롬프트 설계와 같은 한계를 인정하며, 본 연구가 결정적인 종착점이 아니라 문화적 오표현을 이해하고 평가하기 위한 출발점으로서 역할을 한다는 점을 명시하며 신중한 입장을 유지한다.