Leveraging Wikidata for Geographically Informed Sociocultural Bias Dataset Creation: Application to Latin America

이 논문은 위키데이터와 전문가 지식을 활용하여 라틴아메리카의 다양한 사회문화적 편향을 평가할 수 있는 26,000 개 이상의 다국어 질문 - 답변 데이터셋 (LatamQA) 을 구축하고, 이를 통해 대규모 언어 모델이 라틴아메리카 문화보다 이베리아 스페인 문화에 더 치우친 편향을 보이며 언어와 지역에 따라 성능 편차가 있음을 규명했습니다.

핵심

이 논문은 **"인공지능 (AI) 이 라틴아메리카의 문화를 얼마나 잘 알고 있을까?"**라는 질문에 답하기 위해 진행된 흥미로운 연구입니다.

쉽게 비유하자면, 이 연구는 **"전 세계적으로 유명한 AI 선생님들이, 라틴아메리카라는 거대한 '지역 도서관'의 책들을 얼마나 잘 읽었는지 시험을 치른 결과"**라고 볼 수 있습니다.

주요 내용을 일상적인 언어와 비유로 설명해 드릴게요.

---

1. 문제 상황: "북극곰이 사막의 모래를 모를 수밖에 없죠"

현재 유명한 AI 모델들 (LLM) 은 주로 미국이나 유럽 (북반구) 의 데이터로 배웠습니다. 그래서 미국이나 유럽의 문화는 잘 알지만, 라틴아메리카 (남미) 의 문화는 잘 모르는 경우가 많습니다.

• 비유: 마치 미국에서 태어난 요리사가 이탈리아 파스타는 잘 만들지만, 멕시코의 타코나 브라질의 페이조아다 같은 현지 음식은 잘 모를 수 있는 것과 같습니다.
• 현실: 라틴아메리카는 스페인어와 포르투갈어를 쓰지만, 나라마다 역사와 문화가 다릅니다. 그런데 기존 AI 시험 문제들은 이 세세한 차이를 무시하고 "라틴아메리카"라고 뭉뚱그려서 내거나, 아예 영어로만 냅니다.

2. 해결책: "위키백과라는 거대한 보물상자"

연구팀은 라틴아메리카의 문화 지식을 AI 가 얼마나 알고 있는지 정확히 측정하기 위해, **26,000 개가 넘는 새로운 시험 문제 (LatamQA)**를 만들었습니다.

• 어떻게 만들었나요?
  • 보물찾기: 위키백과 (Wikipedia) 에 있는 '문화' 관련 글들을 모았습니다.
  • 현장 전문가의 손길: 사회학자 (문화 전문가) 들이 "이 글은 진짜 문화적인 가치가 있다"고 골라냈습니다. (예: 멕시코의 특정 음식, 칠레의 특정 슬랭, 아르헨티나의 전통 등)
  • AI 가 문제를 내다: 골라낸 글들을 바탕으로 AI 가 스스로 질문과 답을 만들게 했습니다. (예: "페루의 '마조모라 모라다'라는 디저트의 뿌리는 어디인가?")
  • 결과: 스페인어, 포르투갈어, 영어로 된 26,000 개의 객관식 문제가 완성되었습니다.

3. 시험 결과: AI 들의 성적표

이 새로운 시험지로 다양한 AI 모델들을 시험해 보니 놀라운 결과들이 나왔습니다.

① "내 언어로 말하면 더 잘해요"

• 결과: AI 는 자기가 배운 언어 (스페인어, 포르투갈어) 로 질문을 받을 때 훨씬 잘 맞췄습니다.
• 비유: 한국어 시험을 볼 때 영어로 번역된 문제를 풀면 실수하지만, 한국어로 된 문제를 보면 훨씬 잘 푸는 것과 같습니다.

② "스페인 (유럽) 은 잘 알지만, 남미는 모릅니다"

• 결과: AI 들은 유럽의 스페인 (이베리아 반도) 문화는 잘 알았지만, 남미의 스페인어권 국가 (멕시코, 칠레 등) 문화는 상대적으로 못 알아맞혔습니다.
• 비유: **파리 (유럽)**의 맛집 정보는 다 알고 있지만, **파리에서 8,000km 떨어진 부에노스아이레스 (남미)**의 맛집 정보는 잘 모르는 것과 같습니다. AI 가 배운 데이터가 유럽 중심이라서 생긴 일입니다.

③ "모델이 클수록 점수가 올라갑니다"

• 결과: AI 의 두뇌 (모델 크기) 가 클수록 문화를 더 잘 이해했습니다.
• 비유: 작은 도서관보다 거대한 도서관을 가진 AI 가 더 많은 문화적 지식을 가지고 있다는 뜻입니다.

④ "지역별 편차가 큽니다"

• 결과: 어떤 나라는 AI 가 쉽게 맞췄고, 어떤 나라는 매우 어려워했습니다.
• 비유: AI 는 멕시코나 브라질 같은 큰 나라의 문화는 잘 알지만, 코스타리카나 온두라스 같은 작은 나라의 문화는 잘 모릅니다. 데이터가 많은 나라를 더 잘 아는 것입니다.

4. 결론 및 시사점

이 연구는 **"AI 가 라틴아메리카의 문화를 제대로 이해하려면, 현지 언어와 세세한 문화적 맥락을 고려한 데이터가 필요하다"**는 것을 증명했습니다.

• 핵심 메시지: AI 를 더 똑똑하고 공평하게 만들려면, 단순히 영어 데이터만 쌓는 것이 아니라 라틴아메리카 현지인의 눈과 언어로 세상을 바라보는 데이터를 채워줘야 합니다.

한 줄 요약

"지금의 AI 는 유럽 중심의 '글로벌 스타'지만, 라틴아메리카의 '지역 전문가'가 되려면 현지 언어와 문화로 채워진 새로운 시험지 (LatamQA) 가 필요하다는 연구입니다."

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 주로 '글로벌 노스 (Global North, 북미 및 서유럽)' 데이터를 기반으로 학습되어 다양한 문화적 맥락, 특히 라틴아메리카 (Latam) 와 같은 비영어권 지역의 문화에 대한 편향과 지식 결여를 보입니다.

• 지식 불균형: 기존 문화적 편향 평가 데이터셋은 라틴아메리카 국가들을 단순히 '스페인어/포르투갈어'로 묶거나, 소수의 국가만 포함하거나, 영어 위주로 구성되어 있어 지역별 세밀한 문화적 차이를 반영하지 못합니다.
• 데이터 부족: 라틴아메리카의 다양한 역사, 사회, 문화적 맥락을 포괄하는 고품질의 평가용 데이터셋이 부족합니다.
• 편향의 복잡성: 단순한 언어적 차이를 넘어, 국가별 고유한 문화적 정체성 (예: 멕시코의 문화 vs 칠레의 문화) 과 스페인 (イベ리아 반도) 의 문화적 차이까지 구분하여 평가할 수 있는 도구가 필요합니다.

2. 방법론 (Methodology)

저자들은 위키데이터 (Wikidata) 의 구조와 위키백과 (Wikipedia) 의 콘텐츠를 활용하여 사회과학 전문가의 지식을 결합한 대규모 데이터셋 LatamQA를 구축했습니다.

A. 데이터 수집 및 필터링 (Data Collection & Curation)

1. 계층적 스크래핑: 각 라틴아메리카 국가 (20 개) 의 위키백과 '문화 (Cultura de [Country])' 카테고리에서 시작하여, 재귀적으로 하위 카테고리 및 관련 기사 (Article) 를 수집했습니다.
2. 사회학적 필터링:
   • 카테고리 수준: 사회학자가 주요 하위 카테고리를 검증하여 국가와 무관한 범주 (예: 일반적인 스페인어 언어 학습 자료) 를 제거했습니다.
   • 기사 수준: 수집된 15 만여 개의 기사 중 문화적 분석에 적합한 기사를 선별하기 위해 '긍정 (Positive)', '기술적 (Descriptive)', '부정 (Negative)' 3 가지 클래스로 분류하는 자동화 필터를 구축했습니다. (Longformer 기반 모델 미세 조정, 정밀도 87.5% 이상 달성).
3. 문화적 요소 매핑: 위키데이터 엔티티 타입을 Espindola & Vasconcellos (2006) 가 제안한 10 가지 문화적 요소 (인명, 오락, 지역 기관, 지명, 방언, 음식, 법체계, 학문적 참조, 종교적 축제, 허구적 캐릭터 등) 로 매핑했습니다.

B. 질문 생성 (Question Generation)

1. 프롬프트 전략: 문화의 정의 (인류학적, 사회학적 등) 를 다양한 방식으로 프롬프트에 적용하여 가장 적합한 '일반적 문화 탐구 (General Cultural Exploration)' 방식을 선정했습니다.
2. Q/A 생성: 필터링된 위키백과 기사를 기반으로 LLM(Qwen3-Max 등) 을 사용하여 질문과 정답을 생성했습니다.
3. 검증: 사회학자가 질문의 사회적 관련성 (상징성, 사회적 관행, 사회적 표상) 을 3 차원 척도로 검증했으며, 98% 의 질문이 최소 2 개 차원에서 관련성이 있음을 확인했습니다. 또한, 환각 (Hallucination) 이 없는지 100 개 샘플을 검증하여 100% 정확도를 확보했습니다.
4. 오답 생성 (Distractors): 정답과 유사하지만 틀린 오답을 생성하여 객관식 (MCQ) 형식을 완성했습니다.

C. 데이터셋 구성

• 규모: 26,000 개 이상의 위키백과 기사에서 추출된 23,499 개의 객관식 질문 (MCQ).
• 범위: 20 개 라틴아메리카 국가 (브라질, 멕시코, 아르헨티나 등) 를 포함.
• 언어: 스페인어, 포르투갈어 (원문) 및 영어 (번역본) 로 구성.

3. 주요 기여 (Key Contributions)

1. 확장 가능한 방법론: 위키백과 카테고리, 전문가 큐레이션, LLM 기반 생성을 결합하여 지리적으로 정보화된 사회문화적 Q/A 데이터셋을 구축하는 새로운 방법론 제시.
2. LatamQA 벤치마크: 20 개 라틴아메리카 국가를 포괄하는 2 만 3 천 개 이상의 다국어 (스페인어, 포르투갈어, 영어) 객관식 질문 데이터셋 공개.
3. 실증적 분석: 국가별, 프롬프트 언어별, 그리고 라틴아메리카 vs 스페인 (イベ리아) 문화 지식 간의 성능 차이를 체계적으로 분석한 결과 제공.

4. 실험 결과 (Results)

다양한 크기의 LLM (Llama, Mistral, Qwen, GPT 등) 을 LatamQA 로 평가한 결과는 다음과 같습니다.

• 언어별 성능: 모델은 대부분 원어민 언어 (스페인어, 포르투갈어) 에서 영어 번역본보다 높은 성능을 보였습니다. 이는 고자원 언어의 특성과 데이터 생성 소스 (위키백과) 의 언어적 특성과 관련이 있습니다.
• 지역별 편향 (Latam vs Iberian): 모든 모델이 스페인 (イベ리아) 의 문화에 대한 질문에서 라틴아메리카 국가들의 문화에 대한 질문보다 더 높은 정확도를 보였습니다. 이는 학습 데이터의 편향을 시사합니다.
• 국가별 편차: 모델 성능이 국가마다 상이했습니다. 일부 국가 (예: 멕시코) 는 다른 국가들에 비해 모델이 더 쉽게 접근 가능한 문화적 지식을 가지고 있었습니다.
• 모델 크기 효과: Mistral 계열 모델의 경우, 모델 크기가 커질수록 (Small → Medium → Large) 일관되게 성능이 향상되었습니다.
• 지역 특화 모델의 한계: 라틴아메리카에 특화된 모델 (PatagonIA, LatamGPT) 은 일반 목적의 대형 모델 (Mistral-medium, GPT-4.1-mini) 에 비해 성능이 낮거나, 객관식 형식을 준수하지 못해 무작위 추측 수준에 머무르는 경우가 많았습니다.
• 문화 요소별 분석: '가상 캐릭터'나 '방언'과 같이 데이터가 희소한 문화 요소에서 모델의 성능이 크게 저하되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 문화적 지식 평가의 정밀화: 단순한 언어 능력을 넘어, 특정 지역의 미시적 문화적 맥락 (Local Facts) 을 얼마나 잘 이해하는지 평가할 수 있는 기준을 마련했습니다.
• 글로벌 노스 중심 편향의 드러냄: 현재 주류 LLM 들이 라틴아메리카 내부의 문화적 다양성보다는 스페인 (イベ리아) 문화나 글로벌 노스의 관점을 더 잘 학습하고 있음을 증명했습니다.
• 향후 연구 방향: 단순한 객관식 평가를 넘어, 인간 참여형 평가나 위키백과 토론 페이지와 같은 상호작용 데이터 분석을 통해 문화적 편향을 더 깊이 있게 연구할 것을 제안합니다.

이 연구는 라틴아메리카와 같은 '글로벌 사우스' 지역의 문화적 다양성을 존중하고, AI 모델의 편향을 해결하기 위한 데이터 중심의 접근법의 중요성을 강조합니다.