Information Asymmetry across Language Varieties: A Case Study on Cantonese-Mandarin and Bavarian-German QA

1. 연구 배경 및 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 지식 습득의 주요 수단이 되고 있지만, 언어별 정보의 접근성과 신뢰도에는 큰 편차가 존재합니다. 특히 지역적 언어 변이 (Local Language Varieties) 와 표준어 (Standard Variants) 사이에는 '정보 비대칭 (Information Asymmetry)' 이 발생합니다.

• 문제점: 위키백과와 같은 온라인 지식원에서는 지역어 버전 (예: 광둥어, 바이에른어) 에만 존재하는 상세한 정보가 표준어 버전 (예: 표준 중국어, 표준 독일어) 에는 누락되는 경우가 많습니다.
• 연구 질문: 이러한 정보 비대칭 상황에서 LLM 은 지역어에 고유한 지식을 얼마나 잘 이해하고 추론할 수 있는가? 또한, 외부 컨텍스트 (Context) 를 제공했을 때 이러한 격차가 어떻게 해소되는가?

2. 방법론 (Methodology)

2.1. 데이터셋 구축: WILOVA-QA

이 연구는 정보 비대칭을 평가하기 위해 새로운 질문 응답 (QA) 데이터셋인 WILOVA-QA를 수동으로 구축했습니다.

• 대상 언어 쌍:
  1. 광둥어 (yue) vs. 표준 중국어 (cmn): 광둥어 위키백과에 존재하지만 표준 중국어 위키백과에는 없는 정보.
  2. 바이에른어 (bar) vs. 표준 독일어 (deu): 바이에른어 위키백과에 존재하지만 표준 독일어 위키백과에는 없는 정보.
• 데이터 선별 과정:
  • 지역어 버전의 '리드 섹션 (Lead Section, 서두)'과 전체 문서가 표준어 버전보다 긴 경우 ('Local-heavy') 를 필터링하여 선별했습니다.
  • 단순 번역이나 구조적 불일치 (해석 페이지 등) 를 제거하여, 지역어에만 고유한 정보가 포함된 문서 쌍만 추출했습니다.
• 주석 (Annotation):
  • 리드 섹션 QA: 지역어 리드 섹션에만 있는 정보를 바탕으로 질문을 생성하고, 표준어와 지역어로 답변을 작성했습니다 (광둥어 - 중국어 294 개, 바이에른어 - 독일어 178 개).
  • 문서 수준 QA: 리드 섹션 외의 전체 문서에서 발견된 추가 정보를 기반으로 한 QA (광둥어 - 중국어 80 개, 바이에른어 - 독일어 46 개).
• 품질 관리: 원어민 어휘 전문가가 문법성, 독립성, 답변 적절성을 검증했습니다.

2.2. 실험 설정

• 모델: Llama3.1, Qwen2.5, gpt-oss 등 6 개의 최신 LLM 을 평가했습니다.
• 실험 시나리오:
  1. Closed-book (Question-only): 추가 정보 없이 모델의 내부 지식만으로 답변.
  2. Open-book (+Standard): 표준어 위키백과 리드 섹션을 컨텍스트로 제공.
  3. Open-book (+Local): 지역어 위키백과 리드 섹션을 컨텍스트로 제공.
  4. Open-book (+Standard+Local): 두 언어의 리드 섹션을 모두 제공.
  5. Translation (+Local translated): 지역어 컨텍스트를 표준어로 번역하여 제공 (광둥어 - 중국어 쌍에 한함).
• 비교 데이터셋: 기존 크로스링구얼 QA 데이터셋인 ECLeKTic을 사용하여 표준어 간의 정보 격차와 비교 분석했습니다.
• 평가 지표: ROUGE-L, chrF++, BERTScore, 그리고 LLM-as-a-Judge (정확도 판단).

3. 주요 기여 (Key Contributions)

1. WILOVA-QA 데이터셋 공개: 지역어와 표준어 간의 정보 비대칭을 체계적으로 측정할 수 있는 최초의 QA 벤치마크 중 하나를 공개했습니다.
2. 정보 비대칭의 실증적 분석: LLM 이 지역어 위키백과에 존재하는 지식을 내부 파라미터 지식 (Parametric Knowledge) 으로 보유하지 못함을 증명했습니다.
3. 컨텍스트와 번역의 효과 분석: 지역어 컨텍스트 제공 및 번역이 모델 성능에 미치는 영향을 정량적으로 분석하여, 언어 간 지식 통합의 중요성을 규명했습니다.
4. 지역적/주제별 성능 분석: 지역 관련 주제와 비지역적 주제에 따른 모델 성능 차이를 분석하여, 지역어 위키백과가 지역적 지식뿐만 아니라 보편적 지식의 원천이 될 수 있음을 시사했습니다.

4. 실험 결과 (Results)

4.1. Closed-book QA (내부 지식)

• 모든 모델이 지역어 위키백과에만 있는 정보에 대한 질문을 일관되게 실패했습니다. 이는 해당 지식이 LLM 의 사전 학습 데이터에서 체계적으로 누락되었음을 의미합니다.

4.2. Open-book QA (외부 컨텍스트 제공)

• 지역어 컨텍스트 (+Local) 의 효과: 지역어 리드 섹션을 컨텍스트로 제공했을 때 성능이 비약적으로 향상되었습니다. (예: Qwen2.5-72B 기준 광둥어 - 중국어 BERTScore 가 23.17 에서 55.85 로 상승).
• 표준어 컨텍스트 (+Standard) 의 한계: 표준어 위키백과 정보를 제공해도 정답을 알 수 없으므로 성능 향상은 미미하거나 오히려 저하되기도 했습니다.
• 번역의 효과: 지역어 컨텍스트를 표준어로 번역하여 제공 (+Local translated) 한 경우, 광둥어 - 중국어 쌍에서 가장 높은 성능을 보였습니다. 이는 모델이 표준어 토큰에 더 익숙하기 때문으로 해석됩니다.
• 바이에른어 - 독일어 특이점: 광둥어에 비해 바이에른어는 저자원 언어이므로, LLM 이 바이에른어 텍스트에서 정보를 추출하는 능력이 상대적으로 낮았습니다.

4.3. ECLeKTic 비교

• WILOVA-QA(지역어) 의 성능은 ECLeKTic(주요 표준어 간) 보다 낮았습니다. 이는 저자원 언어 변이가 LLM 에게 더 큰 도전 과제임을 보여줍니다.

4.4. 주제 및 지역 분석

• 지역 관련 주제 (지리, 문화 등) 에서 모델이 더 잘 수행하는 경향이 있었으나, 지역과 무관한 주제에서도 지역어 컨텍스트 제공 시 성능이 크게 개선되어, 지역어 위키백과가 지역적 지식과 보편적 지식 모두의 원천임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 포용성과 문화적 대표성: 현재 LLM 은 고자원 언어 (표준어) 에 편향되어 있으며, 지역적 문화와 지식이 체계적으로 배제되고 있음을 지적합니다.
• 지식 접근성: LLM 이 지역어 정보를 이해하려면 외부 컨텍스트 (RAG 등) 가 필수적이며, 특히 원어 (Local Variety) 컨텍스트가 제공될 때 가장 효과적임을 증명했습니다.
• 향후 연구 방향: 다국어 LLM 의 문화적 편향을 줄이고, 지역어 위키백과와 같은 저자원 소스를 효과적으로 활용하는 크로스-변이 (Cross-variety) 이해 기술 개발의 필요성을 제기합니다.

이 연구는 LLM 이 단순히 언어를 번역하는 것을 넘어, 언어 변이 간의 정보 격차를 어떻게 인식하고 해소할 것인가에 대한 중요한 통찰을 제공합니다.