Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 영어와 같은 고자원 (high-resource) 언어에서 탁월한 성능을 보이지만, 저자원 (low-resource) 언어와 형태소 풍부 (morphologically rich) 언어에서의 성능은 아직 충분히 연구되지 않았습니다.

• 불균형한 발전: 기존 벤치마크 (XTREME, TyDi QA 등) 는 주로 고자원 언어에 치중되어 있어, 전 세계 언어의 포용성과 공정성 문제가 대두됩니다.
• 구체적 도전 과제:
  • 터키어 (Turkish): 높은 접착성 (agglutinative) 과 풍부한 형태소로 인해 단어 형태가 매우 길고 복잡하며, 모델의 구성적 일반화 능력을 시험합니다.
  • 일본어 (Japanese): 복잡한 문자 체계 (한자, 히라가나, 가타가나) 와 문맥 의존적 문법, 존칭 (honorifics) 등 세밀한 문화적 이해가 필요합니다.
  • 광둥어 (Cantonese): 저자원 언어 (특히 구어체와 문자화 자료 부족) 로서, 표준 중국어와 다른 독특한 구어 문법과 어휘를 가지며, LLM 학습 코퍼스에서 데이터가 극히 부족합니다.
• 연구 질문: 최신 LLM 들이 영어 외의 언어에서 형태학적 복잡성과 문화적 맥락을 얼마나 잘 처리하는가? 소규모 오픈 소스 모델은 proprietary 모델에 비해 얼마나 뒤처지는가?

2. 방법론 (Methodology)

이 논문은 광둥어, 일본어, 터키어 3 개 언어를 대상으로 한 새로운 크로스-링구얼 벤치마크를 제안하고, 7 가지 최첨단 LLM 을 평가했습니다.

A. 평가 모델 (Evaluated Models)

모델 규모와 소스 유형을 다양하게 포함하여 비교 분석했습니다:

• Proprietary (상용): GPT-4o, GPT-4, Claude 3.5 Sonnet
• Open-Source (오픈 소스): LLaMA 3.1 (70B), Mistral Large 2 (~128B), LLaMA-2 Chat 13B, Mistral 7B Instruct

B. 평가 태스크 (4 가지)

각 언어별로 난이도와 스타일을 평행하게 맞추어 4 가지 태스크를 구성했습니다.

1. Open-Domain QA (개방형 질문 응답): 사실적 지식 및 정보 검색 능력 평가 (100 문항/언어).
2. Document Summarization (문서 요약): 핵심 정보 추출 및 유창성 평가 (50 문서/언어).
3. English-to-X Translation (번역): 영어에서 목표 언어로의 번역 품질 평가 (100 문장/언어).
4. Culturally Grounded Dialogue (문화 기반 대화): 지역 문화적 맥락, 관용구, 존칭 등을 포함한 대화 적절성 평가 (15 시나리오/언어).

C. 평가 지표 (Evaluation Metrics)

• 자동화 지표: QA 정확도 (Exact Match), 요약 (ROUGE, BERTScore), 번역 (BLEU, COMET).
• 인간 평가 (Human Evaluation): 각 언어의 원어민 평가자 3 명 (언어학/번역 배경) 이 5 점 리커트 척도로 평가.
  • 유창성 (Fluency & Grammar)
  • 사실적 정확도 (Factual Accuracy)
  • 문화적 적절성 (Cultural Appropriateness) - 특히 대화 태스크에서 중요.

3. 주요 기여 (Key Contributions)

1. 새로운 벤치마크 구축: 형태소 풍부 및 저자원 언어 (터키어, 일본어, 광둥어) 를 포괄하는 4 가지 태스크의 크로스-링구얼 벤치마크를 최초로 제안하고, 모든 프롬프트와 인간 평가 데이터를 공개하여 재현성을 보장합니다.
2. 최신 모델 비교 분석: GPT-4o, Claude 3.5, LLaMA 3.1 등 최신 모델을 광둥어, 터키어, 일본어 환경에서 최초로 체계적으로 비교한 연구입니다.
3. 정성적/정량적 심층 분석: 자동화 지표의 한계를 보완하기 위해 인간 평가를 병행하여, 문화적 뉘앙스와 형태학적 오류에 대한 심층적인 오류 분석을 수행했습니다.

4. 주요 결과 (Results)

A. 성능 순위 및 모델 간 격차

• 전체적 우위: GPT-4o가 모든 언어와 태스크에서 가장 우수한 성능을 보였습니다. 특히 광둥어와 문화적 맥락 이해에서 두드러졌습니다.
• 경쟁 모델: GPT-4 와 Claude 3.5 Sonnet 은 GPT-4o 에 근접한 경쟁력을 보였으며, 지식 및 추론 태스크에서 높은 정확도를 기록했습니다.
• 오픈 소스 모델: LLaMA 3.1 (70B) 과 Mistral Large 2 는 터키어와 일본어에서는 상용 모델에 근접하는 성능을 보였으나, 저자원인 광둥어에서는 성능이 크게 저하되었습니다.
• 소규모 모델: LLaMA-2 13B 와 Mistral 7B 는 유창성과 정확도 모두에서 현저히 뒤처졌으며, 특히 광둥어에서는 심각한 성능 저하 (QA 정확도 30~40%) 를 보였습니다.

B. 언어별 특징적 발견

• 형태소 풍부성 (터키어): 작은 모델들은 접미사 (case suffixes) 를 잘못 생성하거나 생략하는 등 형태학적 일반화 실패가 빈번했습니다. 대형 모델들도 미세한 오류를 보였습니다.
• 문화적 뉘앙스 (일본어/광둥어):
  • 일본어: GPT-4o 와 GPT-4 는 상황에 맞는 존칭 (keigo) 사용이 가능했으나, 소규모 모델은 존댓말과 반말을 혼용하거나 무례한 어조를 사용했습니다.
  • 광둥어: GPT-4o 는 광둥어 특유의 구어체와 관용구를 자연스럽게 사용했으나, 다른 모델들은 표준 중국어 (Mandarin) 어휘를 섞어 쓰거나 직역 오류를 범했습니다.
• 데이터 부족의 영향: 광둥어는 학습 데이터 부족으로 인해 모든 모델에서 성능이 가장 낮았으며, 이는 오픈 소스 모델이 표준 중국어 코퍼스 위주로 학습된 한계를 드러냈습니다.

C. 평가 지표의 한계

• 자동화 지표 (BLEU, ROUGE) 는 유창한 의역 (paraphrase) 을 과소평가하거나, 형태가 다른 정답을 오답으로 처리하는 경우가 있었습니다.
• 인간 평가의 필수성: 문화적 적절성과 유창성을 판단하는 데에는 인간 평가가 필수적이며, 자동화 지표만으로는 충분하지 않음이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술적 함의: 최신 LLM 들이 고자원 언어에서는 인간 수준에 근접했으나, 형태학적 복잡성과 문화적 뉘앙스가 있는 저자원 언어에서는 여전히 한계가 있음을 증명했습니다.
• 포용성 강조: 언어 기술의 발전이 전 세계 모든 언어와 문화에 공정하게 적용되기 위해서는, 저자원 언어와 방언에 대한 데이터 수집 및 모델 학습이 시급합니다.
• 향후 방향:
  • 다양한 문화적 대화와 관용구를 포함한 훈련 데이터 확보.
  • 형태소 민감도 (morphology-sensitive) 가 높은 아키텍처 및 토크나이저 설계.
  • 문화적 인식을 고려한 파인튜닝 및 정렬 (alignment) 전략 개발.

이 연구는 최신 LLM 의 다국어 능력을 종합적으로 분석한 초기 작업 중 하나로, 향후 저자원 언어와 문화적 맥락을 고려한 AI 시스템 개발의 기준을 제시한다는 점에서 중요한 의의를 가집니다.