\textit{Versteasch du mi?} Computational and Socio-Linguistic Perspectives on GenAI, LLMs, and Non-Standard Language

논문 개요

이 논문은 생성형 인공지능 (GenAI) 과 대규모 언어 모델 (LLM) 이 비표준 언어 (dialects, non-standard varieties) 를 처리하는 데 있어 직면한 기술적 한계와 사회언어학적 불평등을 비판적으로 분석합니다. 저자들은 LLM 의 설계가 소수 언어와 비표준 방언에 대해 "불공평"하며, 디지털 언어 격차를 심화시키고 있다고 주장합니다. 이를 해결하기 위해 남티롤 (South Tyrol) 의 독일어 방언과 쿠르드어 (Kurdish) 의 다양한 방언을 사례 연구로 삼아, 기술적 접근법과 사회언어학적 관점을 통합하여 분석합니다.

1. 문제 제기 (Problem)

• 디지털 언어 격차의 심화: LLM 은 표준화되고 고자원 (high-resource) 인 언어 (주로 영어 및 유럽계 표준어) 에 최적화되어 있어, 비표준 언어 사용자를 디지털 시민권에서 배제시킵니다.
• 기술적 편향의 구조적 원인:
  • 토큰화 세제 (Tokenization Tax): BPE(Byte Pair Encoding) 와 같은 토큰화 방식은 고자원 언어에서는 효율적이지만, 비표준 언어나 형태론적으로 복잡한 언어 (예: 쿠르드어) 에서는 단어를 의미 없는 작은 조각으로 과도하게 분할합니다. 이는 처리 비용 증가, 성능 저하, 컨텍스트 창 (context window) 의 빠른 소모를 초래합니다.
  • ISO 코드 및 데이터 부재: 많은 비표준 언어 (예: 남티롤 방언) 는 ISO-639 코드가 없어 NLP 리소스에서 '보이지 않는' 존재가 되며, 웹 스크래핑 데이터에서도 배제됩니다.
  • 평가 프레임워크의 편향: MMLU 와 같은 기존 벤치마크는 서구 중심의 표준화된 지식을 측정하며, 비표준 언어의 문화적 맥락이나 방언 충실도 (dialect fidelity) 를 평가하지 못합니다.
• 사회언어학적 배경: 언어 표준화 과정이 식민주의와 민족주의 프로젝트와 결합되어 왔으며, LLM 은 이러한 '단일성 (monolithic)'과 '표준화'의 인식론을 강화하여 비표준 언어를 '잡음'으로 간주합니다.

2. 연구 방법론 (Methodology)

이 연구는 **비판적 사회언어학 (Critical Sociolinguistics)**과 **전산언어학 (Computational Linguistics)**의 학제간 접근을 취합니다.

• 사례 연구 (Case Studies):
  1. 남티롤 독일어 방언: 이탈리아 남티롤 지역에서 일상적으로 사용되지만 표준 독일어에 비해 LLM 학습 데이터에서 배제된 방언. ISO 코드 부재 문제를 분석.
  2. 쿠르드어 방언: 쿠르드어 (북부, 중앙, 남부, 자자키, 하우라미 등) 는 정치적 억압과 orthographic(문자 체계) 다양성으로 인해 자원 격차가 극심한 사례.
• 기술적 분석:
  • 토큰화 효율성 분석: 표준어 vs. 비표준어의 토큰 분할 수 비교 및 비용/성능 영향 평가.
  • 리소스 매핑: OPUS, VLO, 사전 학습 모델 (BERT, XLM-R 등), 기계 번역 서비스, 벤치마크 (FLORES-200, Global MMLU 등) 에 포함된 언어의 유무와 양을 정량적으로 조사.
• 정책 분석: 빅테크 기업, 국가, 시민사회 (CSO) 의 역할과 대응 방안을 언어 정책 관점에서 검토.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 기술적 발견

• 토큰화 세제 (Tokenization Tax) 의 실증: 비표준 언어 사용자는 영어 사용자보다 동일한 정보를 처리하는 데 더 많은 토큰을 소모하게 되어, 비용이 2~15 배까지 증가하고 모델의 추론 능력이 저하됨을 확인했습니다.
• 리소스 불균형의 구체화:
  • 남티롤 방언: ISO 코드가 없어 주요 NLP 리소스 (OPUS 등) 에 체계적으로 기록되지 않음. 'Bavarian'이라는 광범위한 코드에 포함될 뿐, 실제 남티롤 방언의 성능은 평가되지 않음.
  • 쿠르드어: 중앙 쿠르드어 (Sorani) 와 북부 쿠르드어 (Kurmanji) 는 일부 데이터와 모델이 존재하지만, 남부 쿠르드어, 자자키, 하우라미 등은 데이터, 사전 학습 모델, 벤치마크 모두에서 완전 부재 (Zero-shot) 상태임을 확인했습니다.
• 벤치마크의 한계: 기존 벤치마크는 번역 기반 (translation pivot) 으로 구성되어 있어, 비표준 언어의 문화적 뉘앙스를 포착하지 못하며 '표준화'된 답변만 생성하도록 모델을 유도합니다.

나. 사회언어학적 통찰

• 스크립티즘 (Scriptism) 의 비판: 언어 기술이 '문자화된 표준어'를 우월한 형태로 간주하여 구어체나 비표준 텍스트를 배제하는 이데올로기를 강화함을 지적했습니다.
• 권력 구조의 재생산: LLM 의 개발 과정이 과거의 식민적/민족국가적 언어 표준화 과정을 반복하여, 정치적 억압을 받은 언어 (쿠르드어 등) 의 디지털 소외를 고착화합니다.

다. 정책 제안

• 방언 격차 보고 (Dialect Gap Reporting): 빅테크 기업에게 표준어 대비 방언 성능 저하를 의무적으로 보고하게 하고, 이를 CSR(기업의 사회적 책임) 점수로 연계할 것을 제안합니다.
• 언어 주권 (Linguistic Agency): "우리에 관한 일은 우리 없이 결정하지 않는다 (Nothing about us without us)"는 원칙 하에, 지역 사회가 데이터 주권을 가지고 데이터 수집 및 모델 평가에 참여해야 함을 강조합니다.
• 학제간 협력: 전산공학자와 사회언어학자의 협력을 통해 '할루시네이션된 표준화 (hallucinated standardization)'를 방지하고 문화적으로 적합한 벤치마크를 개발해야 합니다.

4. 의의 및 시사점 (Significance)

• 기술적 정의의 확장: LLM 의 성능 평가가 단순히 '언어 처리 능력'이 아닌, '디지털 시민권'과 '사회적 정의'의 문제임을 재정의했습니다.
• 정책적 로드맵 제시: 기술적 해결책 (더 많은 데이터) 만으로는 부족하며, 데이터 주권, 공정한 평가 기준, 그리고 정치적 의지가 결합된 민주적이고 탈식민적인 (decolonial) 머신러닝 전략이 필요함을 주장했습니다.
• 실천적 방향성:
  • Big Tech: 비용 효율성만 추구하지 않고 비표준 언어 지원 의무화.
  • 국가: 공공 슈퍼컴퓨팅 인프라를 활용한 저자원 언어 모델 훈련 지원.
  • 시민사회: 오픈소스 데이터 수집 및 알고리즘 감사 (red-teaming) 를 통한 모델 편향 감시.

결론

이 논문은 LLM 이 비표준 언어를 처리하는 문제는 단순한 기술적 결함이 아니라, 역사적 표준화와 식민주의에 뿌리 둔 정치적 문제임을 명확히 합니다. 디지털 언어 다양성을 보존하고 공정한 AI 생태계를 구축하기 위해서는 기술적 개선 (토큰화 최적화, 새로운 벤치마크) 과 함께, 언어 공동체의 주체성을 존중하는 정책적 개입이 필수적이라고 결론지었습니다.