기술 요약: ChiKhaPo

문제 정의

현재 대규모 언어 모델(LLM)을 위한 벤치마크는 주로 고자원 언어(HRL)에 국한되어 있으며, 복잡한 추론 및 콘텐츠 생성과 같은 고차원적 작업에 집중되어 있습니다. 결과적으로, 전 세계 3,800개 이상의 문자로 된 언어들에 대한 LLM의 기본적인 언어적 역량을 평가하는 데 있어 상당한 공백이 존재합니다. FLORES+와 같은 기존의 다국어 벤치마크는 일부 언어(예: 212개 언어)만을 다루고 있어, 단어 수준의 이해 및 생성과 같은 근본적인 능력조차 평가받지 못하는 대다수의 언어를 남겨두고 있습니다. 이러한 평가의 부재는 자연어 처리(NLP) 분야에서의 언어 불평등을 식별하는 것을 저해합니다.

방법론

저자들은 ChiKhaPo를 소개합니다. 이는 LLM의 어휘 이해 및 생성 능력을 평가하기 위해 설계된 대규모 다국어 벤치마크입니다. 이 벤치마크는 기존의 공개 자원인 어휘집, 단일 언어 데이터, 병렬 코퍼스(bitext)를 활용하여 구축되었으며, 이를 통해 2,700개 이상의 언어를 커버할 수 있습니다.

벤치마크 구조

ChiKhaPo는 네 가지 핵심 작업에서 파생된 8개의 하위 작업으로 구성되며, 각 작업은 두 가지 방향으로 평가됩니다:

1. 이해 ($X \to \text{model}$): 대상 언어 $X$의 단어를 이해하는 모델의 능력(종종 영어로 번역하는 방식)을 평가합니다.
2. 생성 ($\text{model} \to X$): 영어 프롬프트가 주어졌을 때 대상 언어 $X$의 단어를 생성하는 모델의 능력을 평가합니다.

네 가지 핵심 작업은 다음과 같습니다:

• 단어 번역 (WT): 단일 단어를 번역하도록 직접 프롬프팅합니다. 이 작업은 어휘집에만 의존하며 2,746개 언어를 다룹니다.
• 문맥을 포함한 단어 번역 (WTWC): 소스 문장 문맥이 주어졌을 때 단어를 번를합니다. 이는 단일 언어 데이터를 필요로 하며 525개 언어를 다룹니다.
• 번역 조건부 언어 모델링 (TCLM): 소스 문장과 부분적인 타겟 문맥이 주어졌을 때 타겟 단어의 생성 확률을 측정합니다. 이는 병렬 문장 쌍(bitext)을 사용하며 211개 언어를 다룹니다.
• Bag-of-Words 기계 번역 (BOW MT): 구문적 순서와 상관없이 특정 타겟 단어가 문장 수준의 번역 결과에 나타나는지를 평가합니다. 이 역시 병렬 코퍼스를 사용하며 211개 언어를 다룹니다.

점수 산정 및 평가

벤치마크는 단어 수준의 점수 측정 지표를 채택합니다. 이진 작업(WT, WTWC)의 경우, 정확도는 완전 일치(exact match), 굴절 처리, 부분 문자열 매칭, 그리고 유의어 활용(영어 출력에 대해 WordNet 사용)을 통해 결정됩니다. 확률적 작업(TCLM)의 경우, 지표는 정답 단어의 생성 확률입니다. BOW MT의 경우, 타겟 단어의 존재 여부에 따라 점수를 집계합니다.

저자들은 6개의 최첨단(SOTA) 다국어 LLM을 평가했습니다: aya-101, aya-23-8b, bloomz-7b1-mt, falcon-7b-instruct, gemma-2b-it, 그리고 Llama-3.1-8B-Instruct. 계산상의 제약으로 인해, WT/WTWC를 위해 언어당 최대 300개의 어휘 항목을 샘플링하고 문장 수준 작업을 위해 가용 데이터의 30%를 사용하는 "라이트(lite)" 버전의 벤치마크가 사용되었습니다.

주요 결과

• 성능 격차: 평가된 6개 모델 모두, 특히 저자원 언어(LRL)에서 개선의 여지가 크다는 것을 보여주었습니다. 이 벤치마크는 다국어 성능에 대한 도전적인 척도로서 성공적으로 기능했습니다.
• 방향성 차이: 모델들은 생성 방향($\text{model} \to X$)보다 이해 방향($X \to \text{model}$)에서 일관되게 더 나은 성능을 보였으며, 이는 다국어 환경에서 자연어 이해(NLU)와 자연어 생성(NLG) 사이의 격차를 강조합니다.
• 자원 및 어족 상관관계: 성능은 언어 자원 수준(Wikipedia 문서 수로 대리 측정) 및 어족과 강한 상관관계를 보였습니다. 인도-유럽어족 언어들이 오스트로네시아 및 아틀란틱-콩고 어족과 같은 저대표 어족보다 일관되게 높은 성능을 보였습니다. 자원 수준과 성능 사이의 관계는 대략 로그 함수적임이 밝혀졌습니다.
• 모델 간 차이: aya-101 모델이 8개 하위 작업 중 5개에서 가장 높은 평균 점수를 기록했습니다. 저자들은 이를 인코더-디코더 구조, 더 큰 파라미터 수(13B), 그리고 101개 언어에 대한 지시어 튜닝(instruction tuning) 덕분으로 돌렸습니다.
• MT와의 상관관계: 단어 번역(WT) 점수는 FLORES+ 데이터의 문장 수준 기계 번역(BLEU) 점수와 강한 선형 상관관계를 보였습니다 ($X \to \text{model}$에 대해 $r \approx 0.87$). 이는 광범한 병렬 코퍼스가 없는 상황에서 WT가 기계 번역 능력을 평가하는 비용 효율적인 대리 지표 역할을 할 수 있음을 시사합니다.

의의 및 주장

본 논문은 ChiKhaPo를 NLP에서의 언어 불평등을 해결하기 위한 중요한 단계로 규정합니다. 주요 기여는 다음과 같습니다:

1. 거대한 규모: 이는 2,700개 이상의 언어를 커버하는 최초의 어휘 역량 벤치마크를 제공하며, 기존 벤치마크의 언어 커버리지를 수십 배 상회합니다.
2. 세밀한 평가: 복잡한 추론에서 "원자적(atomic)" 단어 수준의 역량으로 초점을 전환하여, 연구자들이 특정 언어에 대한 LLM의 근본적인 언어 능력을 추적할 수 있게 합니다.
3. 자원 효율성: 기존의 어휘집과 단일 언어 데이터를 활용함으로써, 병렬 코퍼스가 존재하지 않는 언어들에 대해서도 평가를 가능하게 합니다.

저자들은 본 벤치마크가 공개 자원(특히 PanLex와 같이 노이즈가 있을 수 있는 자원)에 의존하고 있음에도 불구하고, 개선된 다국어 평가의 필요성을 성공적으로 부각시킨다고 겸허히 주장합니다. 그들은 이 연구가 저자원 언어를 위한 더 나은 어휘 자원 수집을 독려하고, 보다 공평한 AI 시스템을 향한 필수 단계로서 LLM의 대규모 다국어 벤치마킹을 촉진하기를 희망합니다.