MultiWikiQA: A Reading Comprehension Benchmark in 300+ Languages

이 논문은 306 개 언어로 구성된 122 만 건 이상의 대규모 읽기 comprehension 벤치마크인 'MultiWikiQA'를 소개하고, LLM 기반 질문 생성 및 인간 평가를 통해 데이터의 품질과 다양한 언어 모델 간의 성능 격차를 입증했습니다.

핵심

이 논문은 **"MultiWikiQA"**라는 아주 특별한 도서관과 그 도서관을 시험하는 방법을 소개하는 이야기입니다. 쉽게 비유해서 설명해 드릴게요.

1. 이 논문은 뭐야? (핵심 내용)

이 연구팀은 전 세계 306 개 언어로 된 위키백과 (Wikipedia) 를 바탕으로, 컴퓨터가 글을 읽고 질문에 답하는 능력을 테스트할 수 있는 거대한 데이터셋을 만들었습니다. 마치 전 세계의 모든 언어로 된 '독해 시험지'를 한 번에 120 만 개 이상 만들어낸 셈이죠.

2. 어떻게 만들었을까? (만드는 과정)

이 시험지를 만드는 과정은 마치 유능한 AI 요리사가 요리를 만드는 것과 비슷합니다.

• 재료 준비 (위키백과): 먼저 위키백과라는 거대한 식자재 창고에서 글을 가져옵니다.
• 요리 (질문 생성): AI 가 그 글을 읽고 "이 글에 대해 어떤 질문을 할까?"라고 생각하며 질문과 정답을 만듭니다. 이때 중요한 건, 정답이 글 속에 그대로 (verbatim) 있어야 한다는 점입니다.
• 맛보기 (질문 다듬기): 처음 만든 질문은 너무 직설적이라서, AI 가 단순히 '단어만 찾아서' 답을 맞출 수 있게 됩니다. 그래서 AI 가 다시 그 질문을 다른 말로 표현 (재구성) 하도록 시켰습니다.
  • 비유: "사과가 빨간색이다"라는 문장에 대해 "빨간 과일은 뭐야?"라고 묻는 대신, "빨갛고 둥글며 맛있는 과일은 무엇일까?"라고 묻는 식으로 바꾸는 거죠. 이렇게 하면 AI 는 글의 맥락을 진짜로 이해해야만 답을 할 수 있게 됩니다.

3. 정말 잘 만들었을까? (품질 검증)

만든 질문들이 자연스러운지 확인하기 위해 **사람들 (156 명)**에게 평가를 요청했습니다.

• 30 개 언어의 원어민들에게 "이 질문이 자연스러워?"라고 물었더니, 대부분 **"대부분 자연스럽다"**는 평가를 받았습니다.
• 비유: 마치 외국인이 쓴 한국어 일기를 원어민에게 보여주고 "이거 한국어로 자연스럽게 들리니?"라고 물어본 뒤, "네, 문법도 맞고 표현도 자연스러워!"라고 들은 것과 같습니다.

4. 컴퓨터들은 잘 해냈을까? (시험 결과)

이제 이 시험지를 가지고 최신 AI 모델 6 개를 시험시켰습니다. 결과는 어땠을까요?

• 언어별 격차: 영어나 주요 언어에서는 AI 가 아주 잘했지만, **작은 언어 (저자원 언어)**에서는 AI 가 매우 힘들어했습니다.
• 비유: 영어는 AI 가 "수능 만점"을 받았지만, 일부 작은 언어권에서는 AI 가 "공부도 안 하고 시험장에 온 학생"처럼 엉뚱한 답을 하거나 아예 답을 못 찾았습니다.
• 이 결과는 AI 가 아직 전 세계 모든 언어를 똑같이 잘 이해하지 못한다는 것을 보여줍니다.

5. 왜 이 연구가 중요할까? (의미)

지금까지 AI 는 영어나 중국어 같은 '큰 언어' 위주로 공부했습니다. 하지만 이 연구는 작은 언어를 가진 사람들도 AI 의 능력을 공정하게 평가할 수 있는 도구를 제공했습니다.

• 결론: 우리는 이제 전 세계 거의 모든 언어로 "AI 가 글을 잘 읽고 이해하는가?"를 측정할 수 있게 되었습니다. 이는 앞으로 AI 가 전 세계 어디서나 공평하게 쓰일 수 있는 발판이 될 것입니다.

---

한 줄 요약:

"전 세계 306 개 언어로 된 위키백과를 바탕으로 AI 가 글을 읽는 능력을 시험하는 '거대한 독해 시험지'를 만들었고, AI 가 큰 언어는 잘하지만 작은 언어는 아직 많이 부족하다는 사실을 발견했습니다."

기술 요약

MultiWikiQA: 300 개 이상의 언어를 위한 독해 벤치마크

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 의 주요 용도 중 하나는 문서에서 정보를 추출하는 것이며, 이는 검색 증강 생성 (RAG) 과 같은 하위 작업의 핵심 요소인 '독해 (Reading Comprehension)' 또는 '추출형 질문 답변 (Extractive QA)'과 직결됩니다. 그러나 기존 독해 평가 데이터셋은 영어를 포함한 소수의 고자원 언어에 집중되어 있어, 전 세계 수백 개의 저자원 언어 (Low-resource languages) 에서는 고품질의 평가 도구가 부재한 상태였습니다. 이는 다양한 언어 환경에서의 모델 성능을 객관적으로 비교하고 개선하는 데 큰 걸림돌이 되었습니다.

2. 방법론 (Methodology)

저자들은 위키백과 (Wikipedia) 기사를 기반으로 306 개 언어의 독해 데이터셋을 생성하기 위해 다음과 같은 자동화된 파이프라인을 구축했습니다 (그림 1 참조).

• 데이터 소스: 2023 년 11 월 위키백과 덤프를 사용하며, 중국어 (간체/번체) 와 포르투갈어 (유럽/브라질) 의 경우 언어 변이를 구분하여 처리했습니다.
• 일시적 QA 쌍 생성 (Tentative QA Generation):
  • Gemini-1.5-pro 모델을 사용하여 위키백과 기사 (Context) 를 기반으로 질문과 답변을 생성했습니다.
  • 프롬프트는 답변이 반드시 원문 (Context) 에서 **완벽하게 일치 (verbatim)**하는 형태로 추출되도록 지시했습니다.
  • 각 기사당 2~10 개의 QA 쌍을 생성하여 다양성을 확보했습니다.
• 질문 재구성 (Question Rephrasing):
  • 기존 데이터셋의 단점인 '단어 매칭 (Word matching)'을 통한 모델의 편법 (Cheating) 을 방지하기 위해, 생성된 질문을 다시 재구성하는 단계를 추가했습니다.
  • 동일한 LLM 을 사용하여 문맥 없이 질문의 의미를 유지하면서 동의어, 다른 구문, 어순 변경 등을 통해 질문을 재작성했습니다.
  • 최종 데이터는 SQuAD 형식 (Context, Question, Answer) 으로 구성되었습니다.
• 품질 평가 (Quality Evaluation):
  • 30 개 언어 (고자원 및 저자원 포함) 에 대해 크라우드소싱을 통해 생성된 질문의 유창성 (Fluency) 을 평가했습니다.
  • 156 명의 응답자가 3 점 척도 (자연스럽지 않음, 대부분 자연스러움, 매우 자연스러움) 로 평가했으며, 모든 언어에서 평균 점수가 '대부분 자연스러움'을 상회했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 다국어 데이터셋 출시: 인코더, 디코더, 인코더 - 디코더 모델 평가를 위해 306 개 언어, 총 1,220,757 개의 샘플로 구성된 MultiWikiQA 데이터셋을 공개했습니다.
2. 품질 평가 데이터 공개: 30 개 언어에 대한 156 명의 크라우드소싱 응답을 포함한 LLM 생성 질문의 유창성 평가 원본 데이터를 공개했습니다.
3. 광범위한 모델 평가: 6 가지 다른 언어 모델 (디코더 및 인코더 계열) 을 261 개 언어에 대해 평가하여, 다양한 언어 간 성능 편차를 체계적으로 매핑했습니다.

4. 실험 결과 (Results)

• 평가 모델: Mistral (Base/Instruct), Llama-3.1 (Base/Instruct), Multilingual-E5-large, XLM-RoBERTa-large 등 6 개 모델을 대상으로 했습니다.
• 성능 편차: 모든 모델 유형에서 언어 간 성능 편차가 매우 컸습니다. 고자원 언어 (예: 영어, 독일어, 프랑스어 등) 에서는 높은 F1 점수를 보인 반면, 저자원 언어에서는 성능이 급격히 하락했습니다.
  • 예시: Mistral Small-3.1 (Instruct) 의 평균 F1 점수는 55.83% 였으나, 언어별로는 0% 에 가까운 점수부터 90% 이상까지 광범위하게 분포했습니다.
• 모델 유형 비교: 일반적으로 인스트럭트 튜닝된 디코더 모델 (Instruct Decoder) 이 베이스 디코더 모델과 인코더 모델보다 전반적으로 우수한 성능을 보였으나, 저자원 언어에서는 모든 모델의 성능이 낮았습니다.
• 데이터 난이도: 질문 재구성 단계를 통해 단순 단어 매칭을 방지함으로써, 벤치마크가 모델에게 충분히 어려운 과제로 작용함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 포용성 확보: 기존 벤치마크가 소수 언어에 국한되었던 한계를 극복하고, 전 세계 306 개 언어 (전체 언어의 약 10% 이상) 를 아우르는 최초의 대규모 독해 벤치마크를 제시했습니다.
• 저자원 언어 연구 촉진: 저자원 언어에서도 고품질의 평가 데이터가 가능함을 증명하며, 해당 언어의 NLP 모델 개발 및 RAG 시스템 구축을 위한 기초 자료를 제공했습니다.
• 향후 방향: 현재는 30 개 언어에 대한 인간 평가만 수행되었으나, 이는 다양한 언어 계열과 자원 수준을 포괄하므로 전체 데이터셋의 품질을 대표할 수 있다는 확신을 줍니다. 향후 더 많은 언어에 대한 인간 평가와 모델 성능 향상이 필요함을 강조합니다.

이 연구는 다국어 LLM 의 평가 기준을 획기적으로 확장하여, 전 세계 언어의 디지털 격차 해소에 기여할 것으로 기대됩니다.