TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation

이 논문은 데이터 불균형을 해결하기 위해 커리큘럼 학습과 데이터 업샘플링을 결합하여 34 개 유럽 언어, 특히 발트어 및 슬라브어 계열 언어에서 기존 오픈 가중치 모델보다 우수한 성능을 보이며 계산 자원을 효율적으로 활용한 300 억 파라미터 오픈 소스 LLM 인 'TildeOpen'을 소개합니다.

핵심

이 논문은 **"유럽의 모든 언어가 공평하게 대우받도록 만든 새로운 AI(대규모 언어 모델)"**에 대한 이야기입니다.

기존의 AI들은 영어가 너무 많아서 다른 언어, 특히 유럽의 소수 언어 (발트어, 슬라브어 등) 를 잘 못 다루는 문제가 있었습니다. 이 연구팀은 **"영어만 잘하는 AI"가 아니라 "34 개 유럽 언어를 골고루 잘하는 AI"**를 만들기 위해 노력했습니다.

이 복잡한 내용을 쉽게 이해할 수 있도록 세 가지 비유로 설명해 드릴게요.

---

1. 문제: "영어만 배우는 천재 학생" vs "모든 언어를 배우고 싶은 학생"

지금까지 만들어진 AI 들은 영어와 몇몇 주요 언어 (독일어, 프랑스어 등) 로만 가득 찬 거대한 도서관에서 공부했습니다.

• 결과: 영어는 박사 학위 수준으로 잘하지만, 라트비아어나 에스토니아어 같은 소수 언어는 "아, 그거 들어봤는데..." 수준으로しか 못 합니다.
• 비유: 마치 영어만 배우는 천재 학생이 있습니다. 그는 영어로 된 책만 읽어서 영어는 정말 잘하지만, 옆에 있는 라트비아어 책을 보면 "이게 무슨 말이지?"라며 헤매는 상황입니다.

2. 해결책: "공정한 교실"을 만든 세 가지 방법

연구팀은 이 문제를 해결하기 위해 **300 억 개의 파라미터 (AI 의 두뇌 크기)**를 가진 새로운 모델을 만들었습니다. 그들은 단순히 책을 더 많이 읽게 한 게 아니라, **공부 방법 (커리큘럼)**을 바꿨습니다.

① 교재의 양을 조절하다 (데이터 업샘플링)

• 상황: 영어 책은 도서관 한 구석에 쌓여 있고, 라트비아어 책은 책장 한 줄에 겨우 하나 있습니다.
• 해결: 연구팀은 작은 언어의 책을 복사해서 양을 늘렸습니다. (최대 2.5 배까지!)
• 비유: 영어 책이 100 권 있다면, 라트비아어 책은 원래 1 권이었는데 2~3 권으로 복사해서 학생이 더 자주 접하게 만든 것입니다.

② 공부 순서를 바꾸다 (커리큘럼 학습)

• 상황: 처음부터 끝까지 영어 책만 읽으면 영어만 잘해집니다.
• 해결: 학습 단계를 3 단계로 나누었습니다.
  1. 초기 & 후기: 모든 언어를 동일한 비율로 공부하게 합니다. (공평하게 시작하고 끝내기)
  2. 중간: 자연스러운 비율로 공부하게 합니다. (영어 책이 많으니 영어도 많이 읽게 하기)
• 비유: 학생이 초등학교 때는 모든 과목을 똑같이 배우게 하고, 고등학교 때는 자신이 좋아하는 과목 (영어) 을 더 많이 공부하게 하되, 졸업할 때는 다시 모든 과목을 골고루 복습하게 한 것입니다. 이렇게 하면 소수 언어도 잊어버리지 않고 잘 익힐 수 있습니다.

③ 교실의 책상을 똑같이 만들다 (토크나이저 개선)

• 상황: 영어는 한 문장이 10 개의 조각 (토큰) 으로 나뉘는데, 라트비아어는 같은 문장인데도 30 조각으로 나뉘는 경우가 많습니다. AI 가 라트비아어를 읽을 때 더 많은 에너지를 써야 하는 셈입니다.
• 해결: 모든 언어가 같은 양의 조각으로 잘리도록 교재 (토크나이저) 를 새로 만들었습니다.
• 비유: 영어는 작은 조각으로, 라트비아어는 큰 조각으로 잘려서 먹기 힘들었는데, 모든 언어를 입에 잘 맞는 똑같은 크기의 조각으로 잘라주니 AI 가 모든 언어를 똑같이 편하게 소화할 수 있게 되었습니다.

3. 결과: "적은 비용으로 더 뛰어난 성적"

이 새로운 AI(TildeOpen) 는 기존에 유명한 모델들 (Llama 3, Gemma 2 등) 보다 **훨씬 적은 양의 데이터 (2 조 개 토큰)**로 훈련되었습니다. 보통 비슷한 크기의 AI 는 4~9 조 개를 학습시키는데, 이 모델은 그 절반도 안 되는 데이터로 훈련했습니다.

• 성적표:
  • 글쓰기 & 이해: 발트어, 슬라브어, 핀란드 - 우그리아어 계열 언어에서 기존 모델들을 압도적으로 앞섰습니다.
  • 오류 감소: 사람이 직접 글을 고쳐보니, 기존 모델은 100 단어에 10 개 정도의 실수를 했는데, 이 모델은 1 개 미만의 실수만 냈습니다. (약 10 배 더 정확함!)
  • 지식: 영어 중심의 지식 (미국 문화 등) 을 묻는 문제는 비슷했지만, 유럽 현지 시험 문제를 풀 때는 훨씬 잘 풀었습니다.

4. 중요한 점: "러시아어 데이터의 특수한 처리"

이 논문은 러시아어 데이터 처리에 대해 매우 신중하게 접근했습니다.

• 이유: 러시아 내의 인터넷에는 국가 주도의 선전 (프로파간다) 과 허위 정보가 매우 많이 퍼져 있습니다. 이를 그대로 학습하면 AI 가 거짓말을 하거나 편향된 의견을 가지게 될 수 있습니다.
• 조치: 연구팀은 러시아어 데이터에서 특정 주제 (전쟁, LGBT 등) 와 관련된 선전성 내용을 철저히 걸러냈습니다. 이는 단순히 언어를 차단하는 게 아니라, 공정한 정보를 학습시키기 위한 필수적인 필터링이었습니다.

요약

이 논문은 **"영어 중심의 AI 세상에서 소외되었던 유럽의 소수 언어들을 위해, 공정한 학습 방법과 데이터 정리를 통해 새로운 AI 를 만들었다"**는 이야기입니다.

핵심 메시지:

"AI 가 더 커진다고 해서 모든 언어가 잘하는 게 아닙니다. 어떻게 데이터를 골고루 섞고, 어떻게 공부 순서를 짜느냐가 훨씬 중요합니다. 우리는 적은 비용으로도 모든 언어가 공평하게 대우받는 AI 를 만들 수 있습니다."

이 모델은 누구나 무료로 사용할 수 있으며, 유럽의 언어 다양성을 지키고 AI 주권을 확보하는 데 큰 역할을 할 것으로 기대됩니다.

기술 요약

TildeOpen LLM: 커리큘럼 학습을 통한 공평한 언어 표현 달성

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 방대한 웹 데이터를 기반으로 학습되지만, 훈련 데이터의 대부분이 영어와 소수의 고자원 언어에 치우쳐 있어 유럽의 많은 언어에서 성능이 저하되는 심각한 불균형 문제가 존재합니다.

• 데이터 불균형: 모델이 확장됨에 따라 비영어권 데이터의 상대적 비중은 감소하며, 이는 언어적·문화적 다양성을 훼손합니다.
• 성능 격차: 기존 오픈 가중치 모델들 (예: Llama 3, EuroLLM) 은 서유럽 언어 (로망스, 게르만 어족) 에 비해 중동유럽 언어 (발트 - 슬라브 어족 등) 에서 성능이 현저히 낮습니다. 특히 발트어와 핀 - 우그리아어 계열 언어에서는 언어적 오류가 빈번하게 발생합니다.
• 현재 솔루션의 한계: 기존 유럽 중심 모델들 (EuroLLM 등) 은 영어 비중을 줄이는 데 초점을 맞추었으나, 소수 언어의 표현을 재균형화 (rebalancing) 하지는 못해 여전히 9% 미만의 데이터만 나머지 유럽 언어 전체에 할당되는 등 불균형이 지속됩니다.

2. 방법론 (Methodology)

TildeOpen LLM 은 34 개 유럽 언어를 지원하는 300 억 파라미터 (30B) 의 오픈 가중치 기초 모델로, 데이터 불균형을 해결하기 위해 다음과 같은 혁신적인 접근법을 적용했습니다.

• ** tokenizer 설계 및 데이터 균등화 (Tokenizer Equity):**

  • 목표: 모든 언어에서 동일한 콘텐츠가 유사한 토큰 수로 인코딩되도록 하여 추론 비용과 컨텍스트 효율성을 균등화합니다.
  • 구현: 병렬 번역 데이터 (FLORES 200) 를 기반으로 토크나이저 학습 시 데이터 비율을 반복적으로 조정하여, 저자원 언어의 토큰화 효율성을 고자원 언어 수준으로 끌어올렸습니다.
  • 데이터 구성: 43.8 억 바이트 (Focus 언어 30 억 바이트, 기타 언어 및 코드 13.8 억 바이트) 로 학습되었으며, Byte Pair Encoding (BPE) 알고리즘을 사용했습니다.

• 커리큘럼 학습 전략 (Curriculum Learning):

  • 데이터 불균형 완화: 저자원 언어의 데이터를 최대 2.5 배까지 업샘플링 (upsampling) 했습니다.
  • 3 단계 학습 스케줄:
    1. 초기 단계 (7.5%): 모든 언어를 균일하게 샘플링하여 모델이 모든 언어에 공평하게 노출되도록 함.
    2. 중간 단계 (67.5%): 자연스러운 데이터 분포 (고자원 언어 위주) 를 사용하여 모델의 다양성과 양을 극대화.
    3. 최종 단계 (25%): 다시 균일한 분포로 전환하여 저자원 언어에 대한 최종 학습을 강화.
  • 이 전략은 저자원 언어에 대한 균형을 유지하면서도 고자원 언어의 풍부한 자원을 활용하는 데 중점을 둡니다.

• 모델 아키텍처 및 훈련:

  • 아키텍처: Llama 3 기반의 30B 파라미터 밀집형 디코더 전용 트랜스포머 (60 레이어, 6144 차원).
  • 훈련 환경: 2 조 (2T) 토큰으로 학습 (동일 크기 모델 대비 2~4.5 배 적은 데이터). 768 개의 AMD MI250x GPU(LUMI 슈퍼컴퓨터) 를 활용하여 약 150 만 GPU 시간 소요.
  • 데이터 필터링: URL 필터링, 중복 제거 (Deduplication), PII 제거, 그리고 러시아어 데이터에 대한 특수 필터링 (국가 주도 선전 및 허위 정보 제거) 을 수행했습니다.

3. 주요 기여 (Key Contributions)

• 공평한 언어 표현을 위한 새로운 프레임워크: 단순한 데이터 양 증가가 아닌, 커리큘럼 학습과 토크나이저 최적화를 결합하여 저자원 언어의 성능을 획기적으로 개선한 사례를 제시.
• 효율적인 학습 전략: 2 조 토큰이라는 상대적으로 적은 데이터로 동급 모델 (4~6.7 조 토큰 학습) 을 능가하는 성능을 달성하여, 데이터 큐레이션과 학습 전략의 중요성을 입증.
• 러시아어 데이터 선전 필터링: 러시아어 데이터에서 국가 주도 선전 (프로파간다) 과 허위 정보를 체계적으로 제거하여 모델의 객관성과 안전성을 높이는 선구적인 시도 수행.
• 오픈 리소스 공개: 34 개 유럽 언어를 지원하는 30B 모델, 토크나이저, 그리고 instruction-tuning 데이터셋을 HuggingFace 를 통해 완전히 오픈 가중치로 공개.

4. 결과 (Results)

• 내재적 평가 (Perplexity): WMT24pp 데이터셋에서 모든 언어 가족 (발트, 슬라브, 핀 - 우그리아, 로망스 등) 에서 기존 오픈 모델 (EuroLLM, ALIA, Gemma 2) 대비 낮은 퍼플렉시티를 기록. 특히 발트어 (+13.8%), 로망스어 (+11.2%), 핀 - 우그리아어 (+11.2%) 에서 큰 개선을 보임.
• 벤치마크 성능:
  • 생성 및 이해: MultiBLiMP(문법성 판단) 와 Belebele(맥락 기반 독해) 에서 동급 모델 중 가장 높은 성능을 기록 (23 개 언어 중 20 개에서 1 위).
  • 지식 추론: ARC, MMLU 등 파라미터 지식 기반 작업에서는 Gemma 2 에 비해 다소 낮았으나, 2 조 토큰으로 학습된 본 모델이 4~6.7 조 토큰으로 학습된 모델들과 동등한 성능을 보임.
  • 인간 평가: 라트비아어와 에스토니아어에 대한 언어적 오류 분석 결과, Gemma 2 대비 10 배 이상 적은 오류 (100 단어당 1 개 미만의 오류) 를 기록.
• 지시 튜닝 (Instruction Tuning): 번역 태스크에서 EuroLLM 과 동등한 조건으로 튜닝 시, 모든 언어 쌍에서 EuroLLM 보다 높은 COMET 점수를 기록.

5. 의의 및 결론 (Significance)

• 유럽 AI 주권 강화: 유럽 내 약 1 억 7 천만 명의 모국어 (부분적 또는 불완전하게 표현됨) 를 가진 사용자를 위한 고품질 오픈 소스 LLM 을 제공하여, 상업적 거대 기업에 의존하지 않는 유럽의 AI 주권을 강화합니다.
• 저자원 언어의 패러다임 전환: 모델 크기를 키우거나 학습 데이터를 무작정 늘리는 것이 아니라, 신중한 데이터 큐레이션과 균형 잡힌 학습 전략만으로도 다국어 모델의 품질을 획기적으로 향상시킬 수 있음을 증명했습니다.
• 윤리적 데이터 처리: 러시아어 데이터에 대한 엄격한 선전 필터링을 통해 모델이 허위 정보나 편향된 내러티브를 학습하는 것을 방지하려는 윤리적 노력이 포함되어 있습니다.

이 연구는 다국어 LLM 개발에서 '양'보다 '균형'과 '전략'이 더 중요할 수 있음을 보여주며, 향후 유럽의 다양한 언어를 포용하는 AI 시스템 개발의 중요한 기준이 될 것으로 기대됩니다.