Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

이 논문은 보편적 토크나이저의 비효율성을 해결하기 위해 폴란드어에 최적화된 어휘와 FOCUS 기반 임베딩, 다단계 사전 학습 커리큘럼, 그리고 강화 학습 기반 정렬 기법을 도입하여 Bielik v3 7B 및 11B 모델의 성능을 획기적으로 개선했음을 보고합니다.

핵심

🏗️ 핵심 이야기: "폴란드어 전용 도로를 닦다"

기존의 대형 인공지능 모델들은 전 세계 모든 언어를 한 번에 배우려고 하다 보니, 특정 언어 (여기서는 폴란드어) 를 다룰 때 비효율적인 문제가 있었습니다. 마치 전 세계 모든 차종 (자전거, 트럭, 스포츠카) 을 한 도로에서 다 다룰 수 있게 설계된 도로를 생각해보세요. 폴란드어라는 '스포츠카'가 이 도로를 달릴 때, 너무 많은 신호등 (불필요한 토큰) 을 만나고, 차선이 좁아져서 속도가 느려지는 것입니다.

이 연구팀은 **"폴란드어 전용 고속도로"**를 새로 건설하여 문제를 해결했습니다.

1. 문제: "너무 많은 조각으로 쪼개진 단어"

기존 모델은 폴란드어를 처리할 때, 하나의 단어를 너무 작은 조각 (토큰) 으로 잘게 나누었습니다.

• 비유: "사랑 (Love)"이라는 단어를 처리할 때, AI 가 "라", "브", "ㄹ", "ㅂ"처럼 글자 하나하나를 따로따로 읽는 것처럼 느리게 처리하는 것입니다.
• 결과: 메모리 (도로 공간) 를 많이 차지하고, 생각할 시간 (계산 비용) 이 늘어나며, 한 번에 읽을 수 있는 문장 길이 (컨텍스트) 가 짧아집니다.

2. 해결책: "APT4 토크나이저 (새로운 도로 설계도)"

연구팀은 폴란드어의 복잡한 문법과 어미 변화에 맞춰 **새로운 분할 규칙 (APT4 토크나이저)**을 만들었습니다.

• 비유: 이제 "사랑"이라는 단어를 "라", "브"로 나누지 않고, "사랑"이라는 덩어리 하나로 통째로 인식합니다.
• 효과: 같은 길이의 문장을 처리할 때 필요한 '조각'의 수가 절반 가까이 줄었습니다. 이는 도로의 효율이 두 배가 된 것과 같습니다. 같은 공간에 더 많은 정보를 담을 수 있게 된 것입니다.

3. 위험 관리: "기억 잃지 않는 방법 (FOCUS)"

갑자기 새로운 도로 규칙을 적용하면, AI 가 이전에 배운 지식을 다 잊어버릴 수 있습니다 (이를 '파괴적 망각'이라고 합니다).

• 비유: 운전자가 갑자기 새로운 도로 표지판을 보고 당황해서 길을 잃는 상황입니다.
• 해결책 (FOCUS): 연구팀은 FOCUS라는 기술을 썼습니다. 이는 "새로운 도로 표지판 (새 토큰) 을, 이미 알고 있는 옛날 표지판 (옛 토큰) 들의 조합으로 설명해 주는" 방법입니다.
  • 예를 들어, 새로운 표지판이 없다면 "이건 'A'와 'B' 표지판이 합쳐진 거야"라고 설명해 주면서 AI 가 자연스럽게 적응하도록 돕습니다. 덕분에 AI 는 새로운 폴란드어 규칙을 배우면서도 예전 지식을 잃지 않았습니다.

4. 훈련 과정: "단계별 적응 훈련"

모델을 바로 완성된 상태로 돌리는 대신, 두 단계로 나누어 훈련시켰습니다.

1. 1 단계 (부분 동결): AI 의 두뇌 대부분은 고정해두고, 오직 '입구 (단어 인식부)'와 '출구 (답변 생성부)'만 새로운 규칙에 맞춰 살짝 조정했습니다. (도로 입구만 먼저 고쳐보기)
2. 2 단계 (전체 적응): 이제 AI 전체를 풀어서 새로운 규칙에 완전히 익숙해질 때까지 더 많은 데이터를 학습시켰습니다. (도로 전체를 다 고쳐서 달리기 시작하기)

5. 결과: "더 똑똑하고 빠른 폴란드어 AI"

이 새로운 모델 (Bielik v3 PL) 은 기존 모델과 비교했을 때 어떤 차이가 있을까요?

• 폴란드어 능력: 폴란드어 퀴즈, 의료 시험, 감정 이해 테스트 등에서 기존 모델과 비슷하거나 더 좋은 점수를 받았습니다. 특히 복잡한 문맥을 이해하는 능력이 뛰어났습니다.
• 영어 능력: 폴란드어에 최적화했다고 해서 영어 실력이 떨어지지는 않았습니다. 여전히 영어로도 잘 대화합니다.
• 효율성: 같은 성능을 내는데도 더 적은 계산 자원으로 처리할 수 있게 되어, 속도가 빨라지고 비용이 절감되었습니다.

🎁 결론: 왜 이 연구가 중요할까요?

이 연구는 "모든 언어를 다 잘하는 AI"를 만드는 것보다, "특정 언어를 아주 잘하고 효율적으로 만드는 AI"를 만드는 것이 더 중요할 수 있다는 것을 보여줍니다.

마치 모든 차를 다 태울 수 있는 대형 버스를 만드는 것보다, 폴란드어라는 특정 지역을 빠르게 달릴 수 있는 전용 스포츠카를 만드는 것이 그 지역 사람들에게 더 큰 혜택을 주는 것과 같습니다.

이 모델은 오픈 소스 (Apache 2.0 라이선스) 로 공개되어, 누구나 무료로 폴란드어를 더 잘 이해하고 처리할 수 있는 AI 를 사용할 수 있게 되었습니다.

기술 요약

논문 요약: Bielik v3 PL 시리즈를 통한 토크나이저 최적화를 통한 폴란드어 언어 모델링 고도화

1. 문제 제기 (Problem)

범용 대규모 언어 모델 (LLM) 은 다국어 능력을 갖추고 있지만, 특정 언어 (이 경우 폴란드어) 에 대해 **범용 토크나이저 (Universal Tokenizer)**를 사용할 때 발생하는 구조적 비효율성에 직면해 있습니다.

• 형태론적 복잡성: 폴란드어는 풍부한 굴절 (inflection) 과 어미 변화, 그리고 다양한 어휘 변이를 가지는데, 범용 토크나이저 (예: Mistral 기반) 는 이를 효율적으로 처리하지 못합니다.
• 높은 비옥도 비율 (Fertility Ratio): 하나의 폴란드어 단어를 표현하는 데 과도한 수의 서브워드 (subword) 토큰이 필요합니다. 이는 컨텍스트 창 (Context Window) 내의 정보 밀도를 낮추고, 추론 비용을 증가시키며, 유효한 컨텍스트 길이를 제한합니다.
• 기존 모델의 한계: Bielik v3 의 초기 버전은 32,128 개의 어휘를 사용했으나, 여전히 폴란드어 단어 인코딩에 비효율적이었습니다.

2. 방법론 (Methodology)

이 연구는 7B 와 11B 파라미터 규모의 Bielik v3 PL 모델을 개발하기 위해 다음과 같은 기술적 접근법을 사용했습니다.

가. 폴란드어 최적화 토크나이저 (APT4) 도입

• 어휘 크기 유지: 모델 크기를 급격히 늘리지 않기 위해 어휘 크기를 기존과 유사한 약 32,000 개로 유지했습니다.
• APT4 토크나이저: 이전 APT3 토크나이저를 확장 및 정제하여 개발된 전용 토크나이저를 적용했습니다. 이는 폴란드어 텍스트의 토큰화 효율성을 극대화하고, 숫자 및 특수 문자 처리를 최적화합니다.
• 성능 지표: 폴란드어 헌법 전문을 기준으로 했을 때, 토큰당 단어 수 (Tokens per Word, TpW) 가 기존 모델의 3.22 에서 1.62 로 감소하여, 동일한 컨텍스트 창에서 약 2 배의 폴란드어 텍스트를 처리할 수 있게 되었습니다.

나. FOCUS 기반 임베딩 초기화 및 점진적 적응
새로운 토크나이저로 전환할 때 발생하는 **치명적 망각 (Catastrophic Forgetting)**을 방지하기 위해 다음과 같은 파이프라인을 구축했습니다.

1. FOCUS (Fast Overlapping Token Combinations Using Sparsemax):
   • 기존 어휘와 새로운 어휘 간의 의미적 유사성을 기반으로, 새 토큰 임베딩을 기존 토큰들의 희소 선형 결합 (Sparse linear combination) 으로 초기화합니다.
   • 여러 초기화 기법 (Random, FVT, WECHSEL 등) 중 FOCUS 가 폴란드어 LLM 리더보드에서 가장 낮은 학습 손실과 최고의 성능을 보였습니다.
2. 다단계 계속 학습 (Multi-Stage Continued Pretraining):
   • 1 단계 (부분 고정): 4B 토큰으로 학습하며, 입력 임베딩 레이어, 언어 모델 헤딩 (lm_head), 그리고 가장 낮은 2 개와 가장 높은 2 개의 트랜스포머 레이어만 업데이트합니다. 나머지 파라미터는 고정하여 내부 표현을 보존합니다.
   • 2 단계 (전체 적응): 16B 토큰으로 추가 학습하며 모든 파라미터의 가중치를 해제 (Unfreeze) 하여 모델이 폴란드어의 언어적 특성에 완전히 적응하도록 합니다.

다. 후속 학습 (Post-Training)
기존 Bielik v3 모델과 동일한 정렬 파이프라인을 적용하여 일관성을 유지했습니다.

• 지도 미세 조정 (SFT): 고품질 지시 - 응답 쌍 (폴란드어/영어) 으로 3 에포크 학습.
• 선호도 최적화 (DPO-P): 사용자 의도에 부합하는 출력 강화 및 할루시네이션 감소.
• 강화 학습 (GRPO): 수학, 논리, STEM 과제의 검증 가능한 보상을 통해 추론 능력 향상.

3. 주요 기여 (Key Contributions)

• 토크나이저 교체 및 FOCUS 적용: 폴란드어 특화 토크나이저를 도입하면서도 치명적 망각을 최소화하는 FOCUS 기반 임베딩 전이 방법을 성공적으로 적용했습니다.
• 효율적인 학습 파이프라인: 부분 고정과 전체 적응을 결합한 2 단계 학습 전략을 통해 성능 저하 없이 토큰 효율성을 극대화했습니다.
• 오픈 소스 공개: Apache 2.0 라이선스로 7B 및 11B 모델 가중치를 공개하여 폴란드어 및 유럽 언어 AI 생태계에 기여했습니다.

4. 평가 결과 (Results)

다양한 벤치마크를 통해 폴란드어 최적화 모델 (PL variants) 이 원본 모델과 비교하여 성능을 유지하거나 일부 영역에서 향상되었음을 입증했습니다.

• 폴란드어 성능 (Open PL LLM Leaderboard):

  • Bielik-PL-11B-v3.0-Instruct: 5-shot 평균 64.11점 (원본 65.93 점과 유사).
  • Bielik-PL-Minitron-7B-v3.0-Instruct: 5-shot 평균 61.66점 (원본 7B 모델 62.46 점과 유사).
  • CPTUB (복잡한 폴란드어 텍스트 이해): PL 11B 모델은 3.80점으로 원본 모델 (3.73) 보다 오히려 높은 점수를 기록하며, 특히 함축적 의미 (Implicatures) 이해에서 우수한 성능을 보였습니다.
  • Polish EQ-Bench (정서 지능): PL 11B 모델은 71.15점으로 원본 모델 (71.20) 과 거의 동일한 수준을 유지했습니다.

• 다국어 및 영어 성능:

  • Open LLM Leaderboard (영어): PL 11B 모델은 71.49점을 기록하여 영어 능력도 크게 저하되지 않음을 확인했습니다.
  • FLORES (기계 번역): 폴란드어 번역 (to/from Polish) 에서 높은 BLEU 점수를 기록하며, 특히 폴란드어에서 다른 언어로의 번역 능력이 크게 향상되었습니다.
  • Belebele (독해): 유럽어 평균 77.41 점, 폴란드어 81.22 점으로 강력한 다국어 독해 능력을 입증했습니다.

• 효율성: 토큰당 단어 수 (TpW) 감소로 인해 실제 폴란드어 처리 시 유효 컨텍스트 용량이 약 2 배 증가했습니다.

5. 의의 및 결론 (Significance)

이 논문은 언어 특화 LLM 개발의 새로운 표준을 제시합니다.

1. 효율성 극대화: 어휘 크기를 늘리지 않고 토크나이저 구조만 최적화함으로써, 계산 비용은 유지하면서 특정 언어의 처리 효율성을 획기적으로 높였습니다.
2. 재현 가능한 방법론: FOCUS 기반 임베딩 전이와 점진적 가중치 해제 (Progressive Unfreezing) 전략은 다른 언어 (특히 형태론이 풍부한 언어) 에 대한 LLM 적응에도 적용 가능한 재현 가능한 청사진을 제공합니다.
3. 폴란드어 AI 생태계 강화: 고품질의 오픈 소스 모델 (Bielik v3 PL) 을 통해 폴란드어 및 유럽 언어 기반의 AI 기술 접근성을 높이고, 유럽의 언어 다양성 보존에 기여했습니다.

결론적으로, Bielik v3 PL 시리즈는 범용 모델의 비효율성을 해결하면서도 원본 모델의 지능 수준을 유지하거나 일부 영역에서 초월하는, 토크나이저 최적화의 성공 사례로 평가됩니다.