Bielik-Minitron-7B: Compressing Large Language Models via Structured Pruning and Knowledge Distillation for the Polish Language

이 논문은 NVIDIA 의 Minitron 접근 방식을 차용한 구조적 가지치기와 지식 증류, 그리고 정렬 파이프라인을 통해 폴란드어 및 유럽어에 최적화된 110 억 파라미터 모델인 Bielik-11B-v3.0 을 73.5 억 파라미터로 압축하면서도 베이스 모델 성능의 약 90% 를 유지하고 추론 속도를 최대 50% 향상시킨 Bielik-Minitron-7B 모델을 개발한 과정을 상세히 설명합니다.

핵심

🇵🇱 폴란드어용 '초소형' AI: Bielik-Minitron-7B 이야기

이 논문은 거대하고 무거운 AI(대형 언어 모델)를 폴란드어를 위해 더 작고 빠르면서도 똑똑하게 만드는 방법을 소개합니다. 마치 거대한 코끼리를 작은 코끼리로 변신시키되, 지능은 그대로 유지하는 마법 같은 과정이라고 생각하시면 됩니다.

이 과정을 3 단계로 나누어 쉽게 설명해 드릴게요.

---

1. 문제: 거대한 AI 는 너무 무겁습니다 🐘

원래 사용하던 AI 모델 (Bielik-11B) 은 약 110 억 개의 '지식 조각'(파라미터) 을 가지고 있었습니다. 이 모델은 매우 똑똑하지만, 실행하려면 무거운 그래픽 카드 (GPU) 가 필요하고, 전기도 많이 먹으며, 속도가 느립니다.

• 비유: 이 모델은 거대한 도서관 같습니다. 모든 책이 있지만, 한 번에 모든 책을 들고 다니려면 트럭이 필요하고, 원하는 책을 찾기도 느립니다.

2. 해결책: '정교한 수술'과 '스승의 지식 전수' 🩺📚

연구팀은 이 거대한 도서관을 작은 서점으로 바꾸되, 가장 중요한 책들만 남기고 지능은 그대로 유지하기로 했습니다. 이를 위해 두 가지 핵심 기술을 사용했습니다.

① 구조적 가지치기 (Structured Pruning) - "불필요한 가지 치기"

나무가 너무 무성하면 햇빛을 받지 못하듯, AI 도 불필요한 부분이 많으면 비효율적입니다. 연구팀은 AI 의 뇌를 분석하여 가장 덜 쓰이는 부분 (층, 뉴런, 연결 고리) 을 잘라냈습니다.

• 비유: 거대한 나무에서 가장 열매를 많이 맺는 가지만 남기고, 나머지는 잘라내는 '정원사'의 작업입니다. 나무의 모양은 유지되지만, 훨씬 가볍고 관리가 쉬워집니다.
• 결과: 모델의 크기가 33% 줄어든 73 억 개의 파라미터로 변했습니다.

② 지식 증류 (Knowledge Distillation) - "스승이 제자에게 가르치는 시간"

그냥 잘라내면 지식이 사라질 수 있습니다. 그래서 **거대한 AI(스승)**가 잘라낸 **작은 AI(제자)**에게 자신의 모든 사고방식과 지식을 가르쳤습니다.

• 비유: 거대한 천재 스승이 작은 제자에게 "이 문제를 풀 때 이렇게 생각해야 해"라고 정답뿐만 아니라 '왜' 그런지, 다른 가능성은 무엇인지까지 상세히 알려주는 과정입니다.
• 특이점: 보통은 정답만 가르치지만, 이 연구에서는 스승이 가진 모든 생각의 뉘앙스까지 제자에게 전달했습니다.

3. 다듬기: 실제 대화에 맞게 훈련 (Alignment) 🗣️

작아진 AI 는 이제 '지식'은 많지만, 사람과 대화하는 법을 다시 배워야 합니다.

1. 질문과 답변 훈련 (SFT): 폴란드어로 자연스럽게 대화하는 법을 배웁니다.
2. 선호도 학습 (DPO): 사람이 좋아할 만한 답변을 골라내도록 훈련합니다.
3. 추론 강화 (GRPO): 수학이나 논리 문제를 스스로 생각하며 해결하는 능력을 키웁니다.

---

🏆 결과는 어떨까요?

이 새로운 Bielik-Minitron-7B는 놀라운 성과를 거두었습니다.

• 성능: 원래 거대 모델의 약 90% 성능을 유지했습니다. (거의 똑똑함!)
• 속도: 같은 하드웨어에서 약 50% 더 빠르게 작동합니다.
• 접근성: 이제 일반인이 사용하는 **고성능 게이밍 그래픽 카드 (RTX 4090 등)**로도 이 AI 를 실행할 수 있게 되었습니다.
  • 비유: 이제 거대한 도서관을 가방에 넣을 수 있는 전자책 리더기로 만든 셈입니다. 어디든 들고 다니며 똑똑한 폴란드어 AI 와 대화할 수 있게 된 것입니다.

💡 핵심 교훈

이 연구는 **"무조건 큰 것이 좋은 것은 아니다"**를 증명했습니다. 잘게 자르고 (가지치기), 똑똑하게 가르치고 (지식 증류) 다듬으면, 작은 모델도 거대 모델 못지않은 능력을 발휘할 수 있음을 보여줍니다. 특히 폴란드어처럼 영어에 비해 자원이 부족한 언어에서도 고품질 AI 를 저렴하게 만들 수 있는 길을 열었습니다.

한 줄 요약:

"거대한 AI 를 수술로 작게 만들고, 스승의 지식을 전수받아 똑똑하게 만든 결과, 일반 컴퓨터에서도 달리는 초고속 폴란드어 AI가 탄생했습니다!"

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능 향상은 계산 자원 (특히 GPU VRAM) 에 대한 요구량을 급격히 증가시키고 있습니다. 유럽어, 특히 폴란드어와 같은 소수 언어 (less-represented languages) 에 최적화된 고품질 모델을 개발할 때, 100 억 개 이상의 파라미터를 가진 모델은 배포 비용이 너무 높고 소비자급 하드웨어 (예: RTX 4090) 에서 실행하기 어렵습니다.
기존의 작은 모델을 처음부터 (from scratch) 학습시키는 방식은 데이터와 연산 비용이 매우 많이 들며, 환경적 발자국 (carbon footprint) 이 큽니다. 따라서, 기존 고성능 모델의 품질을 유지하면서 파라미터 수를 줄이고 추론 속도를 높이는 모델 압축 (Model Compression) 기술의 필요성이 대두되었습니다.

2. 방법론 (Methodology)

저자들은 NVIDIA 의 Minitron 접근 방식을 기반으로 한 2 단계 압축 전략을 채택하여 110 억 파라미터 모델 (Bielik-11B-v3.0) 을 73.5 억 파라미터 모델 (Bielik-Minitron-7B) 로 변환했습니다.

A. 1 단계: 구조적 가지치기 (Structured Pruning)

• 목표: 모델의 구조적 구성 요소를 제거하여 하드웨어 친화적인 압축을 달성.
• 기법:
  • 하이브리드 가지치기: 단일 차원이 아닌 여러 차원을 동시에 최적화.
    • 깊이 (Depth): 트랜스포머 레이어 수를 50 개에서 40 개로 감소.
    • 폭 (Width): FFN(Feed-Forward Network) 의 중간 차원 (Intermediate Dimension) 을 14,336 에서 11,264 로 축소.
    • 유지: 임베딩 차원 (Hidden Dimension, 4096) 과 어텐션 헤드는 원본 구조를 유지하여 학습 안정성 확보.
  • 중요도 추정: 기울기 (Gradient) 계산 없이 순전파 (Forward Pass) 만 수행하여 활성화 (Activation) 크기를 기반으로 중요도가 낮은 레이어와 뉴런을 식별하고 제거.
  • 최적화: 10 가지 이상의 가지치기 시나리오 (EXP_001~EXP_010) 를 탐색하여 성능과 효율성의 균형점인 'Golden Ratio' (EXP_010) 를 선정.

B. 2 단계: 지식 증류 (Knowledge Distillation)

• 목표: 가지치기로 인한 성능 손실 복구.
• 기법:
  • Logit 기반 증류: 정답 레이블 (Ground Truth) 대신 원본 모델 (Teacher) 의 출력 로짓 (Logits) 분포를 학습.
  • KL 발산 손실 함수: 교차 엔트로피 대신 Teacher 와 Student 간의 KL 발산을 최소화하는 손실 함수 사용. 이는 모델이 '어떤 단어가 틀렸는지'에 대한 미묘한 확률 분포 (Dark Knowledge) 를 학습하게 함.
  • 온도 스케일링 (Temperature Scaling): Softmax 의 온도 파라미터를 조정하여 저확률 토큰의 신호를 증폭시키고, 폴란드어의 복잡한 형태론적 구조를 보존.
  • 데이터: 원본 프리트레이닝 데이터의 3% 미만을 사용하여 고품질 복구 달성.

C. 정렬 파이프라인 (Alignment Pipeline)

증류 후 모델을 실제 어시스턴트로 만들기 위해 3 단계 정렬 과정을 거침:

1. 지도 미세 조정 (SFT): 2000 만 개의 폴란드어/영어 지시어 쌍으로 학습.
2. 선호도 최적화 (DPO-P): 인간 선호도에 기반한 데이터 (11.4 만 개) 로 학습하여 유해 콘텐츠 생성을 억제.
3. 강화 학습 (GRPO): 수학, 논리, STEM 태스크에 대한 검증 가능한 보상 함수를 사용하여 추론 능력 향상.

3. 주요 기여 (Key Contributions)

1. 폴란드어 특화 고효율 모델 개발: 110 억 파라미터 모델의 성능을 90% 이상 유지하면서 33.4% 의 파라미터를 줄인 73.5 억 파라미터 모델 (Bielik-Minitron-7B) 을 최초로 공개.
2. NVIDIA Minitron 방법론의 검증: NVIDIA 와의 협력을 통해 Minitron 기법이 소수 언어 (폴란드어) 에도 효과적임을 입증. 원본 모델의 3% 미만의 연산 비용으로 고품질 모델을 재현 가능.
3. 소비자급 하드웨어 배포 가능성: FP16 기준 약 14GB 의 VRAM 만 필요하여 RTX 3090/4090 같은 소비자용 GPU 에서 고품질 폴란드어 LLM 을 실행 가능하게 함.
4. 재현 가능한 청사진: 유럽어 및 소수 언어를 위한 효율적인 LLM 개발을 위한 표준화된 압축 및 증류 파이프라인 제시.

4. 결과 (Results)

• 성능 회복: 베이스라인 (Bielik-11B-v3.0) 대비 90.1% 의 성능을 회복.
• 벤치마크 성과:
  • Open PL LLM Leaderboard: 73.5 억 파라미터 모델이 140 억 (Qwen3-14B) 및 320 억 (Qwen2.5-32B) 파라미터 모델과 경쟁하거나 능가하는 점수 (62.46) 기록.
  • 폴란드어 특화 태스크: 감정 분석 (EQ-Bench), 의료 지식 (Medical Leaderboard), 번역 (FLORES) 등 다양한 태스크에서 동급 또는 더 큰 모델들을 압도.
  • 기능 호출 (Function Calling): BFCL 벤치마크에서 94.5% 의 정확도로 대형 모델 (Gemma-3-12B 등) 과 대등한 성능 발휘.
• 추론 성능 향상:
  • 처리량 (Throughput): 54.42 토큰/초에서 81.41 토큰/초로 약 50% 증가.
  • 지연 시간 (Latency): 토큰 생성 시간 (TPOT) 이 18.28ms 에서 12.32ms 로 약 32.6% 단축.
• 양자화 (Quantization) 강건성: 4 비트 (Q4_K_M) 양자화 시에도 성능 손실이 1% 미만 (61.89 점) 으로, 저사양 환경에서도 고품질 추론 가능.

5. 의의 및 결론 (Significance)

이 연구는 구조적 가지치기와 지식 증류의 결합이 대규모 언어 모델을 소수 언어 시장에 맞게 최적화하는 가장 효율적인 경로임을 입증했습니다.

• 비용 절감: 처음부터 모델을 학습시키는 데 드는 막대한 비용과 탄소 배출을 획기적으로 줄였습니다.
• 접근성 확대: 고사양 엔터프라이즈 하드웨어가 없어도 로컬 환경에서 고품질 폴란드어 AI 를 사용할 수 있게 되어, 기술 격차를 해소하고 소수 언어 생태계의 성장을 촉진합니다.
• 기술적 통찰: 깊이 (Depth) 감소는 폭 (Width) 감소보다 성능에 더 민감하며, 적절한 '황금 비율'의 하이브리드 가지치기와 고온 증류 (High-temperature Distillation) 가 성능 회복의 핵심임을 보여줍니다.

결론적으로, Bielik-Minitron-7B 는 소수 언어를 위한 효율적이고 고품질의 LLM 개발을 위한 새로운 표준을 제시하며, NVIDIA 의 기술과 결합된 모델 압축 전략의 성공 사례로 평가됩니다.