🤖 AI

Vikhr: The Family of Open-Source Instruction-Tuned Large Language Models for Russian

이 논문은 토크나이저 어휘를 조정하고 경량 LoRA 어댑터에 의존하는 대신 모든 가중치를 전체 미세 조정함으로써 우수한 성능과 계산 효율성을 달성한 러시아어용 오픈 소스 이중 언어 지시어 튜닝 대규모 언어 모델 시리즈인 Vikhr를 소개한다.

원저자: Aleksandr Nikolich, Konstantin Korolev, Sergei Bratchikov, Igor Kiselev, Artem Shelmanov

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aleksandr Nikolich, Konstantin Korolev, Sergei Bratchikov, Igor Kiselev, Artem Shelmanov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "맞춤형이 아닌" 기성복 수트

당신에게 아주 똑똑하고 세계적인 재단사(대규모 언어 모델 또는 LLM)가 있다고 상상해 보세요. 이 재단사는 영어 사용자를 위한 완벽한 수트를 만드는 법을 배우기 위해 수년간 공을 들였습니다. 이 재단사는 영어를 속속들이 잘 알고 있습니다.

그런데 당신이 이 재단사에게 러시아어 사용자를 위한 수트를 만들어 달라고 요청합니다. 재단사는 노력하지만, 몇 가지 주요 문제에 부딪힙니다:

"단어 쪼개기" 오류: 재단사의 줄자(토크나이저)는 영어에 맞춰 설계되었습니다. 러시아어 단어를 측정하려고 하면, 줄자가 단어를 작고 어색한 조각들로 쪼개버립니다. 하나의 단어를 측정하는 대신, 열 개의 아주 작은 파편들을 측정하게 됩니다. 이로 인해 과정이 느려지고 서툴러집니다.
"번역 중 길을 잃는" 문제: 재단사가 주로 영어 책을 통해 배웠기 때문에, 러시아어로 논리적으로 생각하는 법을 가끔 잊어버립니다. 러시아어 문장에 영어 단어를 섞어 쓰거나, 문화적으로 맞지 않는 답변(예: "물고기의 비늘을 벗기다" 대신 "물고기의 털을 제거하다"라고 제안하는 것 등)을 내놓기도 합니다.
"땜질 처방"의 한계: 다른 연구자들은 영어 수트에 작은 패치(LoRA 어댑터)를 꿰매어 러시아어에 더 잘 맞도록 만드는 방식으로 이를 해결하려 했습니다. 이것은 약간의 도움은 되지만, 근본적인 줄자가 여전히 고장 난 상태이기 때문에 수트는 여전히 비효und 효율적이고 느립니다.

해결책: "Vikhr" 만들기

이 논문의 저자들은 기존의 수트를 땜질하는 것을 멈추고, 대신 Vikhr(러시아어로 "강한 돌풍"을 의미)라는 완전히 새롭고 맞춤 제작된 의상을 만들기로 결정했습니다.

그들은 단순히 영어 모델에 패치를 붙인 것이 아니라, 토대를 다시 구축했습니다. 그들이 수행한 단계별 과정은 다음과 같습니다.

1. 줄자 재설계 (어휘 적응)

먼저, 그들은 기존의 영어 줄자를 버렸습니다. 대신 러시아어 단어에 특화된 완전히 새로운 줄자를 만들었습니다.

비유: 러시아어 단어를 10개의 작고 의미 없는 부스러기로 자르는 대신, 새 줄자는 단어 전체를 하나의 매끄러운 단위로 측정합니다.
결과: 모델은 이제 부스러기를 세느라 시간을 낭비하지 않기 때문에, 러시아어를 훨씬 더 빠르고 효율적인 메모리 공간을 사용하여 "읽고" "쓸" 수 있습니다.

2. "재교육" 단계 (지속적 사전 학습)

다음으로, 그들은 똑똑한 영어 모델을 데려가서 이번에는 러시아의 책, 뉴스, 과학 논문들로 가득 찬 교실에서 다시 학교에 보냈습니다.

도전 과제: 모델에게 너무 많은 러시아어를 가르치자, 모델이 논리적으로 생각하는 법을 잊어버리기 시작했습니다(이를 "파괴적 망각"이라고 합니다). 이는 마치 학생이 러시아 역사를 너무 많이 배운 나머지 기초적인 수학을 하는 법을 잊어버린 것과 같습니다.
해결책: 그들은 학습 중에 특별한 "안전망"(수학적 정규화)을 사용했습니다. 이것은 "새로운 러시아어 지식을 배우는 동안에도 기존의 영어 논리 기술을 기억하라"고 부드럽게 상기시켜 주는 역할을 했습니다. 이를 통해 모델이 두 언어 모두에서 지적인 상태를 유지할 수 있었습니다.

3. 대화법 배우기 (지시어 튜닝)

마지막으로, 그들은 모델에게 단순히 문장을 완성하는 것을 넘어, 지시를 따르고 대화를 나누는 법을 가르쳤습니다.

데이터: 그들은 러시아어로 된 방대한 질문과 답변 라이브러리를 모았습니다. 단순히 이미 존재하는 것을 사용한 것이 아니라, 고품질의 영어 지시 세트를 러시아어로 번로하고, 나쁜 답변을 제거하기 위해 정교하게 다듬었습니다.
결과: 모델은 "이야기를 들려줘" 또는 "이 개념을 설명해줘"와 같은 프롬프트를 이해하고, 영어 단어를 섞거나 문법 오류를 범하지 않고 자연스럽게 러시아어로 응답하는 법을 배웠습니다.

결과: 더 빠르고 똑똑한 모델

논문은 새로운 Vikhr 모델을 기존의 영어 모델 및 다른 러시아어 시도 모델들과 비교합니다.

속도: 새로운 줄자가 효율적이기 때문에, Vikhr는 텍스트를 훨씬 더 빠르게 생성합니다.
품질: 모델은 기존 모델에서 보이던 어색한 영어 단어나 이상한 문법 실수 없이 유창하게 러시아어를 구사합니다.
논리: 모델은 기존 영어 모델의 강력한 추론 능력을 유지하면서도, 이를 러시아어 맥락에 올바르게 적용합니다.

하지 않은 것 (한계점)

저자들은 자신들이 하지 못한 부분에 대해서도 솔직하게 밝히고 있습니다.

그들은 모든 답변을 채점할 인간을 고용할 충분한 자원을 확보하지 못했습니다(RLHF라고 불리는 과정). 따라서 모델은 그들이 입력한 데이터의 품질에 의존합니다.
그들은 모델이 해로운 말을 하는 것을 방지하기 위한 추가적인 "정렬(alignment)" 단계를 더하지 않았으나, 사용자들에게 주의를 사용할 것을 경고합니다.

요약

요약하자면, 이 논문은 똑똑한 영어 모델을 가져와서 맞춤형 러시아어 어휘를 부여하고, 논리력을 유지하면서 러시아 문화와 데이터로 재교육시킨 뒤, 지시를 따르는 법을 가르쳐 만든 이중 언어(러시아어/영어) AI인 Vikhr를 제시합니다. 그 결과, 이 모델은 단순히 영어 모델을 "패치"하려고 했던 이전의 시도들보다 러시아어 측면에서 더 똑똑할 뿐만 아니라 더 빠르고 효율적입니다.

기술 요약: Vikhr – 러시아어를 위한 오픈 소스 지시어 튜닝 LLM 제품군

문제 정의
대규모 언어 모델(LLM)의 발전이 급증하고 있음에도 불구하고, 비영어권 언어, 특히 러시아어에 대한 텍_생성은 상당한 장애물에 직면해 있다. 영어 중심의 모델들은 다른 언어를 처리할 때 생성 품질이 떨어지고 계산 성능이 저하되는 경향이 있다. 이러한 비효율성은 빈도가 낮은 비영어 단어를 여러 개의 토큰으로 과도하게 분할하는 바이트 쌍(byte-pair) 토큰화 알고리즘에서 기인한다. 이러한 파편화는 처리 단계를 증가시키고, 유효 컨텍스트 창을 줄이며, 전반적인 성능을 저하시킨다. 또한, 기존의 오픈 소스 러시아어 모델들은 종종 영어 베이스 모델에 적용된 저차원 적응(LoRA) 어댑터에 의존한다. 이 방식은 비용 효율적이지만, 근본적인 토큰화 비효율성을 해결하지 못하며 모델의 어휘나 가중치를 완전히 적응시키지 못해 컨텍스트 활용도와 생성 품질을 최적화하지 못한다. 반대로, 완전 다국어 모델들은 공유된 어휘 및 파라미터 제약으로 인해, 특히 작은 모델 크기(예: 7B, 13B)에서 특정 언어 하나에 대해 우수한 성능을 내는 데 어려움을 겪는다.

방법론: Vikhr 파이프라인
저자들은 영어 중심의 사전 학습된 모델(구체적으로 Mistral 7B)을 효율적인 이중 언어(러시아어-영어) 지시어 수행 LLM으로 변환하기 위한 종합적인 파이프라인을 제안한다. 이 과정은 세 가지 주요 단계로 구성된다:

어휘 적응 (Vocabulary Adaptation):
토큰화 비효율성을 해결하기 위해, 저자들은 언어 특화 코퍼스(RuLM 데이터셋)를 사용하여 토크나이저를 재구축한다. 이들은 40k 어휘 크기를 가진 SentencePiece 토크나이저를 훈련했다. 새로운 토큰은 원래 임베딩 행렬의 구성 요소들의 임베딩 평균값으로 초기화되며, 기존 토큰은 원래의 임베딩을 유지한다. 그 결과, 원본 영어 중심 모델보다 러시아어에 대해 훨씬 더 효율적인 토크나이저가 생성되었다.
지속적 사전 학습 (Continued Pre-training):
모델은 과학 논문, 뉴스, 위키피디아, 기술 블로그(Habr)를 포함하여 필터링 후 총 110억 개의 토큰으로 구성된 고품질의 중복 제거된 러시아어 코퍼스를 통해 지속적 사전 학습을 거친다.

파괴적 망각 완화 (Catastrophic Forgetting Mitigation): 베이스 모델의 추론 능력이 상실되는 것을 방지하기 위해(예비 실험에서 관찰됨), 저자들은 적응된 모델과 참조용 영어 중심 LLM 사이의 KL 페널티를 사용하는 손실 정규화 전략을 구현한다 ( $L_{Vikhr} = L_{CE} + KL(P_{Vikhr} || P_{Ref})$ ).
전체 가중치 업데이트 (Full Weight Update): LoRA 방식과 달리, 이 단계는 모든 모델 가중치를 업데이트하며, 이를 위해 상당한 계산 자원(8x NVIDIA A100 GPU)이 필요하다.

지시어 튜닝 (Instruction Tuning):
모델은 확장된 러시아어 지시어-출력 쌍 세트를 통해 미세 조정된다. 데이터셋은 다음을 포함한다:

FLAN 및 OpenHermes (Veles) 지시어 세트의 번역본.
Nectar 데이터셋 (이중 언어 능력을 유지하기 위해 영어로 유지됨).
기존의 Saiga 데이터셋.
품질 관리: 인간 선호 데이터로 훈련된 보상 모델(multilingual-e5-large)을 사용하여 저품질의 기계 생성 출력을 필터링했다.
전체 파라미터 업데이트: 사전 학습과 마찬가지로, 지시어 튜닝은 어댑터를 사용하는 대신 모든 모델 파라미터를 업데이트한다.

주요 기여

적응 파이프라인: 어휘 재구축, 가중치 전체의 정규화된 지속적 사전 학습, 그리고 지시어 튜닝을 포함하는 영어 LLM을 타 언어로 적응시키는 새로운 파이프라인을 제시한다.
Vikhr 모델: 러시아어에 최적화된 일련의 오픈 소스 이중 언어 지시어 수행 LLM인 Vikhr를 구축하였다. 이 모델들은 빠른 텍s 생성과 개선된 컨텍스트 활용을 위해 적응된 토크나이저를 특징으로 한다.
데이터 확장: 지속적 사전 학습과 지시어 튜닝을 위한 가용한 러시아어 데이터셋을 대폭 확장하였으며, 여기에는 새로운 지시어 세트(Veles) 생성 및 기존 데이터셋의 필터링이 포함된다.
평가 벤치마크: 러시아 LLM을 평가하기 위해 자동 번역을 통한 MMLU 및 MMLU-pro 벤치마크의 러시아어 버전(Ru-MMLU 및 Ru-MMLU-pro)을 제작하였다.
절제 연구 (Ablation Studies): 파이프라인 구성 요소의 필요성(어휘 적응, 데이터 필터링, 손실 정규화의 중요성)을 입증하는 경험적 검증을 수행하였다.

결과 및 절제 연구 결과

토큰화 효율성: Vikhr 토크나이저는 원본 Mistral 토크나이저에 비해 러시아어 문장의 토큰 수를 약 절반으로 줄여(예: 샘플 문장에 대해 7개 토큰 vs 13개 토큰), 컨텍스트 효율성을 크게 향상시킨다.
생성 품질: 질적 분석에 따르면, 베이스 Mistral 모델은 종종 영어 단어를 삽입하고 문법적 불일치를 겪으며 러시아어 의미를 오해하는 반면, Vikhr는 문법적으로 정확하고 의미론적으로 일관된 러시아어 텍스트를 생성한다.
어휘 크기: 실험 결과, 40k 어휘 크기가 가장 좋은 균형을 제공하였으며, 더 작은 어휘들과 비교했을 때 perplexity의 약간의 증가만으로 ruXNLI 작업에서 정점의 성능을 보였다.
데이터 필터링: 사전 학습 코퍼스를 필터링하여(17B에서 11B 토큰으로 감소) perplexity를 낮추고 Ru-MMLU-pro 및 ruXNLI 점수를 실질적으로 높였으며, 이는 데이터 양보다 질이 중요함을 강조한다.
정규화: 지속적 사전 학습 중에 KL 손실 정규화를 적용한 결과, ruXNLI 작업 성능이 실질적으로 향상되었으며(정규화 없을 시 0.34 vs 적용 시 0.45), perplexity를 약간 감소시켜 추론 능력의 파괴적 망각을 방지하는 역할을 확인하였다.
지시어 튜닝: 저자들의 확장된 지시어 세트로 미세 조정한 결과, Saiga 데이터셋이나 번역된 Nectar만을 사용한 모델에 비해 NLU 작업에서 유의미한 성능 향상을 보였다.

의의
본 논문은 효율적이고 고품질인 오픈 소스 지시어 튜닝 LLM의 부재에 대한 해결책으로 Vikhr를 제시한다. LoRA 어댑터의 한계를 넘어 전체 모델 적응을 통해 토큰화 비효율성을 해결함으로써, Vikhr는 계산 효율성을 유지하면서 높은 생성 품질을 달 achieve 한다. 저자들은 이 접근 방식이 이중 언어 LLM이 지역 언어의 언어적 뉘앙스와 문화적 맥락을 포괄적으로 포착하면서도 작고 효율적인 상태를 유지할 수 있게 한다고 주장한다. 모델 가중치, 지시어 세트, 코드 및 평가 벤치마크의 공개는 교차 언어 적응에 관한 추가 연구를 촉진하고 LLM 연구 과제의 언어 다양성을 높이는 것을 목표로 한다. 저자들은 향후 연구 과제로 개선된 버전(예: Mistral NeMo 기반)의 출시와 벨라루스어, 세르비아어, 카자흐어와 같은 저자원 언어로의 파이프라인 확장을 언급하였다.