💬 NLP

Index SLM Technical Report

Bilibili는 2.8조 개의 토큰으로 학습된 1.9B 파라미터 기반의 특화된 Warmup-Stable-Decay 스케줄 및 Norm-Head 레이어를 특징으로 하며, 표준 벤치마크에서 경쟁력 있는 성능을 달성하고 순수 사전 학습, 채팅 정렬, 캐릭터 기반 역할 수행을 위한 변체들을 포함하는 오픈 소형 언어 모델 시리즈인 Index-1.9B를 선보입니다.

원저자: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

게시일 2026-07-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 주머니에 쏙 들어가는 작고 똑똑한 로봇 뇌를 만들고 있다고 상상해 보세요. 대부분의 사람들은 더 큰 뇌가 항상 더 좋을 것이라고 생각하지만, Bilibili의 한 팀은 자신의 체급을 훨씬 뛰어넘는 성능을 내는 19억 파라미터 규모의 로봇(Index-1.9B라고 부릅시다)을 만들 수 있는지 확인해 보기로 했습니다. 그들은 단순히 거대한 모델을 축소한 것이 아니라, 주로 중국어와 영어로 된 2.8조 개의 단어 읽기 자료를 사용하여 엔진을 밑바닥부터 다시 구축했습니다.

이것은 그들이 어떻게 그것을 해냈는지, 무엇을 발견했는지, 그리고 그 과정에서 발견한 기묘한 놀라움에 대한 이야기입니다.

비밀 레시피: 뇌를 훈련시키는 방법

1. 읽기 목록 (데이터)
훈련 데이터를 로봇의 도서관이라고 생각해 보세요. 그들은 인터넷 전체를 그냥 쏟아부은 것이 아닙니다. 마치 정리되지 않은 다락방을 정리하는 사서처럼 데이터를 깨끗하게 다듬었습니다. 중복된 내용을 제거했습니다(심지어 실수로 월 이름 메뉴가 156,000번이나 복사된 것도 찾아냈습니다!). 또한 편향성을 걸러냈습니다.

구성: 도서관은 주로 책과 웹 페이지로 구성되어 있지만, 그들은 6%의 코드와 10%의 고품질 자료(학술 논문 및 백과사전 등)를 포함하도록 확실히 했습니다.
놀라움: 그들은 훈련의 마지막 단계에서 "지시 사항(instruction manuals)"(예: "시를 써줘" 또는 "이 수학 문제를 풀어줘")을 읽는 것이 로봇을 테스트에서 훨씬 더 똑똑하게 만든다는 것을 발견했습니다. 실제로 이 지시 데이터 7%를 추가하는 것만으로도 테스트 점수를 약 7점 높였습니다. 그들은 심지어 이 추가적인 읽기 과정을 거친 버전과 그렇지 않은 버전 두 가지를 모두 출시하여, 이것이 얼마나 도움이 되었는지 누구나 확인할 수 있게 했습니다.

2. 뇌 구조 (아키텍처)
보통 정해진 "뇌의 힘"(파라미터)이 있을 때, 뇌를 넓게 만들거나(한 층에 많은 뉴런) 깊게(여러 층을 쌓음) 만들 수 있습니다.

발견: 팀은 "깊고 좁은" 설계(36개 층)와 "넓고 얕은" 설계(9개 층)를 비교 실험했습니다. 결과는 깊은 설계의 압승이었습니다. 이는 마치 넓고 평평한 창고를 짓는 대신 마천루를 짓는 것과 같습니다. 이 크기에서는 옆으로 넓히는 것보다 위로 쌓는 것이 더 효과적이었습니다.
안정기: 그들은 또한 특별한 "Norm-Head" 층을 추가했습니다. 로봇의 뇌가 희귀한 단어를 예측하려고 할 때 약간 어지러움을 느끼는 상황을 상상해 보세요. 이 새로운 층은 로봇이 매우 빠르게 학습할 때도 뇌를 차분하게 유지해 주는 안정 장치 역할을 합니다.

3. 학습 일정 (WSD 방식)
대부분의 로봇은 일정한 속도로 배우거나 점진적으로 속도를 줄입니다. Index-1.9B는 "Warmup–Stable–Decay"(WSD) 일정을 사용합니다.

전략: 먼저, 예열(Warmup) 단계를 거칩니다. 그다음, 도서관 전체를 읽으며 일정한 높은 속도로 학습하는 "Stable(안정)" 단계를 거칩니다. 마지막으로, "Decay(감쇠)" 단계에서는 속도를 늦추되, 가장 엄선된 최고의 책들(학술 논문과 백과사전)만을 읽도록 전환합니다.
결과: 고품질의 데이터를 읽으면서 속도를 늦추는 이 조합은 성능을 가장 크게 끌어올렸습니다.

기묘한 놀라움: "서지(Surge)"

여기는 저자들조차 아직 완전히 설명하지 못하는 부분입니다.
로봇이 일정한 속도로 읽고 있던 "Stable" 단계 중에 이상한 일이 일 발생했습니다. 1.0조에서 1.2조 토큰 사이를 읽던 중, 로봇의 테스트 점수가 갑자기 급등했습니다. 학습 속도나 데이터의 종류를 바꾸지 않았음에도 불구하고, 평균 수준에서 7B 모델들을 능가하는 수준으로 뛰어올랐습니다.

확실성: 논문은 이것이 미스터리라고 인정합니다. 그들은 아마도 고품질의 데이터와 빠른 학습률이 그 순간 딱 맞아떨어졌기 때문이라고 추측하지만, 정확히 왜 그런지는 증명하지 못했습니다. 이는 마치 학생이 선생님이 수업 계획을 바꾸지 않았는데도 특정 단원을 읽고 나서 갑자기 모든 것을 이해하게 된 것과 같습니다.

로봇의 다양한 버전들

팀은 모델 하나에 그치지 않고 하나의 가족을 출시했습니다:

Index-1.9B-Base: 무엇이든 할 준비가 된 가공되지 않은 똑똑한 뇌입니다.
Index-1.9B-Pure: 지시 사항을 전혀 읽지 않은 대조군 버전입니다. 이는 메인 모델의 "똑똑한" 점수가 정말로 그 추가적인 읽기에서 온다는 것을 입증합니다.
Index-1.9B-Chat: "직접 선호 최적화(DPO)"라는 기술을 사용하여 인간에게 친절하게 말하도록 학습된 Base 모델입니다. 이것은 로봇에게 단순히 답하는 법이 아니라, 좋은 대화와 나쁜 대화의 예시를 보여줌으로써 "잘" 대답하는 법을 가르치는 것과 같습니다.
Index-1.9B-Character: 역할극을 할 수 있는 버전입니다. 이 모델은 특정 캐릭터와의 과거 대화를 찾아내어 캐릭터를 유지하는 "검색(retrieval)" 기술을 사용합니다. 이 기능이 매우 뛰어나서 역할극 테스트에서 훨씬 더 큰 모델들을 제치고 높은 순위를 차지합니다.

할 수 있는 것 (그리고 할 수 없는 것)

승리한 부분:

지능: 수학, 추론, 일반 지식에 대한 표준 테스트에서 Index-1.9B는 평균 64.92점을 기록했습니다. 이는 몇 배나 더 큰 모델들과 경쟁하거나 때로는 그들을 능가하는 수준입니다. 구체적으로, 전체 평균 점수에서 Llama-2-13B 모델을 앞지르지만, 모든 벤치마크에서 모든 더 큰 모델을 이기는 것은 아닙니다.
언어: 중국어와 영어에 탁p합니다. 또한, 그들이 만든 토크나이저는 비교 대상인 다른 토크나이저들 중 일본어와 한국어에 대해 가장 강력한 압축률을 달성하여, 이 언어들에 효율적입니다.
역할극: 일관성 있게 캐릭터를 연기할 수 있으며, 주요 리더보드에서 종합 9위를 차지하여 많은 7B~14B 모델들을 제쳤습니다.

한계:

수학 및 코드: 준수한 수준이지만, 저자들은 이 분야가 여전히 개선이 필요한 영역임을 인정합니다. 아직 수학 천재는 아닙니다.
사실 관계: 크기가 작기 때문에 여전히 사실을 지어내거나 복잡한 지시를 오해할 수 있습니다.
미스터리: 훈련 중에 발생한 그 갑작스러운 성능 급등 말인가요? 그들은 여전히 정확한 이유를 모릅니다.

결론

이 논문은 똑똑해지기 위해 반드시 거대하고 비싼 뇌가 필요한 것은 아니라는 점을 보여줍니다. 작은 로봇에게 적절한 혼합의 고품질 서적을 먹이고, 넓게 읽기보다 깊게 읽도록 가르치며, 뇌를 위한 특별한 안정 장치를 제공한다면, 거인들과 경쟁할 수 있습니다. 또한 그들은 "지시 데이터"(명령을 따르는 법을 배우는 것)가 테스트 점수를 높이는 데 엄청난 치트키라는 것을 증명했으며, 아무도 사실을 숨길 수 없도록 그 증거를 공개했습니다.

이것은 강한 개성과 몇 가지 미해결 과제를 가진, 잠재력이 매우 큰 작은 모델입니다.

기술 요약: Index-1.9B 기술 보고서

문제 및 동기

최근 10억~30억 파라미터 규모의 소형 언어 모델(SLM)은 고품질 데이터와 컴퓨팅 최적 토큰 예산을 초과하는 학습을 통해, 과거 훨씬 더 큰 모델들이 보유했던 역량을 입증하고 있습니다. 이러한 모델들은 대규모 서비스 및 온디바이스 배포에 적합한 낮은 추론 비용이라는 장점을 제공하지만, 현재 분야에는 특정 설계 선택, 특히 학습률 스케줄, 데이터 품질, 그리고 프리트레이닝(사전 학습) 중 인스트럭션 데이터 포함 여부 간의 상호작용에 관한 투명성이 부족합니다. 본 보고서는 Bilibili에서 개발한 오픈 SLM 시리즈인 Index-1.9B를 제시하고, 이 파라미터 범위 모델들의 학습 역학을 규명하기 위한 일련의 통제된 실험을 제공함으로써 이러한 공백을 메우고자 합니다.

방법론

데이터 및 프리트레이닝

Index-1.9B 시리즈는 2.8조 개의 토큰으로 프리트레이닝되었으며, 중-영 비율은 4:5, 코드는 6%를 차지합니다. 코퍼스에는 웹 페이지, 자체 보유 데이터, 코드, 학술 논문, 그리고 큐레이션된 도메인 특화 자료(도서, 백과사전)가 포함됩니다.

데이터 클리닝: 팀은 편향 인식 필터링, 문서 수준의 중복 제거(수백억 개의 문서에 대한 MinHash 사용), 그리고 표준적인 문단 단위 중복 제거가 놓칠 수 있는 반복적인 텍ext 패턴(예: 메뉴 문자열)을 제거하기 위한 정확한 서브스트링(substring) 중복 제거를 적용했습니다.
토크나이저: 65,029의 어휘 크기를 가진 커스텀 BPE(Byte-Pair Encoding) 토크나이저를 학습시켰습니다. 주요 수정 사항으로는 중국어 서브 어휘를 별도로 학습시키되 최대 조각 길이(piece length)를 줄인 것(16에서 5로)과, 중국어 텍스트에 더 적합하도록 Llama 계열 토크나이저에서 발견되는 자동 공백 전치(whitespace prepending) 기능을 제거한 것이 있습니다.

모델 아키텍처

Index-1.9B는 디코더 전용 트랜스포머 설계를 따르며 Llama 스타일의 관례(RoPE, SwiGLU, RMSNorm)를 따르지만, 두 가지 특정 수정을 도입했습니다:

깊이(Depth): 모델은 36개 레이어(hidden size 2048, FFN size 5888, 16개 헤드)를 사용합니다. 실험 결과, 고정된 파라미터 수에서 깊이를 늘리는 것이 너비(width)를 늘리는 것보다 다운스트림 성능을 개선하는 데 효과적이었습니다.
Norm-Head: 큰 학습률 하에서도 학습을 안정화하기 위해, 출력 프로젝션 레이어(LM head)에 Norm-Head를 채택했습니다. 이는 헤드 가중치를 정규화하여 동적으로 재조정(rescale)하는 방식입니다. 이는 LM 헤드의 그래디언트가 다른 레이어보다 한 자릿수 더 커서 희귀 토큰에서 진동을 일으키는 문제를 해결합니다.

학습 레시피

학습은 Warmup–Stable–Decay (WSD) 학습률 스케줄을 따릅니다:

Stable 단계: 글로벌 데이터 혼합물로 학습하는 동안 일정한 학습률( $5 \times 10^{-4}$ )을 유지합니다.
Decay 단계: 학습률이 $5 \times 10^{-6}$ 까지 감소합니다(100배 범위). 결정적으로, 이 단계에서는 큐레이션된 데이터(고품질 도서, 논문 등)의 농도를 대폭 높입니다.
인스트럭션 데이터: 본 보고서는 인스트럭션 데이터의 영향을 명시적으로 조사합니다. 대조군인 Index-1.9B-Pure는 코퍼스에서 모든 인스트럭션 유사 데이터를 엄격히 필터링하여 학습된 반면, 메인 모델인 **Index-1.9B (Boost)**는 디케이(decay) 단계 중에 일정 비율의 인스트럭션 데이터를 포함합니다.

정렬 및 특화

Index-1.9B-Chat: 약 10만 개의 고품질 인스트럭션 쌍을 통한 지도 미세 조정(SFT)과 글쓰기, 인스트럭션 준수, 안전성에 대한 직접 선호 최적화(DPO)를 통해 정렬되었습니다. 안전성을 위해 팀은 치명적인 망각(catastrophic forgetting)을 피하고자 인간이 작성한 거절 문구 대신 스스로 생성한 거절 문구를 활용했습니다.
Index-1.9B-Character: 검색 증강 생성(RAG)을 사용하여 퓨샷(few-shot) 역할 수행을 할 수 있도록 챗 모델을 확장하였으며, 관련 캐릭터 대화를 검색하여 생성 조건으로 활용합니다.

주요 기여 및 통제 연구

모델 가중치 외에도, 본 논문의 주요 기여는 투명하고 통제된 절제 연구(ablation studies) 세트입니다:

Norm-Head 효능: Norm-Head가 학습을 안정화하고 더 높은 학습률을 허용하여 일관된 벤치마크 이득을 가져온다는 것을 입증했습니다.
깊이 vs 너비: 고정된 파라미터 수(1.01B)에서 더 깊은 모델(36 레이어)이 더 넓고 얕은 모델(9 레이어)보다 우수한 성능을 보임을 확인했습니다.
학습률 스케줄 및 데이터 품질: 서로 다른 스케줄(Cosine, Linear, WSD)이 유사한 최종 손실(loss)로 수렴하지만, 디케이 단계에서 고품질 큐레이션 데이터를 결합한 WSD 스케줄이 가장 좋은 벤치마크 점수를 낸다는 것을 보여줍니다.
인스트럭션 데이터 영향: 프리트레이닝 중 인스트럭션 데이터를 포함함으로써 발생하는 벤치마크 점수의 "인플레이션"을 정량화합니다. 연구에 따르면 디케이 단계에 단 7%의 인스트럭션 데이터를 추가하는 것만으로도 MMLU 점수를 약 7점 높일 수 있으며, 이는 리더보드 순위를 크게 변화시킵니다.
성능 급증(Performance Surge): 학습률 디케이 전, 일정한 학습률 단계 중간(1.0T와 1.2T 토큰 사이)에 발생하는 설명되지 않은 급격한 벤치마크 성능 상승을 기록했습니다.

결과

베이스 모델 성능: Index-1.9B는 6개 태스크(MMLU, C-Eval, CMMLU, HellaSwag, ARC-C, ARC-E)에서 평균 64.92의 벤치마크 점수를 달성했습니다. 이 성능은 자신보다 몇 배 더 큰 오픈 모델들과 경쟁할 만하거나 이를 능가하며(예: 평균적으로 Llama-2-13B를 능가), 유사한 1.5B–2B 모델 중에서는 Qwen2-1.5B에 의해서만 추월됩니다.
챗 모델: 정렬된 모델은 DPO를 통해 개방형 질의응답 및 글쓰기 작업에서 상당한 개선을 보였으며, 커뮤니티 포럼 코퍼스 학습 덕분에 강력한 대화 능력을 보여줍니다.
역할 수행: Index-1.B-Character는 CharacterEval 리더보드에서 9위를 차지하며, 비슷한 규모(1.9B)의 모든 모델을 능가하고 7B–14B 모델들과 경쟁합니다.
수학 및 코드: 이 분야는 개선이 필요한 영역으로, Llama-2-13B와 대등한 점수를 보이지만 특화된 대형 모델보다는 낮습니다.

의의 및 주장

저자들은 Index-1.9B가 엄격한 데이터 큐레이션, 아키텍처 조정(Norm-Head, 깊이), 그리고 최적화된 학습 스케줄(데이터 믹싱을 포함한 WSD)을 통해 소형 모델이 높은 성능을 달성할 수 있음을 보여준다고 주장합니다.

본 보고서는 투명성을 핵심 기여로 강조합니다. 표준 모델과 함께 Index-1.9B-Pure(인스트럭션 데이터 없음)를 공개하고, 인스트럭션 데이터가 벤치마크에 미치는 구체적인 영향을 상세히 밝힘으로써, 저자들은 1B–3B 파라미터 클래스에서의 비교를 더욱 정직하고 재현 가능하게 만들고자 합니다. 저자들은 프리트레이닝 중 인스트럭션 데이터의 포함이 벤치마크 점수를 인위적으로 부풀릴 수 있다는 점을 명시하며, 이는 공공 보고서에서 종종 가려지는 요소입니다.

마지막으로, 논문은 스테이블(stable) 단계에서 관찰된 "성능 급증" 현상을 향후 연구 가치가 있는 설명되지 않은 현상으로 강조하며, 고품질 데이터와 안정적인 대형 학습률의 결 조합이 디케이 단계가 시작되기 전에 모델이 강력한 성능 이정표에 도달할 수 있게 할 수 있음을 시사합니다. 모든 모델, 코드 및 평가 스크립트는 학술 및 상업적 용도로 공개됩니다.