💬 NLP

Index SLM Technical Report

A Bilibili apresenta o Index-1.9B, uma série de pequenos modelos de linguagem abertos apresentando uma base de 1,9 bilhão de parâmetros treinada com 2,8 trilhões de tokens com um cronograma especializado de Warmup-Stable-Decay e uma camada Norm-Head, que alcança um desempenho competitivo em benchmarks padrão e inclui variantes para pré-treinamento puro, alinhamento de chat e interpretação de personagens baseada em caracteres.

Autores originais: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

Publicado 2026-07-14

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está construindo um cérebro de robô minúsculo e superinteligente que cabe no seu bolso. A maioria das pessoas pensa que cérebros maiores são sempre melhores, mas uma equipe da Bilibili decidiu ver se conseguia criar um robô de 1,9 bilhão de parâmetros (vamos chamá-lo de Index-1.9B) que desse socos muito acima de sua categoria de peso. Eles não apenas encolheram um modelo gigante; eles reconstruíram o motor do zero usando 2,8 trilhões de palavras de material de leitura, principalmente em chinês e inglês.

Aqui está a história de como eles fizeram isso, o que descobriram e as surpresas estranhas que encontraram pelo caminho.

O Ingrediente Secreto: Como Eles Treinaram o Cérebro

1. A Lista de Leitura (Dados)
Pense nos dados de treinamento como a biblioteca do robô. Eles não apenas despejaram toda a internet ali. Eles os limparam como um bibliotecário organizando um sótão bagunçado. Eles removeram duplicatas (encontrando até um menu de meses que foi copiado 156.000 vezes por erro!) e filtraram preconceitos.

A Mistura: A biblioteca é composta principalmente de livros e páginas da web, mas eles garantiram a inclusão de 6% de código e 10% de conteúdo de alta qualidade, como artigos acadêmicos e enciclopédias.
A Surpresa: Eles descobriram que ler "manuais de instrução" (como "Escreva um poema" ou "Resolva este problema matemático") durante a fase final do treinamento tornou o robô muito mais inteligente em testes. Na verdade, adicionar apenas 7% desses dados de instrução aumentou as pontuações de teste em cerca de 7 pontos. Eles até lançaram duas versões do robô — uma com essa leitura extra e outra sem — para que todos pudessem ver exatamente o quanto isso ajudou.

2. A Estrutura do Cérebro (Arquitetura)
Normalmente, quando você tem uma quantidade fixa de "poder cerebral" (parâmetros), você pode tornar o cérebro largo (muitos neurônios em uma camada) ou profundo (muitas camadas empilhadas).

A Descoberta: A equipe testou um design "profundo e estreito" (36 camadas) versus um "largo e raso" (9 camadas). O profundo venceu todas as vezes. É como construir um arranha-céu em vez de um armazém largo e plano; para este tamanho, subir funcionou melhor do que expandir para os lados.
O Estabilizador: Eles também adicionaram uma camada especial de "Norm-Head". Imagine o cérebro do robô ficando um pouco tonto quando tenta adivinhar a próxima palavra porque algumas palavras são raras. Esta nova camada atua como um estabilizador, mantendo o cérebro calmo mesmo quando o robô está aprendendo super rápido.

3. O Cronograma de Aprendizado (O Método "WSD")
A maioria dos robôs aprende em um ritmo constante ou desacelera gradualmente. O Index-1.9B usa um cronograma "Warmup–Stable–Decay" (Aquecimento–Estável–Decaimento).

A Estratégia: Primeiro, ele aquece. Depois, ele aprende em uma velocidade constante e alta (a fase "Estável") enquanto lê toda a biblioteca. Finalmente, na fase de "Decaimento", ele desacelera, mas passa a ler apenas os melhores livros curados (os artigos acadêmicos e enciclopédias).
O Resultado: Essa combinação de desacelerar enquanto lê dados de alta qualidade deu a ele o maior impulso de desempenho.

A Surpresa Estranha: O "Surto"

Aqui está a parte que nem mesmo os autores conseguem explicar totalmente ainda.
Durante a fase "Estável", quando o robô estava lendo em uma velocidade constante, algo estranho aconteceu. Entre 1,0 e 1,2 trilhão de tokens de leitura, as pontuações de teste do robô deram um salto repentino. Ele passou de mediano para superar vários modelos de 7B, sem mudar a velocidade de aprendizado ou o tipo de dado.

A Certeza: O artigo admite que isso é um mistério. Eles sgetem que talvez os dados de alta qualidade combinados com a taxa de aprendizado rápida tenham simplesmente "clicado" naquele momento, mas não provaram exatamente o porquê. É como um aluno que subitamente entende tudo após ler um capítulo específico, mesmo que o professor não tenha mudado o plano de aula.

As Diferentes Versões do Robô

A equipe não parou em apenas um modelo. Eles lançaram uma família inteira:

Index-1.9B-Base: O cérebro bruto e inteligente, pronto para qualquer coisa.
Index-1.9B-Pure: Uma versão de controle que nunca leu manuais de instrução. Isso prova que as pontuações "inteligentes" do modelo principal realmente vêm dessa leitura extra.
Index-1.9B-Chat: O modelo Base ensinado a conversar gentilmente com humanos, usando uma técnica chamada "Otimização de Preferência Direta" (DPO). Isso é como ensinar o robô não apenas a responder, mas a responder bem, mostrando a ele exemplos de conversas boas vs. ruins.
Index-1.9B-Character: Uma versão que pode fazer interpretação de personagens (role-play). Ela usa um truque de "recuperação" (retrieval), onde busca conversas passadas com um personagem específico para manter a consistência do personagem. É tão boa nisso que ocupa o 9º lugar geral em testes de interpretação de personagens, superando muitos modelos muito maiores.

O Que Ele Pode (e Não Pode) Fazer

As Vitórias:

Inteligência: Em testes padrão de matemática, raciocínio e conhecimento geral, o Index-1.9B pontua uma média de 64,92. Isso é competitivo com, e às vezes supera, modelos que são várias vezes maiores. Especificamente, ele supera o modelo Llama-2-13B na pontuação média geral, embora não vença todos os benchmarks contra todos os modelos maiores.
Linguagem: É ótimo em chinês e inglês. Além disso, o tokenizador que eles construíram para o modelo alcança as taxas de compressão mais fortes para japonês e coreano entre os tokenizadores que compararam, tornando-o eficiente para esses idiomas.
Interpretação de Personagens: Pode interpretar personagens com alta consistência, ocupando o 9º lugar geral em um grande ranking, superando muitos modelos de 7B a 14B.

Os Limites:

Matemática e Código: Embora seja decente, os autores admitem que estas ainda são áreas de melhoria. Ele ainda não é um gênio da matemática.
Fatos: Por ser pequeno, ele ainda pode inventar fatos ou entender mal instruções complexas.
O Mistério: Aquele salto repentino de desempenho durante o treinamento? Eles ainda não sabem exatamente o porquê.

O Veredito Final

O artigo mostra que você não precisa de um cérebro massivo e caro para ser inteligente. Se você alimentar um robô pequeno com a mistura certa de livros de alta qualidade, ensiná-lo a ler profundamente em vez de amplamente e der a ele um estabilizador especial para o seu cérebro, ele pode competir com gigantes. Eles também provaram que "dados de instrução" (aprender a seguir ordens) são um enorme "cheat code" para pontuações de teste, e lançaram as evidências para que ninguém possa esconder o fato de que isso funciona.

É um modelo pequeno com uma grande personalidade, algumas perguntas em aberto e um potencial enorme.

Resumo Técnico: Relatório Técnico do Index-1.9B

Problema e Motivação

Os Pequenos Modelos de Linguagem (SLMs) com 1 a 3 bilhões de parâmetros demonstraram recentemente capacidades anteriormente reservadas a modelos muito maiores, impulsionadas por dados de maior qualidade e treinamento além dos orçamentos de tokens computacionalmente ótimos. Embora esses modelos ofereçam a vantagem de custos de inferência modestos, adequados para implantação em larga escala e em dispositivos, o campo carece de transparência em relação a escolhas de design específicas, particularmente no que diz respeito à interação entre cronogramas de taxa de aprendizado, qualidade de dados e a inclusão de dados de instrução durante o pré-treinamento. Este relatório aborda essas lacunas apresentando o Index-1.9B, uma série de SLMs abertos desenvolvidos pela Bilibili, e fornecendo um conjunto de experimentos controlados para desmistificar a dinâmica de treinamento de modelos nesta faixa de parâmetros.

Metodologia

Dados e Pré-treinamento

A série Index-1.9B é pré-treinada em 2,8 trilhões de tokens, com uma proporção Chinês-para-Inglês de 4:5 e 6% de código. O corpus inclui páginas da web, dados internos, código, artigos acadêmicos e materiais curados de domínios específicos (livros, enciclopédias).

Limpeza de Dados: A equipe empregou filtragem consciente de vieses, deduplicação em nível de documento (usando MinHash em dezenas de bilhões de documentos) e deduplicação de substring exata para remover padrões de texto repetitivos (ex: strings de menus) que a deduplicação padrão de nível de parágrafo não detecta.
Tokenizador: Um tokenizador Byte-Pair Encoding (BPE) customizado foi treinado com um tamanho de vocabulário de 65.029. As modificações principais incluem o treinamento do sub-vocabulário chinês separadamente com um comprimento máximo de peça reduzido (5 vs. 16) e a remoção do preenchimento automático de espaços em branco encontrado nos tokenizadores da família Llama para melhor se adequar ao texto chinês.

Arquitetura do Modelo

O Index-1.9B segue um design Transformer de decodificador único com convenções estilo Llama (RoPE, SwiGLU, RMSNorm), mas introduz duas modificações específicas:

Profundidade: O modelo utiliza 36 camadas (tamanho oculto 2048, tamanho FFN 5888, 16 cabeças). Experimentos indicaram que, em um número fixo de parâmetros, aumentar a profundidade melhora o desempenho downstream mais do que aumentar a largura.
Norm-Head: Para estabilizar o treinamento sob taxas de aprendizado elevadas, a camada de projeção de saída (LM head) emprega Norm-Head, que normaliza os pesos das cabeças para reescalá-las dinamicamente. Isso aborda o problema onde o gradiente da LM head é uma ordem de magnitude maior do que outras camadas, causando oscilação em tokens raros.

Receita de Treinamento

O treinamento segue um cronograma de taxa de aprendizado Warmup–Stable–Decay (WSD):

Fase Estável (Stable Phase): Uma taxa de aprendizado constante ( $5 \times 10^{-4}$ ) é mantida enquanto o treinamento ocorre no mix global de dados.
Fase de Decaimento (Decay Phase): A taxa de aprendizado decai para $5 \times 10^{-6}$ (uma faixa de 100x). Crucialmente, durante esta fase, a concentração de dados curados (livros de alta qualidade, artigos, etc.) é substancialmente elevada.
Dados de Instrução: O relatório investiga explicitamente o impacto de dados de instrução. Uma variante de controle, Index-1.9B-Pure, é treinada com todos os dados do tipo instrução estritamente filtrados do corpus, enquanto o Index-1.9B principal (Boost) inclui uma proporção de dados de instrução durante a fase de decaimento.

Alinhamento e Especialização

Index-1.9B-Chat: Alinhado via Ajuste Fino Supervisionado (SFT) em aproximadamente 100 mil pares de instruções de alta qualidade, seguido de Otimização de Preferência Direta (DPO) em escrita, seguimento de instruções e segurança. Para segurança, a equipe utilizou recusas autogeradas em vez de humanas para evitar o esquecimento catastrófico.
Index-1.9B-Character: Estende o modelo de chat com Geração Aumentada de Recuperação (RAG) para role-playing de poucos disparos (few-shot), recuperando diálogos de personagens relevantes para condicionar a geração.

Principais Contribuições e Estudos Controlados

Além dos pesos do modelo, a principal contribuição do artigo é um conjunto de estudos de ablação controlados e transparentes:

Eficácia do Norm-Head: Demonstra que o Norm-Head estabiliza o treinamento e permite taxas de aprendizado mais altas, gerando ganhos consistentes em benchmarks.
Profundidade vs. Largura: Confirma que, para um número fixo de parâmetros (1.01B), um modelo mais profundo (36 camadas) supera um contraparte mais largo e raso (9 camadas).
Cronogramas de Taxa de Aprendizado e Qualidade de Dados: Mostra que, embora diferentes cronogramas (Cosine, Linear, WSD) convirjam para perdas finais semelhantes, o cronograma WSD combinado com dados curados de alta qualidade durante a fase de decaimento produz as melhores pontuações em benchmarks.
Impacto dos Dados de Instrução: Quantifica a "inflação" das pontuações de benchmark causada pela inclusão de dados de instrução durante o pré-treinamento. O estudo revela que adicionar apenas 7% de dados de instrução durante a fase de decaimento pode aumentar as pontuações do MMLU em aproximadamente 7 pontos, alterando significativamente os rankings de leaderboards.
Surto de Desempenho: Documenta um surto abrupto e inexplicável no desempenho de benchmarks (C-Eval e MMLU) ocorrendo no meio da fase de taxa de aprendizado constante (entre 1.0T e 1.2T de tokens), antes de qualquer decaimento da taxa de aprendizado.

Resultados

Desempenho do Modelo Base: O Index-1.9B alcança uma pontuação média de benchmark de 64,92 em seis tarefas (MMLU, C-Eval, CMMLU, HellaSwag, ARC-C, ARC-E). Este desempenho é competitivo ou supera modelos abertos várias vezes maiores (ex: superando o Llama-2-13B em média) e é superado apenas pelo Qwen2-1.5B entre modelos comparáveis de 1.5B–2B.
Modelo Chat: O modelo alinhado mostra melhorias significativas em tarefas de QA de texto aberto e escrita via DPO, com um forte comportamento conversacional atribuído ao pré-treinamento em corpora de fóruns de comunidade.
Role-Playing: O Index-1.9B-Character ocupa o nono lugar no leaderboard CharacterEval, superando todos os outros modelos de escala comparável (1.9B) e competindo com modelos de 7B–14B.
Matemática e Código: Estas permanecem áreas de melhoria, com pontuações equivalentes ao Llama-2-13B, mas inferiores a modelos maiores especializados.

Significância e Alegações

Os autores afirmam que o Index-1.9B demonstra que pequenos modelos podem alcançar alto desempenho através de curadoria rigorosa de dados, ajustes arquiteturais (Norm-Head, profundidade) e cronogramas de treinamento otimizados (WSD com mistura de dados).

O relatório enfatiza a transparência como uma contribuição central. Ao lançar o Index-1.9B-Pure (sem dados de instrução) junto com o modelo padrão, e ao detalhar o impacto específico dos dados de instrução nos benchmarks, os autores visam tornar as comparações na classe de parâmetros 1B–3B mais honestas e reproduzíveis. Eles observam explicitamente que a inclusão de dados de instrução durante o pré-treinamento pode inflar artificialmente as pontuações de benchmarks, um fator frequentemente ocultado em relatórios públicos.

Finalmente, o artigo destaca o "surto de desempenho" observado durante a fase estável como um fenômeno inexplicável digno de investigação futura, sugerindo que dados de alta qualidade combinados com taxas de aprendizado estáveis e grandes podem permitir que os modelos alcancem marcos de desempenho fortes antes mesmo da fase de decaimento. Todos os modelos, códigos e scripts de avaliação são liberados para uso acadêmico e comercial.