💬 NLP

Index SLM Technical Report

Bilibili presenta Index-1.9B, una serie di piccoli modelli linguistici open caratterizzati da una base di 1,9 miliardi di parametri addestrata su 2,8 trilioni di token con uno schema specializzato Warmup-Stable-Decay e un livello Norm-Head, che raggiunge prestazioni competitive nei benchmark standard e include varianti per il pre-addestramento puro, l'allineamento della chat e il gioco di ruolo basato su personaggi.

Autori originali: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

Pubblicato 2026-07-14

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di costruire un piccolo cervello robotico super intelligente che sta in tasca. La maggior parte delle persone pensa che i cervelli più grandi siano sempre migliori, ma un team di Bilibili ha deciso di vedere se riuscivano a creare un robot da 1,9 miliardi di parametri (chiamiamolo Index-1.9B) che colpisca molto più in alto del proprio peso piuma. Non si sono limitati a rimpicciolire un modello gigante; hanno ricostruito il motore da zero usando 2,8 trilioni di parole di materiale di lettura, principalmente in cinese e inglese.

Ecco la storia di come ci sono riusciti, cosa hanno scoperto e le strane sorprese che hanno trovato lungo il percorso.

La Ricetta Segreta: Come Hanno Addestrato il Cervello

1. La Lista di Lettura (Dati)
Pensa ai dati di addestramento come alla biblioteca del robot. Non hanno semplicemente buttato dentro tutto internet. Li hanno puliti come un bibliotecario che organizza una soffitta disordinata. Hanno rimosso i duplicati (trovando persino un menu di mesi che era stato copiato 156.000 volte per errore!) e hanno filtrato i pregiudizi.

Il Mix: La biblioteca è composta principalmente da libri e pagine web, ma si sono assicurati di includere il 6% di codice e il 10% di contenuti di alta qualità come articoli accademici ed enciclopedie.
La Sorpresa: Hanno scoperto che leggere "manuali di istruzioni" (come "Scrivi una poesia" o "Risolvi questo problema di matematica") durante la fase finale dell'addestramento rendeva il robot molto più intelligente nei test. Infatti, aggiungere solo il 7% di questi dati di istruzione ha aumentato i punteggi nei test di circa 7 punti. Hanno persino rilasciato due versioni del robot — una con questa lettura extra e una senza — affinché tutti potessero vedere esattamente quanto fosse utile.

2. La Struttura del Cervello (Architettura)
Di solito, quando hai una quantità fissa di "potenza cerebrale" (parametri), puoi rendere il cervello largo (molti neuroni in uno strato) o profondo (molti strati sovrapposti).

La Scoperta: Il team ha provato un design "profondo e stretto" (36 strati) rispetto a uno "largo e poco profondo" (9 strati). Il profondo ha vinto ogni volta. È come costruire un grattacielo invece di un magazzino largo e piatto; per questa dimensione, andare verso l'alto ha funzionato meglio che andare verso l'esterno.
Il Stabilizzatore: Hanno anche aggiunto uno speciale strato "Norm-Head". Immagina il cervello del robot che diventa un po' stordito quando prova a indovinare la parola successiva perché alcune parole sono rare. Questo nuovo strato agisce come uno stabilizzatore, mantenendo il cervello calmo anche quando il robot impara super velocemente.

3. Il Programma di Apprendimento (Il Metodo "WSD")
La maggior parte dei robot impara a un ritmo costante o rallenta gradualmente. Index-1.9B usa uno schema "Warmup–Stable–Decay" (Riscaldamento–Stabile–Decadimento).

La Strategia: Prima, si scalda. Poi, impara a una velocità costante e alta (la fase "Stable") leggendo l'intera biblioteca. Infine, nella fase "Decay", rallenta ma passa a leggere solo i libri migliori e più curati (gli articoli accademici e le enciclopedie).
Il Risultato: Questa combinazione di rallentare mentre si leggono dati di alta qualità gli ha dato la maggiore spinta nelle prestazioni.

La Strana Sorpresa: Lo "Slancio" (Surge)

Ecco la parte che nemmeno gli autori riescono ancora a spiegare completamente.
Durante la fase "Stable", quando il robot stava leggendo a una velocità costante, è successo qualcosa di strano. Tra 1,0 e 1,2 trilioni di token di lettura, il punteggio nei test del robot è improvvisamente balzato in alto. È passato dall'essere mediocre a superare diversi modelli da 7B, senza cambiare la velocità di apprendimento o il tipo di dati.

La Certezza: Il documento ammette che questo è un mistero. Suggeriscono che forse i dati di alta qualità combinati con l'alto tasso di apprendimento abbiano semplicemente "cliccato" in quel momento, ma non lo hanno provato esattamente perché. È come uno studente che improvvisamente capisce tutto dopo aver letto un capitolo specifico, anche se l'insegnante non ha cambiato la lezione.

Le Diverse Versioni del Robot

Il team non si è fermato a un solo modello. Ha rilasciato un'intera famiglia:

Index-1.9B-Base: Il cervello grezzo e intelligente, pronto per tutto.
Index-1.9B-Pure: Una versione di controllo che non ha mai letto manuali di istruzioni. Questo dimostra che i punteggi "intelligenti" del modello principale derivano davvero da quella lettura extra.
Index-1.9B-Chat: Il modello Base istruito per parlare gentilmente con gli umani, usando una tecnica chiamata "Direct Preference Optimization" (DPO). Questo è come insegnare al robot non solo a rispondere, ma a rispondere bene, mostrandogli esempi di buone contro cattive conversazioni.
Index-1.9B-Character: Una versione che può interpretare ruoli. Utilizza un trucco di "recupero" (retrieval), dove consulta le conversazioni passate con un personaggio specifico per rimanere nel personaggio. È così bravo in questo che si posiziona più in alto di molti modelli molto più grandi nei test di role-playing.

Cosa Può (e Non Può) Fare

I Successi:

Intelligenza: Nei test standard di matematica, ragionamento e cultura generale, Index-1.9B ottiene una media di 64,92. È competitivo con, e a volte batte, modelli che sono diverse volte più grandi. Nello specifico, supera il modello Llama-2-13B nel punteggio medio complessivo, anche se non batte ogni singolo benchmark contro ogni modello più grande.
Linguaggio: È ottimo in cinese e inglese. Inoltre, il tokenizer che hanno costruito per il modello raggiunge i tassi di compressione più forti per il giapponese e il coreano tra i tokenizer che hanno confrontato, rendendolo efficiente per queste lingue.
Role-Playing: Può interpretare personaggi con alta coerenza, posizionandosi al 9° posto complessivo in una importante classifica, superando molti modelli da 7B a 14B.

I Limiti:

Matematica e Codice: Sebbene sia discreto, gli autori ammettono che questi sono ancora settori da migliorare. Non è ancora un genio della matematica.
Fatti: Poiché è piccolo, potrebbe ancora inventare fatti o fraintendere istruzioni complesse.
Il Mistero: Quel improvviso salto di prestazioni durante l'addestramento? Non sanno ancora esattamente perché è accaduto.

Conclusione

Il documento dimostra che non serve un cervello enorme e costoso per essere intelligenti. Se dai a un piccolo robot il giusto mix di libri di alta qualità, lo insegni a leggere in profondità piuttosto che in modo ampio e gli dai uno speciale stabilizzatore per il suo cervello, può competere con i giganti. Hanno anche dimostrato che i "dati di istruzione" (imparare a seguire gli ordini) sono un enorme trucco per i punteggi nei test, e hanno rilasciato le prove affinché nessuno possa nascondere il fatto che funzionano.

È un modello piccolo con una grande personalità, alcune domande aperte e un sacco di potenziale.

Riepilogo Tecnico: Rapporto Tecnico di Index-1.9B

Problema e Motivazione

I Small Language Models (SLM) con 1–3 miliardi di parametri hanno recentemente dimostrato capacità precedentemente riservate a modelli molto più grandi, grazie a dati di maggiore qualità e un addestramento che va oltre i budget di calcolo ottimali per il numero di token. Sebbene questi modelli offrano il vantaggio di costi di inferenza contenuti, adatti a un deployment su larga scala e su dispositivi, il settore manca di trasparenza riguardo alle specifiche scelte di progettazione, in particolare per quanto riguarda l'interazione tra gli schemi del tasso di apprendimento (learning-rate), la qualità dei dati e l'inclusi dei dati di istruzione durante il pre-addestramento. Questo rapporto affronta tali lacune presentando Index-1.9B, una serie di SLM open sviluppati da Bilibili, e fornendo una suite di esperimenti controllati per demistificare la dinamica di addestramento dei modelli in questo intervallo di parametri.

Metodologia

Dati e Pre-addestramento

La serie Index-1.9B è pre-addestrata su 2,8 trilioni di token, con un rapporto cinese-inglese di 4:5 e il 6% di codice. Il corpus include pagine web, dati interni, codice, articoli accademici e materiali curati specifici per dominio (libri, enciclopedie).

Pulizia dei Dati: Il team ha impiegato un filtraggio consapevole dei bias, la deduplicazione a livello di documento (utilizzando MinHash su decine di miliardi di documenti) e la deduplicazione esatta di sottostringhe per rimuovere pattern testuali ripetitivi (ad es. stringhe di menu) che la deduplicazione standard a livello di paragrafo non riesce a intercettare.
Tokenizer: È stato addestrato un tokenizer custom Byte-Pair Encoding (BPE) con una dimensione del vocabolario di 65.029. Le modifiche chiave includono l'addestramento separato del sottovocabolario cinese con una lunghezza massima dei pezzi ridotta (5 invece di 16) e la rimozione dell'aggiunta automatica di spazi bianchi tipica dei tokenizer della famiglia Llama, per adattarsi meglio al testo cinese.

Architettura del Modello

Index-1.9B segue un design Transformer decoder-only con convenzioni stile Llama (RoPE, SwiGLU, RMSNorm), ma introduce due modifiche specifiche:

Profondità: Il modello utilizza 36 strati (dimensione nascosta 2048, dimensione FFN 5888, 16 teste). Gli esperimenti hanno indicato che, a un numero fisso di parametri, aumentare la profondità migliora le prestazioni nei task downstream più di quanto faccia aumentare la larghezza.
Norm-Head: Per stabilizzare l'addestramento sotto tassi di apprendimento elevati, lo strato di proiezione di output (LM head) utilizza Norm-Head, che normalizza i pesi delle teste per riscalarli dinamicamente. Ciò affronta il problema per cui il gradiente dell'LM head è di un ordine di grandezza superiore rispetto agli altri strati, causando oscillazioni sui token rari.

Ricetta di Addestramento

L'addestramento segue uno schema di tasso di apprendimento Warmup–Stable–Decay (WSD):

Fase Stable: Un tasso di apprendimento costante ( $5 \times 10^{-4}$ ) viene mantenuto durante l'addestramento sulla miscela globale di dati.
Fase Decay: Il tasso di apprendimento decade a $5 \times 10^{-6}$ (un intervallo di 100x). Fondamentalmente, durante questa fase, la concentrazione di dati curati (libri di alta qualità, paper, ecc.) è aumentata sostanzialmente.
Dati di Istruzione: Il rapporto investiga esplicitamente l'impatto dei dati di istruzione. Una variante di controllo, Index-1.9B-Pure, è addestrata con tutti i dati simili a istruzioni rigorosamente filtrati dal corpus, mentre l'Index-1.9B principale (Boost) include una proporzione di dati di istruzione durante la fase di decay.

Allineamento e Specializzazione

Index-1.9B-Chat: Allineato tramite Supervised Fine-Tuning (SFT) su circa 100k coppie di istruzioni di alta qualità, seguito da Direct Preference Optimization (DPO) su scrittura, rispetto delle istruzioni e sicurezza. Per la sicurezza, il team ha utilizzato rifiuti auto-generati anziché scritti da umani per evitare l'oblio catastrofico.
Index-1.9B-Character: Estende il modello chat con la Generazione Aumentata da Recupero (RAG) per il role-playing few-shot, recuperando dialoghi di personaggi rilevanti per condizionare la generazione.

Contributi Chiave e Studi Controllati

Oltre ai pesi del modello, il contributo principale del paper è un insieme di studi di ablazione trasparenti e controllati:

Efficacia di Norm-Head: Dimostra che Norm-Head stabilizza l'addestramento e permette tassi di apprendimento più elevati, producendo guadagni costanti nei benchmark.
Profondità vs Larghezza: Conferma che, per un numero fisso di parametri (1.01B), un modello più profondo (36 strati) supera un corrispondente più largo e meno profondo (9 strati).
Schemi del Tasso di Apprendimento e Qualità dei Dati: Mostra che, sebbene diversi schemi (Cosine, Linear, WSD) convergano verso loss finali simili, lo schema WSD combinato con dati curati ad alta qualità durante la fase di decay produce i migliori punteggi nei benchmark.
Impatto dei Dati di Istruzione: Quantifica l'"inflazione" dei punteggi nei benchmark causata dall'inclusione di dati di istruzione durante il pre-addestramento. Lo studio rivela che l'aggiunta di appena il 7% di dati di istruzione durante la fase di decay può aumentare i punteggi MMLU di circa 7 punti, alterando significativamente le classifiche nelle leaderboard.
Picco di Performance: Documenta un aumento improvviso e inspiegabile delle prestazioni nei benchmark (C-Eval e MMLU) avvenuto a metà della fase a tasso di apprendimento costante (tra 1.0T e 1.2T token), prima di qualsiasi decay del tasso di apprendimento.

Risultati

Performance del Modello Base: Index-1.9B raggiunge un punteggio medio nei benchmark di 64.92 su sei task (MMLU, C-Eval, CMMLU, HellaSwag, ARC-C, ARC-E). Questa performance è competitiva o superiore ai modelli open di diverse volte la sua dimensione (ad esempio, supera la media di Llama-2-13B) ed è superata solo da Qwen2-1.5B tra i modelli comparabili nella fascia 1.5B–2B.
Modello Chat: Il modello allineato mostra miglioramenti significativi nei compiti di QA aperti e di scrittura tramite DPO, con un forte comportamento conversazionale attribuito al pre-addestramento su corpora di forum della community.
Role-Playing: Index-1.9B-Character si posiziona al nono posto nella leaderboard di CharacterEval, superando tutti gli altri modelli di scala comparabile (1.9B) e competendo con modelli da 7B–14B.
Matematica e Codice: Queste rimangono aree di miglioramento, con punteggi in linea con Llama-2-13B ma inferiori rispetto a modelli specializzati più grandi.

Significato e Rivendicazioni

Gli autori affermano che Index-1.9B dimostra che i piccoli modelli possono raggiungere alte prestazioni attraverso una rigorosa cura dei dati, aggiustamenti architettonici (Norm-Head, profondità) e schemi di addestramento ottimizzati (WSD con miscelazione dei dati).

Il rapporto enfatizza la trasparenza come contributo fondamentale. Rilasciando l'Index-1.9B-Pure (senza dati di istruzione) insieme al modello standard, e dettagliando l'impatto specifico dei dati di istruzione sui benchmark, gli autori mirano a rendere i confronti nella classe di parametri 1B–3B più onesti e riproducibili. Notano esplicitamente che l'inclusione di dati di istruzione durante il pre-addestramento può gonfiare artificialmente i punteggi dei benchmark, un fattore spesso oscurato nei report pubblici.

Infine, il paper evidenzia il "picco di performance" osservato durante la fase stabile come un fenomeno inspiegato degno di futura investigazione, suggerendo che l'unione di dati di alta qualità con tassi di apprendimento stabili e elevati possa permettere ai modelli di raggiungere traguardi di performance solidi prima ancora che inizi la fase di decay. Tutti i modelli, il codice e gli script di valutazione sono rilasciati per uso accademico e commerciale.