💬 NLP

Index SLM Technical Report

Bilibili presenta Index-1.9B, una serie de modelos de lenguaje pequeños y abiertos que cuentan con una base de 1.9 mil millones de parámetros entrenada con 2.8 billones de tokens con un esquema especializado de Warmup-Stable-Decay y una capa Norm-Head, la cual logra un rendimiento competitivo en evaluaciones estándar e incluye variantes para preentrenamiento puro, alineación de chat y juego de roles basado en personajes.

Autores originales: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Lusheng Zhang, Shien He, Tianxing Yan, Mengran Yu, Ziang Cui, Kai Zhao, Xiaojing Liu, Tianjiao Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás construyendo un cerebro robótico diminuto, superinteligente, que cabe en tu bolsillo. La mayoría de la gente piensa que los cerebros más grandes siempre son mejores, pero un equipo en Bilibili decidió ver si podían crear un robot de 1.900 millones de parámetros (llamémoslo Index-1.9B) que diera la talla muy por encima de su peso. No se limitaron a encoger un modelo gigante; reconstruyeron el motor desde cero utilizando 2,8 billones de palabras de material de lectura, principalmente en chino e inglés.

Esta es la historia de cómo lo hicieron, qué descubrieron y las extrañas sorpresas que encontraron en el camino.

La receta secreta: Cómo entrenaron el cerebro

1. La lista de lectura (Datos)
Piensa en los datos de entrenamiento como la biblioteca del robot. No simplemente volcaron todo el internet ahí. Lo limpiaron como un bibliotecario organizando un desván desordenado. Eliminaron duplicados (¡incluso encontraron un menú de meses del año que se había copiado 156.000 veces por error!) y filtraron los sesgos.

La mezcla: La biblioteca es principalmente libros y páginas web, pero se aseguraron de incluir un 6% de código y un 10% de contenido de alta calidad como artículos académicos y enciclopedias.
La sorpresa: Descubrieron que leer "manuales de instrucciones" (como "Escribe un poema" o "Resuelve este problema matemático") durante la etapa final del entrenamiento hizo que el robot pareciera mucho más inteligente en las pruebas. De hecho, añadir solo un 7% de estos datos de instrucción aumentó sus puntuaciones en los exámenes en unos 7 puntos. Incluso lanzaron dos versiones del robot —una con esta lectura adicional y otra sin ella— para que todos pudieran ver exactamente cuánto ayudó.

2. La estructura del cerebro (Arquitectura)
Normalmente, cuando tienes una cantidad fija de "potencia cerebral" (parámetros), puedes hacer el cerebro ancho (muchas neuronas en una capa) o profundo (muchas capas apiladas).

El hallazgo: El equipo probó un diseño "profundo y estrecho" (36 capas) frente a uno "ancho y superficial" (9 capas). El profundo ganó en todas las ocasiones. Es como construir un rascacielos en lugar de un almacén ancho y plano; para este tamaño, ir hacia arriba funcionó mejor que hacia los lados.
El estabilizador: También añadieron una capa especial llamada "Norm-Head". Imagina que el cerebro del robot se marea un poco cuando intenta adivinar la siguiente palabra porque algunas palabras son raras. Esta nueva capa actúa como un estabilizador, manteniendo el cerebro tranquilo incluso cuando el robot está aprendiendo muy rápido.

3. El programa de aprendizaje (El método "WSD")
La mayoría de los robots aprenden a un ritmo constante o desaceleran gradualmente. Index-1.9B utiliza un programa de "Calentamiento–Estable–Decaimiento" (WSD, por sus siglas en inglés).

La estrategia: Primero, se calienta. Luego, aprende a una velocidad constante y alta (la fase "Estable") mientras lee toda la biblioteca. Finalmente, en la fase de "Decaimiento", se ralentiza pero cambia a leer solo los mejores libros curados (los artículos académicos y las enciclopedias).
El resultado: Esta combinación de ralentizarse mientras lee datos de alta calidad le dio el mayor impulso en su rendimiento.

La extraña sorpresa: El "Salto"

Aquí está la parte que incluso los autores aún no pueden explicar del todo.
Durante la fase "Estable", cuando el robot estaba leyendo a una velocidad constante, algo extraño sucedió. Entre los 1,0 y los 1,2 billones de tokens de lectura, las puntuaciones de las pruebas del robot dieron un salto repentino. Pasó de ser promedio a superar a varios modelos de 7B, sin cambiar la velocidad de aprendizaje ni el tipo de datos.

La certeza: El artículo admite que esto es un misterio. Sugieren que tal vez la combinación de los datos de alta calidad con la alta velocidad de aprendizaje simplemente "encajó" en ese momento, pero no han probado exactamente por qué. Es como si un estudiante de repente entendiera todo tras leer un capítulo específico, aunque el profesor no haya cambiado la lección.

Las diferentes versiones del robot

El equipo no se detuvo en un solo modelo. Lanzaron toda una familia:

Index-1.9B-Base: El cerebro puro y listo para cualquier cosa.
Index-1.9B-Pure: Una versión de control que nunca leyó manuales de instrucciones. Esto demuestra que las puntuaciones "inteligentes" del modelo principal realmente provienen de esa lectura adicional.
Index-1.9B-Chat: El modelo Base enseñado a hablar amablemente con los humanos, utilizando una técnica llamada "Optimización de Preferencia Directa" (DPO). Esto es como enseñarle al robot no solo a responder, sino a responder bien, mostrándole ejemplos de buenas frente a malas conversaciones.
Index-1.9B-Character: Una versión que puede realizar juegos de rol. Utiliza un truco de "recuperación", donde consulta conversaciones pasadas con un personaje específico para mantener su personalidad. Es tan bueno en esto que clasifica por encima de muchos modelos mucho más grandes en pruebas de juego de rol.

Lo que puede (y no puede) hacer

Los triunfos:

Inteligencia: En pruebas estándar de matemáticas, razonamiento y conocimiento general, Index-1.9B obtiene un promedio de 64,92. Esto es competitivo con, y a veces supera a, modelos que son varias veces más grandes. Específicamente, supera al modelo Llama-2-13B en la puntuación media general, aunque no vence a todos los modelos en cada benchmark contra todos los modelos más grandes.
Lenguaje: Es excelente en chino e inglés. Además, el tokenizador que construyeron para el modelo logra las tasas de compresión más fuertes para japonés y coreano entre los tokenizadores que compararon, lo que lo hace eficiente para estos idiomas.
Juego de rol: Puede interpretar personajes con alta consistencia, ocupando el 9º lugar general en una importante tabla de clasificación, superando a muchos modelos de 7B a 14B.

Los límites:

Matemáticas y código: Aunque es decente, los autores admiten que estas siguen siendo áreas de mejora. No es un genio de las matemáticas todavía.
Hechos: Debido a que es pequeño, todavía puede inventar hechos o malinterpretar instrucciones complejas.
El misterio: ¿Ese repentino salto de rendimiento durante el entrenamiento? Todavía no saben exactamente por qué ocurrió.

La conclusión

El artículo demuestra que no necesitas un cerebro masivo y costoso para ser inteligente. Si alimentas a un robot pequeño con la mezcla adecuada de libros de alta calidad, le enseñas a leer profundamente en lugar de ampliamente, y le das un estabilizador especial para su cerebro, puede competir con los gigantes. También demostraron que los "datos de instrucción" (aprender a seguir órdenes) son un gran "truco de trampa" para las puntuaciones en los exámenes, y lanzaron la evidencia para que nadie pueda ocultar el hecho de que así es.

Es un modelo pequeño con una gran personalidad, algunas preguntas abiertas y un gran potencial.

Resumen Técnico: Informe Técnico de Index-1.9B

Problema y Motivación

Los Modelos de Lenguaje Pequeños (SLM) con 1 a 3 mil millones de parámetros han demostrado recientemente capacidades que antes estaban reservadas para modelos mucho más grandes, impulsadas por datos de mayor calidad y un entrenamiento que va más allá de los presupuestos de tokens óptimos de cómputo. Si bien estos modelos ofrecen la ventaja de costos de inferencia modestos adecuados para el despliegue a gran escala y en dispositivos, el campo carece de transparencia respecto a las elecciones de diseño específicas, particularmente en lo que respecta a la interacción entre los esquemas de tasa de aprendizaje, la calidad de los datos y la inclusión de datos de instrucción durante el preentrenamiento. Este informe aborda estas brechas presentando Index-1.9B, una serie de SLM abiertos desarrollados en Bilibili, y proporcionando un conjunto de experimentos controlados para desmitificar la dinámica de entrenamiento de los modelos en este rango de parámetros.

Metodología

Datos y Preentrenamiento

La serie Index-1.9B es preentrenada con 2.8 billones de tokens, con una relación chino-inglés de 4:5 y un 6% de código. El corpus incluye páginas web, datos propios, código, artículos académicos y materiales curados de dominios específicos (libros, enciclopedias).

Limpieza de Datos: El equipo empleó filtrado consciente del sesgo, deduplicación a nivel de documento (usando MinHash en decenas de miles de millones de documentos) y deduplicación de subcadenas exactas para eliminar patrones de texto repetitivos (por ejemplo, cadenas de menús) que la deduplicación estándar a nivel de párrafo no detecta.
Tokenizador: Se entrenó un tokenizador de Codificación de Pares de Bytes (BPE) personalizado con un tamaño de vocabulario de 65,029. Las modificaciones clave incluyen el entrenamiento del subvocabulario chino por separado con una longitud máxima de pieza reducida (5 frente a 16) y la eliminación del prefijo automático de espacios en blanco que se encuentra en los tokenizadores de la familia Llama para adaptarse mejor al texto chino.

Arquitectura del Modelo

Index-1.9B sigue un diseño Transformer de solo decodificador con convenciones estilo Llama (RoPE, SwiGLU, RMSNorm), pero introduce dos modificaciones específicas:

Profundidad: El modelo utiliza 36 capas (tamaño oculto 2048, tamaño FFN 5888, 16 cabezales). Los experimentos indicaron que, con un número fijo de parámetros, aumentar la profundidad mejora el rendimiento en tareas posteriores más que aumentar el ancho.
Norm-Head: Para estabilizar el entrenamiento bajo tasas de aprendizaje elevadas, la capa de proyección de salida (LM head) emplea Norm-Head, que normaliza los pesos de los cabezales para reescalarlos dinámicamente. Esto aborda el problema donde el gradiente del LM head es un orden de magnitud mayor que el de otras capas, causando oscilaciones en tokens poco frecuentes.

Receta de Entrenamiento

El entrenamiento sigue un esquema de tasa de aprendizaje Warmup–Stable–Decay (WSD):

Fase Estable: Se mantiene una tasa de aprendizaje constante ( $5 \times 10^{-4}$ ) mientras se entrena con la mezcla global de datos.
Fase de Decaimiento: La tasa de aprendizaje decae a $5 \times 10^{-6}$ (un rango de 100x). Crucialmente, durante esta fase, la concentración de datos curados (libros de alta calidad, artículos, etc.) se eleva sustancialmente.
Datos de Instrucción: El informe investiga explícitamente el impacto de los datos de instrucción. Una variante de control, Index-1.9B-Pure, es entrenada con todos los datos de tipo instrucción estrictamente filtrados del corpus, mientras que el Index-1.9B principal (Boost) incluye una proporción de datos de instrucción durante la fase de decaimiento.

Alineación y Especialización

Index-1.9B-Chat: Alineado mediante Ajuste Fino Supervisado (SFT) en ~100k pares de instrucciones de alta calidad, seguido de Optimización de Preferencia Directa (DPO) en escritura, seguimiento de instrucciones y seguridad. Para la seguridad, el equipo utilizó rechazos autogenerados en lugar de escritos por humanos para evitar el olvido catastrófico.
Index-1.9B-Character: Extiende el modelo de chat con Generación Aumentada por Recuperación (RAG) para juegos de rol de pocos disparos (few-shot), recuperando diálogos de personajes relevantes para condicionar la generación.

Contribuciones Clave y Estudios Controlados

Más allá de los pesos del modelo, la principal contribución del documento es un conjunto de estudios de ablación transparentes y controlados:

Eficacia de Norm-Head: Demuestra que Norm-Head estabiliza el entrenamiento y permite tasas de aprendizaje más altas, obteniendo ganancias consistentes en los benchmarks.
Profundidad vs. Ancho: Confirma que, para un número fijo de parámetros (1.01B), un modelo más profundo (36 capas) supera a su contraparte más ancha y superficial (9 capas).
Esquemas de Tasa de Aprendizaje y Calidad de Datos: Muestra que, si bien diferentes esquemas (Cosine, Linear, WSD) convergen a pérdidas finales similares, el esquema WSD combinado con datos de alta curación durante la fase de decaimiento produce los mejores puntajes en benchmarks.
Impacto de los Datos de Instrucción: Cuantifica la "inflación" de los puntajes en benchmarks causada por la inclusión de datos de instrucción durante el preentrenamiento. El estudio revela que añadir solo un 7% de datos de instrucción durante la fase de decaimiento puede aumentar los puntajes de MMLU en aproximadamente 7 puntos, alterando significativamente las clasificaciones en las tablas de clasificación.
Oleada de Rendimiento: Documenta una oleada abrupta e inexplicable en el rendimiento de los benchmarks (C-Eval y MMLU) que ocurre a mitad de la fase de tasa de aprendizaje constante (entre 1.0T y 1.2T de tokens), antes de cualquier decaimiento de la tasa de aprendizaje.

Resultados

Rendimiento del Modelo Base: Index-1.9B logra un puntaje promedio de benchmark de 64.92 en seis tareas (MMLU, C-Eval, CMMLU, HellaSwag, ARC-C, ARC-E). Este rendimiento es competitivo o supera a modelos abiertos varias veces más grandes (por ejemplo, superando a Llama-2-13B en promedio) y solo es superado por Qwen2-1.5B entre modelos comparables de 1.5B–2B.
Modelo Chat: El modelo alineado muestra mejoras significativas en tareas de preguntas y respuestas abiertas y escritura mediante DPO, con un fuerte comportamiento conversacional atribuido al preentrenamiento en corpora de foros comunitarios.
Juego de Rol: Index-1.9B-Character ocupa el noveno lugar en la tabla de clasificación de CharacterEval, superando a todos los demás modelos de escala comparable (1.9B) y compitiendo con modelos de 7B–14B.
Matemáticas y Código: Estas siguen siendo áreas de mejora, con puntajes a la par de Llama-2-13B pero inferiores a los modelos más grandes especializados.

Significado y Reivindicaciones

Los autores afirman que Index-1.9B demuestra que los modelos pequeños pueden lograr un alto rendimiento mediante una rigurosa curación de datos, ajustes arquitectónicos (Norm-Head, profundidad) y esquemas de entrenamiento optimizados (WSD con mezcla de datos).

El informe enfatiza la transparencia como una contribución central. Al publicar el Index-1.9B-Pure (sin datos de instrucción) junto con el modelo estándar, y al detallar el impacto específico de los datos de instrucción en los benchmarks, los autores buscan que las comparaciones en la clase de parámetros 1B–3B sean más honestas y reproducibles. Notan explícitamente que la inclusión de datos de instrucción durante el preentrenamiento puede inflar artificialmente los puntajes de los benchmarks, un factor que a menudo se oculta en los informes públicos.

Finalmente, el documento destaca la "oleada de rendimiento" observada durante la fase estable como un fenómeno inexplicable digno de investigación futura, sugiriendo que la combinación de datos de alta calidad con tasas de aprendizaje estables y grandes puede permitir que los modelos alcancen hitos de rendimiento sólidos antes de que comience la fase de decaimiento. Todos los modelos, códigos y scripts de evaluación se liberan para uso académico y comercial.