💻 computer science

Where to Begin: Efficient Pretraining via Subnetwork Selection and Distillation

Este artículo presenta un marco eficiente para el preentrenamiento de Modelos de Lenguaje Pequeños (SLMs) que combina la búsqueda evolutiva para identificar inicializaciones de subredes estructuralmente dispersas con la destilación de conocimiento de modelos más grandes, logrando un rendimiento comparable al de los estándares de referencia mientras reduce significativamente los costos computacionales.

Autores originales: Arjun Krishnakumar, Rhea Sanjay Sukthanker, Hannan Javed Mahadik, Gabriela Kadlecová, Vladyslav Moroshan, Timur Carstensen, Frank Hutter, Aaron Klein

Publicado 2026-01-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Arjun Krishnakumar, Rhea Sanjay Sukthanker, Hannan Javed Mahadik, Gabriela Kadlecová, Vladyslav Moroshan, Timur Carstensen, Frank Hutter, Aaron Klein

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: Construir una Biblioteca Gigante es Caro

Imagina que quieres construir una biblioteca masiva de conocimiento (un Modelo de Lenguaje Grande, o LLM) que pueda responder cualquier pregunta. Tradicionalmente, para construir esta biblioteca, tienes que contratar a millones de personas (parámetros), darles a todas cuadernos en blanco y hacer que lean todo el internet desde cero. Esto requiere una cantidad enorme de tiempo, dinero y electricidad.

Aunque los "Modelos de Lenguaje Pequeños" (SLM) son más baratos de construir porque son más pequeños, siguen siendo demasiado caros para que la mayoría de los investigadores regulares o las pequeñas empresas los construyan desde cero. Necesitan un atajo.

La Solución: El Marco de Trabajo "Whittle"

Los autores de este artículo proponen una nueva forma de construir estas bibliotecas más pequeñas. Llaman a su marco de trabajo Whittle. En lugar de contratar personas nuevas y empezar con cuadernos en blanco, toman una biblioteca existente, gigante y altamente culta (un modelo "Maestro" grande) e intentan encontrar el equipo más pequeño y perfecto dentro de ella que pueda hacer el mismo trabajo tan bien como el original.

Hacen esto utilizando tres trucos principales:

1. Encontrar al "Sub-equipo Dorado" (Selección de Sub-red)

Imagina que la biblioteca gigante es una orquesta masiva con miles de músicos. No necesitas a toda la orquesta para tocar una canción específica; solo necesitas la sección adecuada.

La Forma Antigua: Usualmente, si quieres un modelo pequeño, simplemente eliges a unos pocos músicos al azar y esperas que puedan hacerlo.
La Nueva Forma: Los autores utilizan una herramienta de búsqueda inteligente (llamada Búsqueda Evolutiva) para buscar a través de la orquesta gigante y encontrar al grupo específico de músicos que ya conocen la canción perfectamente. No eligen personas al azar; buscan la "sub-red" específica de neuronas que ya está realizando el trabajo pesado.
El Resultado: Descubrieron que estos "sub-equipos" preseleccionados son mucho mejores aprendiendo que los grupos aleatorios del mismo tamaño.

2. El Método del "Imitador Inteligente" (Destilación de Conocimiento)

Una vez que tienen su pequeño sub-equipo, no dejan que aprendan del internet por sí solos. En su lugar, los ponen en un aula con la biblioteca gigante original (el Maestro).

Cómo funciona: El Maestro no solo dice "La respuesta es A". El Maestro dice: "La respuesta es A, pero es muy probable que sea A, ligeramente probable que sea B, y poco probable que sea C". Esto le da al pequeño equipo una comprensión del mundo mucho más rica.
La Analogía: Es como un maestro chef enseñando a un aprendiz. En lugar de solo mostrar el plato final, el maestro explica los sabores y técnicas sutiles. El aprendiz aprende más rápido y comete menos errores.

3. El "Espacio de Búsqueda" (Probando Diferentes Combinaciones)

Los autores se dieron cuenta de que no todos los "sub-equipos" son iguales. A veces necesitas reducir el número de capas (como quitar pisos de un edificio) y otras veces necesitas reducir el ancho (como quitar columnas).

Probaron cuatro formas diferentes de recortar el modelo:
- Gruesa (Coarse): Cortar trozos grandes (como eliminar pisos enteros).
- De grano fino (Fine-grained): Cortar partes diminutas (como eliminar ladrillos específicos).
- Uniforme: Hacer el modelo completo más pequeño de manera uniforme.
- Por capas (Layer-wise): Hacer que diferentes partes del modelo sean más pequeñas de diferentes maneras.
El Descubrimiento: Descubrieron que para modelos muy pequeños, ser de "grano fino" (cortar trozos diminutos) funcionaba mejor. Pero para modelos pequeños más grandes, ser "grueso" (cortar trozos grandes) era en realidad mejor.

Los Resultados: Hacer Más con Menos

El artículo afirma que, mediante este método, pueden construir modelos pequeños que funcionan tan bien como los modelos entrenados desde cero, pero con una reducción masiva de costos:

Velocidad: Su mejor modelo alcanzó el mismo nivel de inteligencia que un modelo pequeño estándar, pero requirió 5.16 veces menos cálculos (FLOPs) para un tamaño de entrenamiento específico.
Eficiencia: Es como construir una casa que es tan sólida como una mansión, pero solo usaste el 20% de los ladrillos y la mano de obra.
Código Abierto: A diferencia de algunos métodos utilizados por las grandes empresas tecnológicas que son secretos, los autores lanzaron todo su código y herramientas (la biblioteca "Whittle") para que cualquiera pueda usar este método.

Resumen

Piensa en este artículo como una guía sobre cómo reciclar un modelo de IA gigante, caro y complejo en uno más pequeño, más barato y altamente eficiente. En lugar de construir un coche nuevo desde cero, toman un coche de lujo, retiran cuidadosamente las piezas que no necesitan y ajustan el motor restante para que funcione perfectamente con menos combustible, todo mientras le enseñan utilizando el conocimiento del coche de lujo original.

Resumen Técnico: DÓNDE EMPEZAR: PREENTRENAMIENTO EFICIENTE MEDIANTE LA SELECCIÓN DE SUB-REDES Y LA DESTILACIÓN

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala (LLMs) han alcanzado un rendimiento de vanguardia gracias a su escala masiva, sus costes de entrenamiento y despliegue son prohibitivos para muchos grupos de investigación y entornos con recursos limitados. Los Modelos de Lenguaje Pequeños (SLMs) ofrecen una alternativa más accesible, pero aun así requieren recursos computacionales sustanciales para el preentrenamiento. Las estrategias existentes para reducir estos costes, como la destilación de conocimiento de LLMs de pesos abiertos o la poda, a menudo dependen de implementaciones de código cerrado (por ejemplo, variantes de Llama 3.2, Minitron) o carecen de un marco sistemático y reproducible para descubrir inicializaciones óptimas de sub-redes. Además, los mecanismos mediante los cuales los modelos profesor mejoran la eficiencia del preentrenamiento de los SLM aún no se comprenden bien.

Metodología

Los autores proponen un marco de tres componentes para hacer que el preentrenamiento de los SLM sea sustancialmente más eficiente:

Inicialización de Sub-Redes: En lugar de una inicialización aleatoria, el marco extrae sub-redes estructuralmente dispersas de un modelo profesor preentrenado de mayor tamaño. Los autores definen cuatro espacios de búsqueda distintos para explorar cómo se seleccionan los pesos:
- Grueso vs. Fino (Coarse vs. Fine-grained): La selección gruesa toma las primeras $n$ entradas de un componente (por ejemplo, las primeras $n$ cabezas de atención), mientras que la selección fina muestrea índices arbitrarios.
- Uniforme vs. Por Capa (Uniform vs. Layer-wise): El método uniforme aplica la misma configuración en todas las capas, mientras que el método por capa permite que cada capa tenga configuraciones independientes.
- Esto resulta en cuatro espacios de búsqueda: Grueso Uniforme, Grueso por Capa, Fino Uniforme y Fino por Capa.
Búsqueda Evolutiva Restringida: Para identificar sub-redes de alta calidad dentro de presupuestos de parámetros específicos, los autores emplean un algoritmo de búsqueda evolutiva.
- El espacio de parámetros se divide en "contenedores" disjuntos (por ejemplo, 385M–426M, 961M–1.06B) para asegurar una cobertura equilibrada de los tamaños de los modelos.
- Dentro de cada contenedor, se evoluciona una población de arquitecturas candidatas utilizando operadores de mutación y cruce.
- Cumplimiento de Restricciones: Se utiliza el muestreo de rechazo para asegurar que las arquitecturas candidatas se adhieran estrictamente al recuento de parámetros del contenedor objetivo.
- Función de Aptitud (Fitness Function): Los candidatos se evalúan basándose en la perplejidad de validación con un pequeño presupuesto de tokens (2B de tokens) para guiar la búsqueda hacia las inicializaciones óptimas.
Destilación de Conocimiento: Las sub-redes seleccionadas se preentrenan mediante la destilación de conocimiento del mismo modelo profesor del que fueron extraídas.
- La función de pérdida combina la entropía cruzada estándar con la divergencia KL hacia adelante entre las distribuciones de logits del profesor y el estudiante.
- Para mejorar la eficiencia computacional, los autores utilizan la Destilación de Logits Top-k, truncando la distribución del profesor a sus $k$ salidas más salientes (por ejemplo, $k=1024$ ).

Contribuciones Clave

Marco de Código Abierto Sistemático: Los autores introducen Whittle, una biblioteca totalmente de código abierto que permite la extracción de sub-redes de modelos de Hugging Face, soporta un diseño de espacio de búsqueda flexible y facilita todo el proceso, desde la búsqueda hasta el preentrenamiento y la destilación.
Estrategia de Inicialización de Sub-Redes: Demuestran que extraer sub-redes de profesores preentrenados produce puntos de partida significativamente mejores que la inicialización aleatoria. Por ejemplo, las variantes más pequeñas (~410M de parámetros) requieren 1.71× menos FLOPs para igualar la perplejidad de validación de un modelo Pythia comparable entrenado desde cero.
Análisis Exhaustivo: El artículo proporciona la primera comparación sistemática de la inicialización de sub-redes bajo la destilación de conocimiento frente al entrenamiento de entropía cruzada estándar, analizando el impacto del tamaño del profesor, la granularidad del espacio de búsqueda y los hiperparámetros de la destilación.
Validación Empírica: Los experimentos en la familia Pythia (profesores de 6.9B y 12B) muestran que los mejores modelos, descubiertos mediante búsqueda evolutiva e inicializados con pesos de profesor, igualan el rendimiento de los SLM Pythia comparables mientras requieren significativamente menos operaciones de punto flotante (FLOPs).

Resultados

Ganancias de Eficiencia:
- Para un modelo de 410M de parámetros (Contenedor 1), el método logra la misma perplejidad de validación con 1.71× menos FLOPs en comparación con un preentrenamiento estándar de Pythia-410M.
- Para un modelo de 1B de parámetros (Contenedor 2), los ahorros aumentan a 1.75×.
- Para un modelo de 2.8B de parámetros (Contenedor 3), el método requiere 5.16× menos FLOPs para igualar la perplejidad de validación de un modelo Pythia-2.8B comparable entrenado con un presupuesto de 10B de tokens.
- Con un presupuesto de 100B de tokens, la variante de 2.8B todavía logra una reducción de 1.26× en FLOPs mientras alcanza una perplejidad de validación final menor que la del modelo base.
Hallazgos del Espacio de Búsqueda:
- Granularidad: El espacio de búsqueda óptimo depende del tamaño del modelo. Para las variantes más grandes (Contenedor 3), el espacio menos granular (Grueso Uniforme) ofrece los mejores resultados. Para las variantes más pequeñas (Contenedor 1), los espacios más granulares como Fino Uniformo funcionan mejor.
- Destilación: La destilación mejora consistentemente la perplejidad sobre el preentrenamiento estándar. El uso de la distribución de logits completa generalmente produce una perplejidad menor que la truncación Top-k, aunque el método Top-k se utiliza para la eficiencia en los experimentos principales.
- Métrica de Búsqueda: Optimizar directamente para la perplejidad durante la fase de búsqueda supera a las métricas proxy como la magnitud de los pesos o las puntuaciones de importancia basadas en activaciones.
Rendimiento en Tareas Derivadas (Downstream): Las sub-redes inicializadas desde la super-red superan consistentemente tanto a las versiones inicializadas aleatoriamente de la misma arquitectura como a los modelos Pythia originales de tamaño comparable en pruebas comunes de sentido común y respuesta a preguntas (COPA, MMLU, HellaSwag, etc.). Notablemente, las sub-redes extraídas del profesor más pequeño de 6.9B a menudo superaron a las del profesor de 12B.

Significado y Reivindicaciones

El artículo afirma presentar el primer estudio sistemático y de código abierto sobre el arranque en caliente (warm-starting) de modelos estudiantes a partir de profesores más grandes para el preentrenamiento. La importancia radica en proporcionar un camino práctico y reproducible hacia el desarrollo de SLM con costes eficientes. Al combinar la búsqueda evolutiva para el descubrimiento de sub-redes con la destilación de conocimiento, los autores demuestran que el preentrenamiento de los SLM puede acelerarse hasta un 9.2× (excluyendo los costes de búsqueda) o un 5.16× (incluyendo los costes de búsqueda) en comparación con los SLM base de tamaño similar.

Los autores enfatizan que su enfoque evita el costoso preentrenamiento de la super-red requerido por los métodos tradicionales de Búsqueda de Arquitectura Neuronal (NAS) al aprovechar los LLM de pesos abiertos existentes. Concluyen que, si bien el método es altamente efectivo, se necesita trabajo futuro para derivar leyes de escala para estas estrategias de inicialización e investigar el impacto de la elección del modelo profesor (por ejemplo, multilingüe vs. monolingüe) en el rendimiento del estudiante. Los autores declaran explícitamente que sus hallazgos ofrecen directrices para un preentrenamiento de SLM computacionalmente óptimo en diferentes escalas.