💬 NLP

Curriculum-Guided Layer Scaling for Language Model Pretraining

El artículo propone el Escalamiento de Capas Guiado por Currículo (CGLS), un marco de preentrenamiento eficiente en cómputo que sincroniza la acumulación progresiva de capas con el aumento de la dificultad de los datos para mejorar significativamente la generalización de los modelos de lenguaje y el rendimiento de cero disparos en tareas de razonamiento y de intensidad de conocimiento.

Autores originales: Karanpartap Singh, Neil Band, Ehsan Adeli

Publicado 2026-07-07

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Karanpartap Singh, Neil Band, Ehsan Adeli

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Cultivar un Cerebro Junto con sus Lecciones

Imagina que estás intentando enseñarle a un niño a leer. La forma estándar de entrenar la IA moderna (Modelos de Lenguaje Grandes) es como entregarle a un infante un diccionario, un libro de física y una novela, todo al mismo tiempo, y luego decirle: "Lee todo a la misma velocidad". Es caótico, y el niño se siente abrumado.

Los autores de este artículo argumentan que la IA debería aprender más como un niño humano: gradualmente. Ellos proponen un nuevo método llamado Escalamiento de Capas Guiado por Currículo (CGLS, por sus siglas en inglés).

Piénsalo como construir una casa:

Entrenamiento Estándar: Construyes todo el edificio de 10 pisos a la vez, y luego intentas enseñar a los inquilinos cómo vivir allí.
CGLS: Comienzas construyendo una casa pequeña y sólida de 2 pisos. Les enseñas cosas simples a los inquilinos. Una vez que se sienten cómodos, añades un tercer piso, luego un cuarto, y así sucesivamente. A medida que añades pisos (capas), también les das libros más difíciles y complejos para leer.

Cómo Funciona: El Baile de Dos Pasos

El método combina dos cosas sucediendo al mismo tiempo: el crecimiento del modelo y el aumento de la dificultad de los datos.

1. El "Apilamiento de Capas" (Cultivar el Cerebro)
En lugar de entrenar un modelo masivo desde el primer día, el CGLS comienza con una versión más pequeña (por ejemplo, la mitad del tamaño).

La Analogía: Imagina a un estudiante que comienza con un cuaderno pequeño. Aprende lo básico. Luego, el profesor le entrega un cuaderno más grande con páginas adicionales.
El Truco: Cuando se añaden las nuevas páginas (capas), el estudiante no intenta inmediatamente escribir en ellas olvidando las notas anteriores. El profesor primero deja que el estudiante practique solo en las nuevas páginas mientras mantiene las páginas antiguas "congeladas" (protegidas). Una vez que el estudiante domina las nuevas páginas, practica en todo el libro nuevamente. Esto asegura que no olvide lo que aprendió anteriormente.

2. El "Currículo" (El Plan de Estudios)
Los datos que el modelo lee cambian con el tiempo, tal como un plan de estudios escolar.

Etapa Temprana: El modelo lee historias simples y estructuradas (como "TinyStories" escritas para niños). Esto le ayuda a aprender gramática básica y estructura de oraciones sin confundirse con el ruido.
Etapa Intermedia: Pasa a libros ligeramente más difíciles (como novelas estándar).
Etapa Tardía: Finalmente, aborda datos complejos, desordenados y técnicos (como artículos científicos o código).

Por Qué Esto es Mejor que Solo "Añadir Capas"

El artículo probó algunas formas diferentes de hacer esto:

Solo añadir capas (sin un plan): Esto es como darle a un estudiante un cuaderno más grande pero entregarle un libro de física en el primer día. El estudiante se confunde y las páginas extra no ayudan mucho.
Solo cambiar los libros (sin crecer): Esto es como mantener al estudiante en un cuaderno pequeño pero darle libros más difíciles. Llegan a un límite en cuanto a cuánto pueden aprender porque el cuaderno es demasiado pequeño.
CGLS (El Ganador): Al hacer crecer el cuaderno al mismo tiempo que se aumenta la dificultad del libro, el modelo aprende de manera mucho más eficiente.

Lo Que Muestran los Resultados

Los investigadores probaron esto en dos tamaños diferentes de modelos de IA (uno pequeño y uno de tamaño medio) y descubrieron:

Mejor Razonamiento: Los modelos entrenados con CGLS fueron mucho mejores respondiendo acertijos lógicos y preguntas científicas (como los benchmarks ARC y PIQA) en comparación con los modelos entrenados de la forma estándar.
Menos "Olvido": Debido a que el modelo aprende en etapas, recuerda mejor las reglas simples del lenguaje, incluso cuando comienza a leer contenido complejo.
Eficiencia: Lograron estos resultados utilizando la misma cantidad de potencia informática que los métodos estándar. No usaron más electricidad ni más tiempo; simplemente organizaron mejor el aprendizaje.

La "Receta Secreta"

El artículo destaca un "punto ideal" específico para este método:

Comenzar con aproximadamente la mitad del tamaño final del modelo.
Pasar más tiempo en las etapas posteriores y más grandes del entrenamiento.
Asegurarse siempre de que los datos se vuelvan más difíciles justo cuando el modelo se vuelve más grande.

Resumen

En resumen, este artículo sugiere que la IA aprende mejor cuando la tratamos como a un estudiante en crecimiento. No le lances todo de una vez. Empieza pequeño con lecciones simples, deja que el "cerebro" crezca un poco, dale lecciones ligeramente más difíciles, deja que crezca de nuevo, y sigue repitiendo. Este crecimiento sincronizado permite que la IA comprenda el razonamiento complejo y el conocimiento mucho mejor que el enfoque actual de "todo a la vez", sin necesidad de potencia informática adicional.

Resumen Técnico: Escalamiento de Capas Guiado por Currículo para el Preentrenamiento de Modelos de Lenguaje

Declaración del Problema
El preentrenamiento actual de los grandes modelos de lenguaje (LLM) implica típicamente una única pasada continua sobre conjuntos de datos diversos utilizando una arquitectura fija. Este enfoque trata a todos los tokens con un esfuerzo computacional uniforme, independientemente de su complejidad, divergiendo significativamente del desarrollo cognitivo humano donde el conocimiento se construye gradualmente junto con la maduración cerebral. Mientras que trabajos recientes han explorado el "midtraining" o el ajuste de las distribuciones de datos en arquitecturas fijas, y otros han investigado el crecimiento progresivo del modelo (apilamiento de capas) de forma aislada, estos métodos a menudo no logran sincronizar la dificultad de los datos con la capacidad del modelo. Específicamente, estudios previos sobre el apilamiento progresivo (por ejemplo, MIDAS) sugieren que el simple hecho de añadir capas sin una señal de aprendizaje estructurada puede resultar en un rendimiento inferior en tareas intensivas en conocimiento, llegando incluso a rezagarse frente a modelos de capacidad completa entrenados desde cero. El problema central abordado es cómo mejorar la eficiencia computacional y la generalización en el preentrenamiento mediante el escalamiento conjunto de la profundidad del modelo y la complejidad de los datos.

Metodología: Escalamiento de Capas Guiado por Currículo (CGLS)
Los autores proponen el Escalamiento de Capas Guiado por Currículo (CGLS), un paradigma de preentrenamiento que sincroniza la expansión progresiva del modelo con un currículo de datos de complejidad creciente. Inspirado en el codesarrollo de las estructuras neurales y las capacidades cognitivas en los humanos, el CGLS opera a través de dos mecanismos acoplados:

Currículo de Datos Estructurado: Los datos de entrenamiento se estratifican en niveles de dificultad (por ejemplo, fácil, medio, difícil). La distribución de los datos es una mezcla de estos niveles, con pesos ajustados en cada etapa de entrenamiento para transicionar gradualmente de muestras simples y estructuradas hacia datos complejos, diversos y ruidosos.
- Implementación: A la escala de GPT-2-Small, esto implica la transición de historias sintéticas cortas (TinyStories) hacia BookCorpus y datos web generales (DCLM). A la escala de 1B de parámetros, el corpus DCLM se estratifica utilizando un clasificador basado en DistilBERT en niveles de complejidad de Secundaria, Grado Universitario y Posgrado.
Expansión Progresiva de Capas: El modelo comienza con una arquitectura poco profunda (por ejemplo, $N/2$ $N /2$ capas) y crece en profundidad a lo largo de las etapas de entrenamiento.
- Entrenamiento de Dos Fases: Cuando se añaden nuevas capas, estas se inicializan aleatoriamente. El entrenamiento procede en dos fases por etapa:
  - Fase de Inicialización: Las nuevas capas se entrenan mientras todas las capas anteriores (embeddings, bloques transformer existentes, normalización y la cabeza de LM) permanecen congeladas. Esto preserva las representaciones aprendidas previamente.
  - Fase de Ajuste Completo: Una vez que las nuevas capas han sido inicializadas, todo el modelo se ajusta (fine-tuning) sobre la distribución de datos actual, que es más compleja.

Contribuciones Principales
El artículo realiza tres contribuciones primarias:

Marco Unificado: La propuesta de CGLS, que escala conjuntamente la capacidad del modelo y la complejidad de los datos mediante la expansión progresiva de capas y el aprendizaje por currículo, yendo más allá de los enfoques aislados de curación de datos o crecimiento arquitectónico.
Evaluación Empírica en Múltiples Escalas: Una evaluación rigurosa de CGLS a través de dos recuentos de parámetros (GPT-2-Small y LLaMA-3.2-1B) y escalas de cómputo (2.5B a 20B tokens).
- A la escala de 100M de parámetros, CGLS supera a los baselines en benchmarks de QA (PIQA, ARC) utilizando un currículo de sintético-a-webtext.
- A la escala de 1.2B de parámetros, utilizando un corpus DCLM estratificado, CGLS demuestra una generalización y un rendimiento zero-shot superior en tareas de razonamiento en comparación con los baselines con cómputo equivalente.
Demostración de Sinergia: Los hallazgos muestran que el apilamiento progresivo por sí solo es insuficiente; los beneficios de la expansión de capas solo se desbloquean cuando se combina con un currículo de datos sincronizado.

Resultados
Los autores evaluaron CGLS contra varios baselines con cómputo equivalente, incluyendo el entrenamiento con datos aleatorizados, el entrenamiento curricularizado en arquitecturas fijas, el escalamiento de capas únicamente (sin currículo) y el método de apilamiento progresivo MIDAS.

Escala GPT-2-Small (2.5B tokens): CGLS logró ganancias consistentes en la perplejidad y en el rendimiento de tareas de QA descendientes. Notablemente, mejoró la precisión de ARC-Easy en un +3.0% y PIQA en un +1.0% en promedio respecto a los baselines.
Escala LLaMA-3.2-1B (2.5B tokens): CGLS superó significativamente al mejor baseline en tareas intensivas en conocimiento y de razonamiento pesado. Logró una mejora de +5.0% en ARC-Easy y una mejora promedio de 1.7% a través de los benchmarks. Crucialmente, los baselines que expandieron la profundidad sin un currículo sincronizado (Escalamiento de Capas Únicamente, MIDAS) no lograron mejorar el rendimiento descendente, rindiendo a menudo por debajo del baseline aleatorizado.
Escala Óptima de Chinchilla (1B parámetros, 20B tokens): Los beneficios persistieron y se amplificaron en escalas mayores. CGLS mostró un incremento promedio del 3.90% en los benchmarks, con ganancias notables en PIQA (+4.4), ARC-Easy (+5.2) y LAMBADA (+3.7).
Adaptación de Dominio: En un experimento de cambio de dominio pasando de texto web general a código (StarCoder2), CGLS casi duplicó la puntuación pass@8 en comparación con un baseline aleatorizado, demostrando efectividad al navegar cambios de distribución.
Perplejidad vs. Rendimiento Descendente: Los autores señalan una divergencia donde CGLS a veces produce una perplejidad mayor que los baselines aleatorizados en escalas pequeñas, a pesar de tener un mejor razonamiento descendente. Esto se alinea con la literatura de leyes de escala que sugiere que los sesgos inductivos arquitectónicos (como la profundidad) pueden beneficiar las tareas descendentes desproporcionadamente en comparación con la perplejidad de preentrenamiento.

Significancia y Reivindicaciones
El artículo afirma que CGLS ofrece una "estrategia simple pero efectiva" para mejorar la generalización en tareas de razonamiento e intensivas en conocimiento. La principal significancia radica en demostrar que sincronizar el crecimiento del modelo con la complejidad de los datos es crítico para un preentrenamiento eficiente en términos de cómputo. Los autores argumentan que este enfoque desbloquea el potencial del apilamiento progresivo, que previamente se ha demostrado que rinde por debajo de lo esperado cuando se aplica de forma aislada.

El trabajo sugiere que el sesgo inductivo de hacer crecer los modelos junto con datos cada vez más complejos imita el desarrollo cognitivo humano, lo que conduce a una mejor retención de las representaciones tempranas y a modelos finales más robustos. Los autores mantienen la modestia respecto a la universalidad de las ganancias, reconociendo que no todas las tareas (por ejemplo, LAMBADA, HellaSwag) se benefician por igual y que el método no siempre reduce la perplejidad. Identifican la profundidad inicial del modelo y el clasificador de dificultad específico como hiperparámetros importantes para la exploración futura, pero concluyen que CGLS establece un nuevo y prometedor paradigma para el preentrenamiento de grandes modelos de lenguaje.