🤖 machine learning

Sparse Layers are Critical to Scaling Looped Language Models

El artículo demuestra que combinar arquitecturas de Mezcla de Expertos (MoE) con bucles de capas y mecanismos de salida temprana permite a los modelos de lenguaje superar a los transformadores estándar en eficiencia de escalado mientras reducen significativamente los costos de memoria e inferencia.

Autores originales: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

Publicado 2026-05-12

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir un cerebro de robot superinteligente (un Modelo de Lenguaje Grande) que pueda leer y escribir como un humano. El problema es que estos cerebros son enormes. Ocupan mucha memoria para almacenarse y son lentos de ejecutar porque deben procesar la información a través de un pasillo largo y sinuoso lleno de habitaciones (capas), una por una.

El artículo explora un truco inteligente para hacer que estos cerebros sean más pequeños y rápidos sin volverlos "tontos". Aquí está la historia de lo que descubrieron, explicada de forma sencilla.

El Problema: El Cerebro "Copiar y Pegar"

Normalmente, un cerebro de robot tiene una habitación única para cada paso de su proceso de pensamiento. Si tiene 16 pasos, necesita 16 habitaciones diferentes. Esto es costoso de construir y almacenar.

Para ahorrar dinero, los investigadores probaron una idea diferente: Bucles. En lugar de construir 16 habitaciones únicas, construyeron solo 8 habitaciones y le dijeron al robot que las recorriera dos veces.

La Idea: Recorrer las habitaciones 1–8, y luego recorrer las habitaciones 1–8 de nuevo.
El Resultado: Se ahorra espacio de almacenamiento porque solo se construyeron 8 habitaciones.
El Problema: Cuando el robot recorre la misma habitación por segunda vez, hace exactamente lo mismo que la primera vez. Es como leer la misma página de un libro dos veces esperando entenderla mejor. El robot se confunde y funciona peor que el que tiene 16 habitaciones únicas.

La Solución: El "Equipo de Especialistas" (MoE)

Los autores se dieron cuenta de que el problema era que las habitaciones eran demasiado genéricas. Eran como un contratista general que intenta arreglar una tubería que gotea, pintar una pared e instalar un bombilla todo a la vez.

Reemplazaron estas habitaciones genéricas con habitaciones de Mezcla de Expertos (MoE).

La Analogía: Imagina una habitación con una recepcionista inteligente (un enrutador). Cuando un visitante (un fragmento de datos) entra, la recepcionista no deja que todos vean a la misma persona. En cambio, envía al visitante a un experto específico según lo que necesiten.
- Si el visitante necesita matemáticas, va al Experto en Matemáticas.
- Si necesitan poesía, van al Experto en Poesía.
La Magia: En un modelo de MoE en Bucle, la recepcionista es lo suficientemente inteligente como para cambiar de opinión en el segundo bucle.
- Primera pasada: El visitante entra en la Habitación 1 y es enviado al Experto en Matemáticas.
- Segunda pasada: El visitante entra en la Habitación 1 de nuevo, pero esta vez, la recepcionista lo envía al Experto en Poesía.

El Resultado: Aunque la habitación física es la misma, el trabajo que ocurre dentro es diferente cada vez. Esto soluciona el "aburrimiento" del modelo en bucle. El artículo descubrió que los modelos de MoE en Bucle en realidad se vuelven más inteligentes que los modelos grandes estándar, aunque almacenen menos "planos" únicos (parámetros).

La Bonificación: La Puerta de "Salida Anticipada"

El artículo también descubrió un segundo superpoder: Salidas Anticipadas.

En un cerebro de robot estándar, tienes que recorrer las 16 habitaciones para obtener la respuesta final. Si el robot descubre la respuesta después de 8 habitaciones, aún tiene que recorrer las otras 8, desperdiciando tiempo y energía.

En un modelo en Bucle, las "puertas de salida" se colocan al final de cada bucle.

La Analogía: Imagina una línea de montaje de fábrica. En una línea estándar, tienes que esperar hasta el final de la línea para verificar si el producto es bueno. En una línea en bucle, verificas el producto después del primer paso, y luego después del segundo paso.
Por qué funciona mejor: Porque las habitaciones al final del bucle son las mismas habitaciones utilizadas para generar la respuesta final, el robot aprende a dar una respuesta "suficientemente buena" mucho antes.
El Hallazgo: El artículo descubrió que los modelos en bucle pueden detenerse antes (ahorrar energía) con mucha más frecuencia que los modelos estándar sin perder calidad. Es como poder salir de una reunión temprano porque ya habías acordado los puntos principales, mientras que en una reunión estándar, tienes que sentarte hasta el final.

La Gran Conclusión

El artículo concluye con una receta simple para construir IA mejor y más barata:

No solo bucles en habitaciones estándar. (Eso hace que la IA sea peor).
Haz bucles en habitaciones de "Especialistas" (MoE). (Esto hace que la IA sea más inteligente y pequeña).
Usa los límites del bucle como puertas de salida. (Esto ahorra potencia de computación).

Al combinar esto, obtienes un modelo que es más barato de almacenar, más rápido de ejecutar y tan inteligente (o más) que los modelos masivos que tenemos hoy. El artículo llama a esto la arquitectura MoE en Bucle.

Resumen Técnico: Las Capas Dispersas son Críticas para Escalar Modelos de Lenguaje en Bucle

Enunciado del Problema

Los Modelos de Lenguaje (LMs) enfrentan costos significativos de almacenamiento e inferencia debido a sus masivos conteos de parámetros, donde cada parámetro se utiliza típicamente solo una vez por paso de inferencia. Aunque reutilizar parámetros a través de la profundidad (bucle) ofrece un camino para reducir los costos de memoria y proporcionar puntos de salida temprana naturales, las arquitecturas anteriores que utilizan este enfoque han tenido un rendimiento inferior al de los transformadores estándar con capas únicas cuando se comparan con cómputo de entrenamiento equivalente. Los autores hipotetizan que el cuello de botella de expresividad en los LMs en bucle proviene de la red de alimentación hacia adelante (FFN) densa, que aplica la misma operación a cada token. Esta invarianza se complica cuando las capas se bucean, limitando la capacidad del modelo para aprender representaciones complejas.

Metodología

Los autores realizan un estudio controlado comparando cuatro arquitecturas de transformador para aislar los efectos del bucle de capas y las capas dispersas de Mezcla de Expertos (MoE):

Base: Transformador estándar con capas únicas y FFNs densas.
Bucle: Transformador con pilas de capas repetidas (vinculación de pesos) y FFNs densas.
MoE: Transformador estándar con capas únicas y FFNs MoE dispersas.
Bucle-MoE: Transformador con pilas de capas repetidas y FFNs MoE dispersas.

Configuración Experimental:

Análisis de Leyes de Escalamiento: El estudio emplea la Parametrización de Actualización Máxima (µP) para escalar eficientemente modelos a través de diferentes anchos sin reajustar las tasas de aprendizaje. Los modelos se entrenan bajo presupuestos de cómputo fijos (IsoFLOP) que van desde $5 \times 10^{16}$ hasta $10^{18}$ FLOPs.
Detalles de Arquitectura: Las variantes en bucle utilizan 8 capas únicas repetidas 2 veces ( $8 \times 2$ ) para igualar la profundidad efectiva de 16 capas de sus contrapartes sin bucle. Las configuraciones MoE utilizan enrutamiento top-2 de entre 8 expertos.
Evaluación de Salida Temprana: Los autores evalúan las compensaciones entre cómputo y calidad utilizando un criterio de salida temprana libre de entrenamiento basado en la entropía de salida. Para los modelos en bucle, las salidas se restringen a los límites del bucle (después de cada paso completo a través de la pila de capas únicas), mientras que los modelos sin bucle pueden salir en cualquier capa intermedia.
Benchmarks de Tareas Secundarias: Los modelos óptimos en cómputo se evalúan en la suite de benchmarks AI2 OLMES.

Contribuciones y Hallazgos Clave

1. Los Expertos Dispersos Resuelven el Déficit de Escalamiento del Bucle

El hallazgo principal es que los modelos Bucle-MoE escalan significativamente mejor que las líneas base densas estándar, mientras que los modelos en bucle densos escalan estrictamente peor.

Recuperación de Expresividad: Los autores rastrean esta mejora hasta la divergencia de enrutamiento. En los modelos Bucle-MoE, el enrutador selecciona diferentes conjuntos de expertos para la misma capa física en cada paso del bucle. Esto permite que las capas compartidas implementen cálculos distintos a través de las iteraciones, recuperando la expresividad perdida por la vinculación de pesos sin añadir parámetros.
Leyes de Escalamiento: Ajustar leyes de potencia a los puntos óptimos en cómputo produce exponentes de escalamiento ( $\alpha$ ) de 0.076 para el modelo Base y 0.077 para Bucle-MoE, consistentes con las leyes de escalamiento establecidas. En contraste, los modelos en bucle densos no logran un rendimiento comparable.
Precisión en Tareas Secundarias: Con un presupuesto de $10^{18}$ FLOPs, el modelo Bucle-MoE óptimo en cómputo logra la puntuación promedio más alta (39.6) en los 9 benchmarks principales de AI2 OLMES, superando al modelo Base (38.7) mientras almacena menos parámetros únicos (216M vs. 246M).

2. Compensaciones Cómputo-Calidad Superiores mediante Salidas Tempranas

Los modelos en bucle demuestran una mejor eficiencia al utilizar salidas tempranas en comparación con los transformadores estándar.

Límites de Bucle como Puntos de Salida: Debido a que las capas al final de un bucle son idénticas a las capas que producen la salida final, los límites del bucle sirven como puntos de salida superiores.
Convergencia Más Rápida: El análisis de la Divergencia Jensen-Shannon (JSD) revela que los modelos en bucle convergen a distribuciones de salida cercanas a la final mucho antes que los modelos sin bucle. Para el final de la primera iteración del bucle, la mayoría de los tokens han alcanzado predicciones estables.
Ganancias de Eficiencia: Con un objetivo de ahorro del 10% en FLOPs, los modelos en bucle mantienen una perplejidad significativamente menor en comparación con sus contrapartes sin bucle. Cabe destacar que el beneficio se atribuye a la arquitectura de bucle en sí misma y no al componente MoE, ya que los modelos en bucle densos también superan a las líneas base MoE en eficiencia de salida temprana.

3. Impacto del Aumento de Bucles

El estudio investiga el aumento del número de bucles (por ejemplo, configuraciones $4 \times 4$ y $2 \times 8$ ). Los resultados indican que más bucles generalmente producen compensaciones cómputo-calidad estrictamente mejores para los modelos Bucle-MoE. Esto se debe a la mayor frecuencia de puntos de salida de alta calidad donde la salida ha convergido suficientemente.

Significado e Implicaciones Prácticas

El documento concluye que reemplazar las FFNs densas con capas MoE top-k en LMs en bucle es un cambio arquitectónico crítico. Este enfoque ofrece un camino claro hacia modelos de lenguaje que son:

Más baratos de almacenar: Logrando precisión competitiva con menos parámetros almacenados.
Más rápidos de ejecutar: Permitiendo ahorros significativos en inferencia mediante salidas tempranas libres de entrenamiento en los límites del bucle.
Escalables: Superando el rendimiento históricamente inferior de las arquitecturas en bucle al abordar el cuello de botella de expresividad de las capas densas.

Los autores posicionan a Bucle-MoE como una solución práctica para el escalamiento, señalando que, aunque los resultados de salida temprana demuestran ahorros teóricos de cómputo, las ganancias de rendimiento de extremo a extremo en configuraciones auto-regresivas optimizadas siguen siendo un tema para validación futura. El estudio es modesto en alcance, confiando en la transferencia de µP para predecir el rendimiento a mayor escala y reconociendo que las extensiones de escalamiento de profundidad no se exploraron debido a las restricciones de cómputo.