💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

Este artículo presenta Expert Tying, un método que comparte los parámetros de los expertos entre capas consecutivas de transformadores en modelos de Mezcla de Expertos para reducir casi a la mitad los requisitos de memoria con un impacto insignificante en el rendimiento, mejorando así significativamente la relación cómputo-memoria para el entrenamiento y el escalado de grandes modelos de lenguaje.

Autores originales: Martin Jaggi

Publicado 2026-06-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Martin Jaggi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Gran Problema: La "Biblioteca Gigante" frente al "Pequeño Lector"

Imagina que estás construyendo un robot bibliotecario gigante y superinteligente (un Modelo de Lenguaje Extenso o LLM) para ayudar a las personas a escribir historias o resolver problemas.

Para hacer que este bibliotecario sea increíblemente inteligente, le das acceso a una biblioteca masiva con miles de millones de libros (estos son los "parámetros" o "expertos"). Sin embargo, para que el bibliotecario sea rápido y eficiente, decides que por cada frase que lea, solo abrirá uno o dos libros específicos para encontrar la respuesta. Esto es lo que se llama un modelo de Mezcla de Expertos (Mixture-of-Experts o MoE).

El inconveniente: Aunque el bibliotecario solo lee una fracción diminuta de los libros en un momento dado, aún tienes que mantener toda la biblioteca físicamente presente en la sala (en la memoria de la computadora). Si la biblioteca tiene 1,000 libros pero el bibliotecario solo abre 10 a la vez, de todos modos necesitas una habitación lo suficientemente grande para albergar los 1,000 libros. Esto hace que el sistema sea muy costoso y lento porque la "habitación" (memoria) es enorme, aunque la "lectura" (computación) sea pequeña.

La Solución: "Atar el Bucle" (Tying the Loop)

Los autores proponen un truco ingenioso llamado Expert Tying (Vinculación de Expertos).

Imagina que el bibliotecario trabaja en un largo pasillo con 32 habitaciones (capas). En una configuración estándar, cada habitación tiene su propio conjunto único de 1,000 libros.

Forma Antigua: La Habitación 1 tiene los Libros A–Z. La Habitación 2 tiene los Libros A–Z (pero una copia diferente). La Habitación 3 tiene los Libros A–Z (otra copia más). Necesitas 32 juegos de libros.
Nueva Forma (Expert Tying): Te das cuenta de que los libros de la Habitación 1, la Habitación 2 y la Habitación 3 están haciendo un trabajo muy similar. Así que los vinculas entre sí. Pones un único juego de libros en un carrito con ruedas que se mueve de la Habitación 1 a la Habitación 2 y luego a la Habitación 3. El bibliotecario usa los mismos libros físicos en las tres habitaciones.

El Resultado: Ya no necesitas 32 juegos de libros; solo necesitas 1 juego por cada 3 habitaciones. Esto reduce el tamaño de la "biblioteca" (memoria) casi a la mitad, pero el bibliotecario sigue leyendo con la misma rapidez porque sigue abriendo un solo libro a la vez.

La Fórmula Secreta: Qué Vincular y Qué Mantener Separado

Los investigadores no vincularon todo a ciegas. Realizaron experimentos para averiguar exactamente qué podía compartirse sin volver al bibliotecario un tonto.

Imagina que una habitación en la biblioteca tiene cuatro partes:

Los Libros (Expertos): El conocimiento real.
Las Gafas del Bibliotecario (Atención): Cómo miran las palabras.
La Ficha de Índice (Router): Qué libro elegir.
El Escritorio (Normalización): Cómo organizan las notas.

El Descubrimiento:

Compartir los Libros está bien: Puedes compartir los mismos libros a través de varias habitaciones. El bibliotecario puede seguir haciendo un gran trabajo porque las Gafas (Atención) son diferentes en cada habitación. Las gafas cambian cómo el bibliotecario mira las palabras, lo que hace que cada habitación se sienta única aunque los libros sean los mismos.
No compartas las Gafas: Si también compartes las gafas, el bibliotecario se confunde y la calidad cae.
La Regla del "Preludio y la Coda": La primera habitación (donde el bibliotecario recibe el libro) y la última habitación (donde escribe la respuesta) necesitan sus propios libros únicos. Si obligas al bibliotecario a usar el carrito compartido al principio y al final, la calidad sufre. Por lo tanto, mantén las dos primeras y las dos últimas habitaciones como únicas, y vincula las del medio.

Los Resultados: Más Rápido, Más Pequeño y Tan Inteligente Como Siempre

El artículo probó esto en tres modelos de IA famosos (OLMoE, Qwen3 y DeepSeek). Esto fue lo que sucedió:

Ahorro de Memoria: Al vincular los expertos en grupos de 4, redujeron el tamaño de la memoria total entre un 40% y un 50%. Es como reducir el tamaño de la biblioteca a la mitad.
Sin Daño Cerebral: La "inteligencia" (perplejidad y precisión) apenas disminuyó. Fue casi tan bueno como el modelo original y gigante.
Impulso de Velocidad: Debido a que la computadora no tuvo que cargar tantos libros en la memoria, el proceso de entrenamiento fue un 23% más rápido.
El Truco de la "Reinversión": Como ahorraron tanto espacio al compartir los libros, tomaron ese espacio ahorrado y añadieron más libros al carrito compartido. Esto creó un modelo que era en realidad mejor que el original, a pesar de utilizar la misma cantidad total de memoria.

Analogía de Resumen

Imagina un equipo de construcción construyendo un rascacielos.

Forma Antigua: Cada piso tiene su propia caja de herramientas única y completamente equipada. El camión que transporta todas las cajas de herramientas es enorme y costoso.
Nueva Forma (Tying the Loop): Los pisos del 3 al 28 comparten la misma caja de herramientas que se pasa hacia arriba mediante el ascensor. Los pisos 1, 2, 29 y 30 mantienen sus propias cajas de herramientas especiales.
Resultado: El camión es ahora la mitad de grande (ahorrando dinero y espacio), el equipo se mueve más rápido porque no están cargando peso extra, y el edificio es igual de fuerte. De hecho, debido a que ahorraron dinero en el camión, compraron mejores herramientas para la caja de herramientas compartida, haciendo que el edificio sea aún más fuerte.

La Conclusión Fundamental: Puedes hacer que los modelos de IA sean mucho más pequeños y rápidos reutilizando el mismo "conocimiento" a través de varias capas del modelo, siempre y cuando mantengas las "gafas" (atención) únicas para cada capa y dejes las dos primeras y las dos últimas capas por separado.

Resumen Técnico: Tying the Loop - Capas de Expertos Vinculadas en Modelos de Lenguaje de Mezcla de Expertos

Planteamiento del Problema

Las arquitecturas de Mezcla de Expertos (MoE) se han convertido en el estándar para escalar los Modelos de Lenguaje de Gran Escala (LLMs) al desacoplar el recuento total de parámetros del cómputo por token. Al activar solo un pequeño subconjunto de redes de alimentación hacia adelante (FFN) de expertos por token, los modelos MoE logran una alta capacidad con una inferencia eficiente. Sin embargo, persiste un cuello de botella crítico: la huella de memoria. Aunque solo una fracción de los parámetros está activa durante cualquier pasada hacia adelante, el conjunto completo de parámetros (dominado por los pesos de los expertos) debe residir en la memoria de entrenamiento e inferencia.

Esto crea una tensión con la tendencia emergente de la "eficiencia de parámetros" en modelos de razonamiento y de profundidad en bucle (looped-depth), que buscan extraer más cómputo de cada parámetro único. Las arquitecturas MoE estándar se consideran ineficientes en este sentido porque inflan la memoria con parámetros que permanecen inactivos en cualquier pasada dada. El artículo busca reconciliar el bajo cómputo por token de MoE con el objetivo de una mayor eficiencia de cómputo por parámetro único sin sacrificar la calidad del modelo.

Metodología: Vinculación de Expertos (Expert Tying)

Los autores proponen la Vinculación de Expertos (Expert Tying), una modificación arquitectónica que comparte los parámetros de las FFN de los expertos a través de un grupo de capas consecutivas del transformador, preservando al mismo tiempo los componentes específicos de cada capa.

Mecanismo Central

Compartición de Parámetros: Para un grupo de $g$ capas consecutivas, los pesos de proyección de la puerta (gate), de la red ascendente (up) y de la red descendente (down) de los $N$ expertos se aliasan (se comparten). Esto reduce los parámetros únicos de las FFN por un factor de $g$ .
Independencia Preservada: Crucialmente, el enrutador (red de enrutamiento), las proyecciones de auto-atención (Q, K, V, O) y las capas de normalización permanecen independientes para cada capa.
Implementación: El método se implementa como una simple asignación de punteros en el código del modelo (por ejemplo, en Hugsin Transformers). No requiere cambios en la infraestructura de entrenamiento o inferencia, salvo asegurar que el optimizador acumule correctamente los gradientes de los múltiples sitios de uso de los parámetros vinculados.
Escalado de la Tasa de Aprendizaje: Para gestionar la acumulación de gradientes de $g$ capas, la tasa de aprendizaje para los pesos de los expertos vinculados se escala por $1/\sqrt{g}$ .

Justificación del Diseño

Los autores hipotetizan que el conjunto de expertos de la FFN puede compartirse a través de capas cercanas porque la atención por capa asegura que el operador efectivo de cada capa siga siendo distinto. Incluso con pesos de expertos idénticos, atender sobre diferentes mezclas de posiciones de tokens produce transformaciones distintas en cada profundidad.

Contribuciones Clave

1. Ablación Controlada de Componentes

Antes de escalar a modelos de producción, los autores realizaron un estudio de ablación controlado en una arquitectura más pequeña para determinar qué componentes pueden vincularse sin degradar la calidad.

Hallazgo: La atención por capa es el principal motor de la distinción entre capas. Desvincular la atención (mantenerla independiente) mejora la pérdida significativamente más que desvincular el enrutador.
Impacto del Enrutador: Aunque desvincular el enrutador aumenta la diversidad del enrutamiento (el acuerdo entre bucles disminuye), tiene un impacto insignificante en la pérdida final si la atención está vinculada.
Conclusión: La estrategia óptima es vincular los pesos de los expertos, mantener la atención por capa y tratar el enrutador como vinculado o desvinculado con una diferencia de costo mínima.
Preludio/Coda: Las primeras y últimas capas de la pila (entrada de embedding y salida de la cabeza de lenguaje) deben permanecer desvinculadas. Un preludio y una coda desvinculados de "2+2" ofrece la mayor ganancia arquitectónica en comparación con los diseños totalmente recurrentes.

2. Escalado a Arquitecturas de Producción

El método se aplicó a tres arquitecturas MoE de vanguardia: OLMoE, Qwen3-MoE y DeepSeekMoE.

Configuración: Grupos de $g=4$ capas comparten pesos de expertos, con 2 capas desvinculadas al inicio y al final.
Reducción de Parámetros: Esta configuración reduce el recuento total de parámetros entre un 29% y un 52% (dependiendo de la arquitectura y el tamaño del grupo) con una degradación insignificante en la perplejidad o la precisión en tareas posteriores (downstream).
Rendimiento (Throughput): La reducción de parámetros únicos conduce a una aceleración del tiempo de ejecución (wall-clock) del 23.7% en el entrenamiento debido a la reducción del ancho de banda de carga de pesos y las actualizaciones del estado del optimizador.

3. Expansión de Ancho Heterogéneo

El artículo introduce un uso novedoso de los parámetros ahorrados: reinvertirlos en las capas medias vinculadas.

En lugar de simplemente comprimir el modelo, los autores ensanchan las capas medias vinculadas (aumentando el número de expertos) para igualar el recuento total de parámetros original ("iso-parámetro").
Resultado: Los modelos con capas vinculadas de ancho expandido superan consistentemente a la línea base desvinculada estándar en el mismo recuento de parámetros. Esto redefine la vinculación de expertos no solo como una técnica de compresión, sino como un eje de diseño de profundidad vs. ancho.

4. Validación a Gran Escala

Los experimentos se extendieron a un modelo de 7B parámetros (OLMoE-1B-7B).

El modelo vinculado con $g=4$ logró una pérdida y precisión en tareas posteriores equivalentes a la línea base desvinculada, utilizando menos de la mitad de los parámetros totales (3.50B frente a 7.12B).
La variante de ancho expandido mejoró aún más el rendimiento, superando el checkpoint oficial de OLMoE-1B-7B entrenado con el doble de tokens, a pesar de tener la mitad de los parámetros.

Resumen de Resultados

Eficiencia de Memoria: La vinculación de expertos reduce la huella de memoria en casi 2× (hasta un 52% de reducción de parámetros) con una degradación virtualmente nula en la perplejidad.
Preservación de la Calidad: Con $g=4$ , la penalización de pérdida es mínima (por ejemplo, +0.05 a +0.07 en la pérdida de validación), y la precisión en tareas posteriores cae como máximo un 1.9%.
Ganancias de Rendimiento: El rendimiento de entrenamiento aumenta entre un 15.7% y un 23.7% debido a la reducción del movimiento de datos y la sobrecarga del optimizador.
Superioridad Iso-Parámetro: Cuando los parámetros ahorrados se reinvierten para ensanchar las capas vinculadas, los modelos resultantes superan a los MoE desvinculados estándar del mismo tamaño.

Significado y Reivindicaciones

El artículo afirma que la Vinculación de Expertos logra reconciliar las tendencias opuestas de escalado de MoE (bajo cómputo por token) y eficiencia de parámetros (alto cómputo por parámetro único). Al explotar la redundancia inherente de parámetros en las vías de MoE, el método elimina la penalización de memoria de la dispersidad (sparsity) sin eliminar la dispersidad misma.

Los autores enfatizan que su contribución no es meramente la configuración (que comparte similitudes con trabajos previos como Megrez2), sino el estudio controlado que identifica qué componentes pueden compartirse. Demuestran que la atención, y no el enrutamiento, es el componente crítico para mantener la distinción de las capas, permitiendo que el mayor conjunto de parámetros (expertos) se comparta al menor costo de calidad.

El trabajo posiciona la vinculación de expertos como una modificación "plug-and-play" para las bases de código de MoE existentes que avanza en el entrenamiento y escalado eficiente de los próximos LLMs, ofreciando una relación cómputo-memoria altamente favorable. Los autores se mantienen modestos respecto a las limitaciones, señalando que los experimentos están actualmente limitados a 7B parámetros y que las ganancias de eficiencia son límites inferiores debido a la falta de kernels especializados para capas vinculadas.