🤖 machine learning

Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers

Este artículo propone un novedoso marco de aprendizaje dual que aplica transformaciones de pesos que preservan la funcionalidad para alinear Transformers de miles de millones de parámetros entrenados de forma independiente, permitiendo una conectividad de modo lineal casi libre de barreras y una fusión de modelos efectiva tanto en el dominio del lenguaje como en el de la visión.

Autores originales: Tianyi Li, Zhiqiang Shen

Publicado 2026-06-23

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tianyi Li, Zhiqiang Shen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La Gran Idea: Fusionar Dos Recetas Diferentes

Imagina que tienes a dos maestros chefs que han pasado años perfeccionando exactamente el mismo plato: un pastel de chocolate. Ambos saben cómo hacerlo delicioso. Sin embargo, aprendieron sus habilidades en cocinas diferentes, usaron tazas medidoras diferentes y organizaron sus ingredientes de formas completamente distintas.

El Chef A pone la harina en un bol a la izquierda y el azúcar a la derecha.
El Chef B pone la harina a la derecha y el azúcar a la izquierda.

Si intentas simplemente "mezclar" sus recetas a la mitad del proceso (un proceso llamado interpolación lineal), el resultado es un desastre. Podrías terminar con media taza de harina y media taza de azúcar en el mismo bol, pero como sus instrucciones no coinciden, el pastel se desploma. En el mundo de la IA, esto se llama una barrera de pérdida (loss barrier): un punto donde el modelo combinado deja de funcionar y la tasa de error se dispara.

El Problema: Las Diferencias "Ocultas"

Durante mucho tiempo, los científicos pensaron que estos dos chefs simplemente estaban haciendo pasteles diferentes. Pero este artículo argumenta que en realidad están haciendo el mismo pastel; solo tienen simetrías diferentes.

En la IA, la "simetría" significa que puedes reorganizar las cosas sin cambiar el resultado.

Permutación: Puedes cambiar el orden de los pasos (como mezclar los huevos antes que la leche frente a la leche antes que los huevos) siempre que ajustes los otros pasos para que coincidan.
Escalamiento: Puedes usar una cuchara gigante o una cuch。cuchara diminuta, siempre que ajustes la cantidad de ingredientes para que coincidan.

El problema es que cuando dos modelos de IA se entrenan por separado, naturalmente caen en diferentes "reorganizaciones". Si intentas mezclarlos sin corregir estas reorganizaciones primero, la IA se confunde.

La Solución Antigua: Ajuste Unilateral

Los métodos anteriores intentaban solucionar esto tomando la receta del Chef B y forzándola a parecerse a la del Chef A. Decían: "Está bien, Chef B, mueve tu azúcar a la izquierda para que coincida con el Chef A".

Esto ayuda un poco, pero es como intentar meter un poste cuadrado en un agujero redondo. El Chef B tiene que contorsionar todo su estilo para adaptarse al diseño de la cocina específica del Chef A. Funciona, pero la receta "intermedia" resultante sigue teniendo un alto riesgo de fracaso.

La Nueva Solución: El "Doble Baile" (LMC-DM)

Este artículo presenta un nuevo método llamado Emparejamiento de Aprendizaje Dual (Dual Learned Matching). En lugar de forzar a un chef a copiar al otro, ambos acuerdan encontrarse en el medio.

Imagina una pista de baile. En lugar de que el Chef A se quede quieto y el Chef B intente seguirle el paso, ambos chefs comienzan a bailar el uno hacia el otro.

Ambos aprenden nuevas formas de organizar sus ingredientes (ajustando sus "simetrías").
Ambos se mueven hacia un diseño de cocina compartido y neutral donde sus pasos se alinean perfectamente.
Una vez alineados, pueden mezclar sus recetas sin problemas.

Debido a que ambos chefs son flexibles y se mueven hacia un objetivo común, el punto "intermedio" ya no es una zona de desastre. Se convierte en un camino suave y seguro donde el pastel sabe tan bien como el original.

Lo Que Realmente Encontraron

Los investigadores probaron esto en modelos de IA masivos (algunos con miles de millones de parámetros, lo que es como tener una cocina con millones de ingredientes).

El Resultado: Cuando usaron este método del "Doble Baile", la "zona de desastre" (la barrera de pérdida) casi desapareció por completo.
Modelos de Visión: Lo probaron en modelos de reconocimiento de imágenes (como los que identifican gatos y perros). Incluso al mezclar dos modelos diferentes, el modelo combinado mantuvo su precisión alta (por encima del 69%) durante todo el tiempo.
Modelos de Lenguaje: Lo probaron en modelos de generación de texto (como los que escriben historias). Para modelos de tamaño medio, la tasa de error fue prácticamente cero. Incluso para los modelos gigantes de miles de millones de parámetros, el error fue muy pequeño.

La Conclusión

El artículo demuestra que los grandes modelos de IA no son islas aisladas. En realidad, están conectados por caminos ocultos. Si dejas de intentar forzar a un modelo a copiar al otro y, en su lugar, dejas que ambos modelos se ajusten a sí mismos para encontrarse en el medio, puedes fusionarlos sin problemas.

Esto significa que podemos tomar dos modelos de IA diferentes, altamente entrenados, y combinarlos en uno solo, poderoso, sin necesidad de reentrenarlos desde cero ni construir estructuras complejas. Es como darse cuenta de que dos idiomas diferentes son en realidad solo dialectos del mismo idioma, y si los hablas ambos con un poco de flexibilidad, puedes entenderte perfectamente.

Resumen Técnico: Escalamiento de la Conectividad de Modo Lineal y Fusión de Transformers Preentrenados de Miles de Millones de Parámetros

Declaración del Problema
La Conectividad de Modo Lineal (LMC, por sus siglas en inglés) postula que las redes neuronales entrenadas de forma independiente pueden conectarse mediante un camino lineal de baja pérdida en el espacio de pesos, lo que permite una fusión de modelos eficiente sin necesidad de ensambles o reentrenamiento. Sin embargo, los métodos existentes tienen dificultades para escalar este concepto a los Transformers preentrenados de miles de millones de parámetros. El obstáculo principal es que los modelos entrenados independientemente suelen ocupar regiones distantes en el espacio de pesos debido a simetrías que preservan la función (por ejemplo, permutaciones de neuronas, rotaciones de pesos) y diferencias en la inicialización o en la dinámica de entrenamiento. La interpolación lineal ingenua entre tales modelos encuentra barreras de pérdida elevadas. Aunque las técnicas de alineación previas (Weight Matching, Learned Matching) han mostrado resultados prometedores para redes más pequeñas, típicamente dependen de una optimización de un solo lado (alinear un modelo con un modelo de referencia fijo) y a menudo fallan al no explotar plenamente los complejos grupos de simetría inherentes a las arquitecturas Transformer, lo que limita su efectividad a gran escala.

Metodología
Los autores proponen Dual Learned Matching (LMC-DM), un marco escalable diseñado para revelar caminos lineales de baja pérdida en Transformers preentrenados de gran tamaño, optimizando conjuntamente las transformaciones de simetría para ambos modelos de los extremos.

Simetrías que Preservan la Funcionalidad: El artículo formula sistemáticamente una amplia familia de simetrías específicas para Transformers, extendiéndose más allá de las simples permutaciones de neuronas. Estas incluyen:
- Absorción de Normalización: Convertir LayerNorm/RMSNorm con parámetros afines en operadores sin parámetros, absorbiendo ganancias y sesgos en las capas lineales adyacentes.
- Simetría Global del Espacio Residual: Aplicar rotaciones ortogonales globales y escalamientos al flujo residual, los cuales son preservados por RMSNorm.
- Permutaciones de Cabezales de Atención: Reordenar los cabezales de atención.
- Simetrías de Circuitos: Transformaciones invertibles internas dentro de los circuitos Query-Key (QK) y Value-Output (OV) de los cabezales de atención.
- Simetrías de FFN: Permutaciones de canales ocultos y simetrías de reescalamiento tipo GLU.
Parametrización: Para que estas simetrías sean aprendibles mediante descenso de gradiente, los autores parametrizan las transformaciones continuas usando:
- Transformada de Cayley para matrices ortogonales (eficiente y estable).
- Descomposición Polar (combinando Cayley para las partes ortogonales y Cholesky para las partes simétricas definidas positivas) para matrices invertibles.
- Las simetrías discretas (permutaciones de cabezales/FFN) se inicializan mediante Weight Matching y se mantienen fijas durante la fase de aprendizaje para asegurar la eficiencia.
Procedimiento de Aprendizaje Dual: A diferencia de los enfoques previos de "un solo lado" que optimizan un modelo ( $\Theta_B$ ) para que coincida con un objetivo fijo ( $\Theta_A$ ), LMC-DM introduce una optimización bidireccional. Ambos modelos aprenden sus propios parámetros de transformación ( $\pi_A$ y $\pi_B$ ) hacia un camino de interpolación lineal compartido:
$\Theta_{interp} = \lambda \pi_A(\Theta_A) + (1 - \lambda) \pi_B(\Theta_B)$
Los parámetros de simetría se optimizan directamente para minimizar la pérdida a lo largo del camino de interpolación, permitiendo que ambos modelos se muevan hacia un pozo de baja pérdida compartido, en lugar de forzar a uno a conformarse con el sistema de coordenadas del otro.

Contribuciones Clave

Formulación Exhaustiva de Simetrías: El artículo define una amplia familia de transformaciones que preservan la funcionalidad para Transformers, incluyendo la absorción de normalización, rotaciones del espacio residual y simetrías específicas de los circuitos de atención y FFN.
Dual Learned Matching: La introducción de un marco de optimización bidireccional donde ambos extremos son transformados, lo que resulta en un paisaje de optimización mejor condicionado y barreras de interpolación más bajas en comparación con los métodos de un solo lado.
Demostración de Escalabilidad: La aplicación exitosa de la fusión basada en LMC a modelos con hasta miles de millones de parámetros, una escala previamente inexplorada para una conectividad casi libre de barreras.

Resultados Experimentales
Los autores evalúan LMC-DM en Vision Transformers (ViT-S, ViT-B, ViT-L) y Modelos de Lenguaje (Pythia y OLMo) que van desde 14M hasta 6.9B de parámetros.

Barreras de Pérdida: En WikiText, LMC-DM logra barreras de pérdida casi nulas para modelos de 160 millones de parámetros (0.18), superando significativamente a Weight Matching (0.27) y al Learned Matching de un solo lado (0.27). Para modelos de 1B de parámetros, la barrera permanece baja (0.23).
Dominio de Visión: ViT-L mantiene más del 69% de la precisión top-1 de ImageNet a lo largo de todo el camino de interpolación, una mejora sustancial sobre la interpolación ingenua (que cae significativamente) y los métodos de un solo lado.
Comportamiento de Escalamiento: Mientras que los modelos Pythia de hasta 6.9B de parámetros exhiben pequeñas barreras de pérdida, OLMo-7B muestra barreras más altas, lo que sugiere que la LMC en modelos grandes está influenciada por factores más allá del simple escalamiento, como los datos de entrenamiento y la dinámica de optimización.
Estudios de Ablación: Eliminar las simetrías de QK o OV aumenta significativamente las barreras de pérdida, particularmente para los ViTs. El enfoque de aprendizaje dual supera consistentemente a las variantes de un solo lado, y la parametrización basada en Cayley para simetrías ortogonales resulta más efectiva que los enfoques de matriz exponencial o no restringidos.

Significancia y Afirmaciones
El artículo afirma proporcionar la primera demostración de conectividad lineal casi libre de barreras para modelos de lenguaje de tamaño medio (160M) y mostrar que los LLM de miles de millones de parámetros pueden conectarse con solo pequeñas barreras de pérdida cuando se alinean adecuadamente.

Los autores argumentan que sus resultados sugieren que los Transformers preentrenados de gran tamaño no son puntos aislados en el espacio de pesos, sino "representaciones relacionadas por simetría" que pueden alinearse y fusionarse eficazmente mediante caminos lineales simples. Al resolver las simetrías de parámetros mediante la optimización dual, el método permite la fusión y composición fiable de modelos a escalas que antes se consideraban intratables para la conectividad de modo lineal. El trabajo cierra la brecha entre la geometría teórica del paisaje de pérdida y la reutilización práctica de modelos, ofreciando una base para la composición escalable de grandes modelos preentrenados.