🤖 machine learning

Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

Este artículo presenta las Hiper-Conexiones Restringidas por Variedades (mHC, por sus siglas en inglés), un nuevo enfoque de ajuste fino eficiente en parámetros que adapta las conexiones residuales en Transformers congelados, demostrando que, si bien mHC por sí solo no supera consistentemente a LoRA, la combinación de mHC con LoRA produce un rendimiento de modelado de lenguaje y ganancias en evaluaciones comparativas superiores con presupuestos de parámetros equivalentes.

Autores originales: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Publicado 2026-07-21

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot masivo e increíblemente inteligente que ya ha aprendido a leer, escribir y comprender el mundo estudiando una biblioteca de casi todo lo que se ha escrito jamás. Este robot es un "modelo fundacional". Es brillante, pero también es una máquina gigante y pesada. Si quieres enseñarle un nuevo truco —como escribir chistes divertidos o resolver problemas matemáticos—, normalmente tienes que retocar sus engranajes internos. Pero girar todos esos engranajes a la vez es costoso, lento y, a veces, hace que el robot olvide sus habilidades anteriores. Así que los científicos inventaron el "Ajuste Fino de Parámetros Eficiente" (PEFT, por sus siglas en inglés). Piensa en el PEFT como poner un módulo adicional pequeño y hecho a medida al robot en lugar de reconstruir toda la máquina. Congelas el cerebro del robot y solo entrenas esta pequeña parte nueva.

Durante mucho tiempo, estos complementos funcionaron cambiando los pesos internos del robot (como ajustar la tensión de un resorte) o añadiendo pequeñas cajas nuevas para procesar información. Pero había una parte gigante del cerebro del robot que todos dejaron intacta: la "conexión residual". Imagina una cinta transportadora que lleva la información desde el inicio de una capa hasta el final, con un camino lateral donde el robot realiza algún procesamiento sofisticado antes de fusionar el resultado de nuevo en la cinta. Esta cinta es crucial; evita que el robot se confunda a medida que se vuelve más profundo y complejo. La gran pregunta que este artículo plantea es: ¿Qué pasaría si no dejáramos esa cinta intacta? ¿Qué pasaría si construyéramos un controlador de tráfico inteligente para esa cinta, permitiéndonos decidir exactamente cómo se mezclan y se fusionan las diferentes corrientes de información mientras viajan a través del robot?

Este artículo presenta un nuevo método llamado Conexiones Hiper-Conectadas con Restricción de Manifold (mHC). Los investigadores intentaron envolver un robot congelado (específicamente un modelo OLMo-2) con estos controladores de tráfico inteligentes para ver si podían enseñar al robot nuevas tareas de manera más eficiente. Descubrieron que, si bien estos controladores pueden funcionar, se comportan de manera muy diferente en un entorno de "ajuste fino" de lo que lo hacen cuando se está construyendo un robot desde cero. ¿El descubrimiento más sorprendente? El mejor controlador de tráfico fue a menudo aquel que no hacía nada a la mezcla de las corrientes.

Aquí está el giro: Los investigadores descubrieron que cuando dejaban que el robot aprendiera a mezclar las diferentes corrientes de información, esto en realidad empeoraba las cosas o no ayudaba mucho. Sin embargo, cuando obligaban a la parte de la mezcla a permanecer exactamente igual que en el robot original (un ajuste de "identidad", lo que significa "no cambies el flujo"), el robot funcionaba mejor y utilizaba menos recursos. Resulta que, para un robot que ya sabe mucho, la mejor estrategia no es reaprender cómo barajar sus pensamientos, sino simplemente aprender dónde mirar y dónde escribir nuevas ideas, dejando la autopista principal de sus pensamientos exactamente como estaba.

Aunque este nuevo método (mHC) no superó a los actuales campeones (como LoRA) cuando se usó solo, mostró algo emocionante cuando se combinó con ellos. Combinar el "controlador de tráfico inteligente" con el "ajustador de pesos" estándar (LoRA) creó un equipo que era mejor en algunas tareas que cualquiera de los dos por separado. Esto sugiere que hay una forma completamente nueva de ajustar estos robots: no cambiando sus engranajes, sino redirigiendo cómo fluyen sus pensamientos, lo cual podría ser una herramienta poderosa para el futuro de la IA.

La historia del controlador de tráfico inteligente

Los investigadores partieron de una idea simple: la conexión residual (la cinta transportadora) en los modelos de IA suele ser solo una línea recta. La información entra, se procesa y sale, sumándose a la entrada original. Los autores del artículo se preguntaron: "¿Qué pasaría si hiciramos esa línea más inteligente?". Introdujeron las Hiper-Conexiones, que permiten que el robot tenga múltiples corrientes de información paralelas (como tener cuatro cintas transportadoras en lugar de una) y aprenda a mezclarlas entre sí.

Sin embargo, mezclar las cosas al azar puede ser peligroso. Si mezclas cuatro corrientes de agua sin un plan, podrás terminar con una inundación o una sequía. Para solucionar esto, utilizaron Conexiones Hiper-Conectadas con Restricción de Manifold (mHC). Piensa en esto como un libro de reglas estricto para el controlador de tráfico. Asegura que, sin importar cómo se mezclen las corrientes, la cantidad total de "señal" se mantenga constante. Evita que el robot amplifique accidentalmente el ruido o pierda información importante a medida que los datos viajan a través de cientos de capas.

El equipo probó esto en un modelo de 1.000 millones de parámetros (un robot de tamaño medio) y en un modelo de 7.000 millones de parámetros (un robot gigante). Compararon su nuevo método mHC contra el estándar de la industria, LoRA (que ajusta los pesos internos del robot), y otros métodos populares.

La gran sorpresa: Menos mezcla es más
Cuando entrenaron el mHC por primera vez, esperaban que el robot aprendiera una forma compleja y única de mezclar sus cuatro corrientes de información para resolver problemas. Pero cuando examinaron los resultados, vieron algo extraño. En las capas más profundas del robot, la "matriz de mezcla" (la parte que decide cómo barajar las corrientes) derivaba naturalmente hacia una matriz de identidad.

En lenguaje sencillo, el robot estaba aprendiendo que la mejor manera de manejar las corrientes era simplemente dejarlas pasar sin cambios. Era como un controlador de tráfico que, tras estudiar la carretera durante un tiempo, decidió: "Saben qué, la mejor manera de que los coches lleguen al destino es simplemente dejarlos conducir recto sin cambiar de carril".

Los investigadores probaron esta teoría forzando manualmente la parte de la mezcla para que se mantuviera como una matriz de identidad (sin permitir la mezcla) desde el principio. ¿El resultado? El robot funcionaba mejor o igual, pero con significativamente menos parámetros entrenables.

En experimentos con un modelo de 1.000 millones de parámetros, fijar la mezcla a la identidad redujo la pérdida de prueba (una medida de error) de 1,32 a 1,27, ahorrando más de 8 millones de parámetros.
Esto sugiere que para un robot que ya ha sido preentrenado, la parte de la "mezcla" de la conexión residual ya es perfecta. Intentar reaprenderla es innecesario e incluso puede ser perjudicial. El verdadero poder reside en las puertas de "lectura" y "escritura": las partes que deciden en qué corriente mirar y dónde poner la nueva información.

El poder del trabajo en equipo
El artículo también preguntó: "¿Puede este nuevo método trabajar con los métodos antiguos?".
Encontraron que mHC y LoRA son como dos herramientas diferentes que solucionan problemas distintos. LoRA cambia los engranajes (pesos), mientras que mHC cambia el flujo de tráfico (enrutamiento).

Cuando combinaron mHC (con la regla de mezcla de identidad) y LoRA, el robot mejoró aún más.
Por ejemplo, en un modelo de 7.000 millones de parámetros, combinar un pequeño módulo mHC con LoRA mejoró el rendimiento del robot en tareas de matemáticas y razonamiento (como GSM8K y HellaSwag) en comparación con el uso de LoRA por sí solo.
El artículo sugiere que esta combinación funciona porque están atacando el problema desde ángulos diferentes. Uno cambia lo que el robot sabe (pesos), y el otro cambia cómo accede a ese conocimiento (enrutamiento).

Qué significa esto
El artículo concluye que m mHC es una nueva herramienta prometedora, pero no es una solución mágica que lo reemplaza todo.

Como acto solitario: No supera consistentemente a los mejores métodos existentes como LoRA.
Como compañero: Brilla cuando se combina con ellos, ofreciendo mejoras en tareas específicas.
La lección clave: El hallazgo más importante es que, para el ajuste fino, debemos dejar de intentar reaprender cómo mezclar las corrientes residuales. El ajuste de "identidad" (mantener el flujo exactamente como estaba) es el ingrediente secreto.

Los autores admiten que sus hallazgos se basan en modelos específicos (OLMo-2) y conjuntos de datos, y aún no saben si esta "regla de identidad" se aplica a cada tipo de robot de IA. Pero la idea de que "a veces el mejor cambio es dejar la autopista principal tal como estaba y simplemente construir mejores salidas" abre una dirección nueva y emocionante para hacer que la IA sea más inteligente y eficiente.

Resumen Técnico: Hiper-Conexiones con Restricción de Variedad para el Ajuste Fino Eficiente en Parámetros

Declaración del Problema

Los sistemas modernos de aprendizaje profundo dependen cada vez más de modelos fundacionales preentrenados en conjuntos de datos masivos, los cuales son posteriormente adaptados a tareas específicas mediante el ajuste fino (finetuning). Mientras que actualizar todos los parámetros es computacionalmente costoso y conlleva el riesgo de olvido catastrófico, los métodos de Ajuste Fino Eficiente en Parámetros (PEFT) abordan esto congelando el esqueleto (backbone) y entrenando solo un pequeño número de parámetros adicionales. Los enfoques existentes, como LoRA (adaptación de bajo rango) y los módulos Adapter, se centran principalmente en modificar matrices de pesos o insertar módulos entrenables locales. Sin embargo, estos métodos dejan prácticamente sin cambios la estructura arquitectónica del modelo, específicamente las conexiones residuales.

Las conexiones residuales son fundamentales para el entrenamiento de redes profundas, proporcionando rutas de identidad que mitigan el desvanecimiento del gradiente y facilitan el flujo de información. Aunque trabajos recientes introdujeron las Hiper-Conexiones (HC) para generalizar las conexiones residuales permitiendo que el modelo aprenda cómo interactúan diferentes flujos de profundidad, las HC no restringidas pueden provocar inestabilidad a lo largo de la profundidad. Se propusieron las Hiper-Conexiones con Restricción de Variedad (mHC) para estabilizar este mecanismo durante el preentrenamiento, restringiendo la matriz de mezcla residual a una variedad que preserva la norma. El problema central que aborda este artículo es si las mHC pueden ser reutilizadas eficazmente como un método PEFT para esqueletos Transformer congelados y cómo su comportamiento en el ajuste fino se compara con su configuración original de preentrenamiento.

Metodología

Los autores implementan mHC como un envoltorio (wrapper) alrededor de bloques Transformer preentrenados (específicamente modelos OLMo-2), modificando la forma en que las representaciones intermedias se enrutan a través de las corrientes residuales sin alterar los pesos del esqueleto congelado.

Mecanismo Central

Las conexiones residuales estándar siguen $z_l = f_l(z_{l-1}) + z_{l-1}$ . Las mHC generalizan esto manteniendo $n$ corrientes residuales paralelas.

Enrutamiento: El modelo aprende a leer de las corrientes ( $h_{pre}$ ), mezclarlas a través de la profundidad ( $H_{res}$ ) y escribir de vuelta en las corrientes ( $h_{post}$ ).
Restricción de Variedad: Para evitar la inestabilidad observada en las HC no restringidas, la matriz de mezcla residual $H_{res}$ se restringe para ser doblemente estocástica (entradas no negativas, las filas y columnas suman 1). Esto se logra mediante el algoritmo de Sinkhorn-Knopp, proyectando los logits no restringidos sobre el politopo de Birkhoff.
Variantes: El estudio evalúa varias parametrizaciones:
- Sinkhorn mHC: Utiliza la proyección iterativa de Sinkhorn.
- mHC-lite: Utiliza el teorema de Birkhoff-von Neumann para parametrizar $H_{res}$ como una combinación convexa de matrices de permutación.
- KromHC: Construye $H_{res}$ mediante productos de Kronecker de matrices doblemente estocásticas más pequeñas, ofreciendo una mejor escalabilidad.
- Estático vs. Dinámico: Las variantes estáticas utilizan logits aprendidos fijos por capa, mientras que las variantes dinámicas predicen los parámetros de enrutamiento basados en la representación actual de la entrada.

Configuración Experimental

Esqueleto (Backbone): OLMo-2-0425-1B (1B de parámetros) y OLMo-2-1124-7B (7B de parámetros).
Datos: Conjunto de datos mixto Tulu-3 SFT OLMo.
Líneas Base (Baselines): Comparado contra LoRA, VeRA, (IA)3, Prompt Tuning y Layer Tuning.
Evaluación: Medido mediante la pérdida de predicción del siguiente token (entrenamiento/validación) y benchmarks de tareas posteriores (BBH, DROP, GSM8K, HellaSwag, MATH, MMLU, PIQA, TriviaQA).

Hallazgos Clave y Resultados

1. La Preservación de la Identidad es Crítica en el Ajuste Fino

Un descubrimiento fundamental es que las mHC se comportan de manera esencialmente diferente en el ajuste fino en comparación con el preentrenamiento.

Observación: En el escenario de ajuste fino, la matriz de mezcla residual aprendida $H_{res}$ converge naturalmente hacia una matriz identidad ( $H_{res} \approx I_n$ ) en las capas más profundas.
Implicación: Forzar a que $H_{res}$ sea la matriz identidad (eliminando por completo los parámetros de mezcla aprendibles) mejora o preserva el rendimiento al mismo tiempo que reduce significativamente el recuento de parámetros entrenables.
Mecanismo: Los autores hipotetizan que en el ajuste fino, el esqueleto ya contiene representaciones ricas. Disrumpir la vía residual preentrenada mediante la mezcla aprendida es contraproduivo. En su lugar, el modelo se beneficia de un enrutamiento de lectura/escritura dependiente de la entrada ( $h_{pre}$ y $h_{post}$ ) mientras mantiene la vía residual de profundidad estática.

2. Rendimiento como Método PEFT Independiente

Reducción de Pérdida: Las variantes de mHC logran reducir la pérdida de entrenamiento y de prueba en comparación con el esqueleto congelado.
Comparación de Benchmarks: Como método independiente, mHC no supera consistentemente a las líneas base establecidas como LoRA o VeRA en todas las tareas de seguimiento. Aunque muestra resultados competitivos en tareas específicas basadas en conocimiento (por ejemplo, TriviaQA, PIQA), a menudo rinde por debajo de LoRA en tareas con mayor carga de razonamiento.
Eficiencia de Parámetros: Las variantes estáticas (por ejemplo, Static KromHC) son extremadamente ligeras (por ejemplo, 384 parámetros para el modelo de 1B), pero las variantes dinámicas (que funcionan mejor) requieren más parámetros, estrechando la brecha con LoRA.

3. Sinergia con Métodos PEFT Existentes

La aplicación más prometedora de mHC es como un complemento de los métodos existentes en lugar de un reemplazo.

Enfoque Combinado: Combinar mHC (específicamente la variante de identidad preservadora de KromHC dinámica) con LoRA produce mejoras.
Resultados: Al combinar mHC y LoRA con presupuestos de parámetros equivalentes, se mejora la pérdida de modelado de lenguaje y se muestran ganancias dependientes de la tarea en benchmarks (por ejemplo, mejoras en GSM8K, HellaSwag y PIQA a escala de 7B).
Interpretación: Esto sugiere que mHC y LoRA operan en ejes ortogonales: LoRA adapta las transformaciones de peso locales, mientras que mHC adapta el enrutamiento de las representaciones a través de las corrientes residuales.

Significancia y Contribuciones

El artículo realiza cinco contribuciones principales:

Nuevo Eje PEFT: Introduce mHC como un mecanismo PEFT para Transformers congelados, cambiando el enfoque de la adaptación de pesos al enrutamiento residual.
Perspectiva Mecanicista: Identifica la preservación de la identidad como un hallazgo clave, demostrando que fijar la matriz de mezcla residual a la identidad mejora el rendimiento en el ajuste fino, contrastando con el escenario de preentrenamiento donde la mezcla aprendida es beneficiosa.
Complementariedad: Establece que mHC es más efectivo cuando se combina con métodos PEFT estándar (como LoRA), ofreciendo un mecanismo de adaptación distinto que puede mejorar la pérdida y el rendimiento específico de la tarea.
Escalabilidad: Valida estos hallazgos a través de escalas de modelos (1B y 7B), mostrando que los beneficios de la mHC de identidad preservadora y su combinación con LoRA persisten a escalas mayores.
Eficiencia: Demuestra que el enrutamiento residual puede ser una estrategia PEFT estable y efectiva, con variantes específicas (como KromHC) que ofrecen una parametrización eficiente.

Conclusión

El artículo concluye que, si bien mHC no supera universalmente a LoRA como un método PEFT independiente, abre un eje distinto y prometedor para el ajuste fino: el enrutamiento residual. La idea clave es que, para esqueletos congelados, preservar la vía residual preentrenada (al fijar $H_{res}$ a la identidad) mientras se utiliza la capacidad para compuertas de lectura/escritura dependientes de la entrada es más efectivo que aprender mezclas complejas entre corrientes. Por consiguiente, mHC debe verse no como un reemplazo directo de los métodos existentes, sino como un mecanismo complementario que mejora el PEFT al modular cómo fluyen las representaciones a través de las corrientes residuales del modelo.