🤖 machine learning

RegMean++: Enhancing Effectiveness and Generalization of Regression Mean for Model Merging

RegMean++ mejora el método de fusión de modelos RegMean al incorporar dependencias tanto intra como intercapas en su formulación de regresión, logrando una mayor eficacia y capacidad de generalización en diversos escenarios y tareas.

Autores originales: The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen

Publicado 2026-04-28

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema: El "Frankenstein" de los Modelos de Inteligencia Artificial

Imagina que tienes varios chefs expertos. Uno es un maestro de la cocina italiana, otro es un experto en sushi y un tercero es un genio de la repostería francesa. Si quieres crear un "Súper Chef" que sepa cocinar de todo, podrías intentar mezclar sus recetas.

En el mundo de la Inteligencia Artificial (IA), esto se llama "Model Merging" (Fusión de Modelos). El objetivo es tomar varios modelos de IA que ya saben hacer cosas específicas y combinarlos en uno solo que sea un "todoterreno".

Hasta ahora, existía un método llamado RegMean. Imagina que RegMean es como intentar mezclar a los chefs simplemente promediando sus ingredientes: "Si el chef italiano usa 10g de sal y el de sushi usa 2g, pongamos 6g". El problema es que RegMean trata cada parte del cerebro de la IA (cada "capa") como si fuera un ingrediente aislado, sin pensar en cómo se conectan entre sí. Es como mezclar la pasta con el arroz sin entender que, si los mezclas mal, la textura final será un desastre.

La Solución: RegMean++ (El Director de Orquesta)

Los autores de este estudio han creado RegMean++. La gran diferencia es que este nuevo método no solo mira los ingredientes de forma aislada, sino que entiende la "corriente de información".

La analogía del río:
Imagina que el conocimiento de una IA fluye como un río a través de varios canales (las capas del modelo).

RegMean (el viejo) intentaba arreglar cada canal por separado, sin mirar hacia dónde iba el agua.
RegMean++ (el nuevo) observa cómo el agua fluye desde el primer canal hasta el último. Si cambia algo en el primer canal, sabe que eso afectará la fuerza y la dirección del agua en el canal final. Al entender esta conexión (lo que ellos llaman "dependencias entre capas"), la mezcla es mucho más armoniosa.

¿Por qué es mejor? (Los resultados)

Los científicos probaron este "Súper Chef" en tareas de visión (reconocer imágenes) y de lenguaje (escribir textos), y los resultados fueron impresionantes:

Es más inteligente y versátil: No solo hace bien lo que ya sabía, sino que cuando le presentas algo nuevo que nunca ha visto (como una imagen con ruido o un tema extraño), se defiende mucho mejor que los métodos anteriores. Es como un chef que, aunque le des un ingrediente exótico que no conoce, sabe improvisar gracias a su buena base.
No se olvida de lo aprendido: En la IA existe un problema llamado "olvido catastrófico" (cuando aprendes algo nuevo y se te borra lo viejo). RegMean++ es como un estudiante que puede añadir nuevos libros a su biblioteca sin tener que tirar los anteriores a la basura.
Es robusto: Si la información llega un poco "sucia" o distorsionada (como una foto borrosa), RegMean++ sigue siendo capaz de entender qué está pasando, mientras que otros métodos se confunden fácilmente.

En resumen...

Si la fusión de modelos antigua era como intentar construir un coche mezclando piezas de diferentes marcas sin mirar si los tornillos encajaban, RegMean++ es como un ingeniero experto que diseña el coche completo, asegurándose de que el motor, la transmisión y las ruedas trabajen en perfecta sincronía para que el viaje sea suave.

Resumen Técnico: RegMean++: Mejorando la Efectividad y Generalización de la Media de Regresión para la Fusión de Modelos

Publicación: Transactions on Machine Learning Research (04/2026).

1. El Problema: Limitaciones de RegMean

El paradigma actual de aprendizaje automático se basa en el preentrenamiento seguido del ajuste fino (pretrain-finetune). Esto genera una gran cantidad de modelos especializados (modelos candidatos). La fusión de modelos (model merging) busca combinar estos modelos en uno solo con capacidades multitarea sin necesidad de reentrenamiento costoso.

El método existente, RegMean, formula la fusión como un problema de regresión lineal con una solución de forma cerrada. Su objetivo es minimizar la discrepancia entre las predicciones del modelo fusionado y los modelos candidatos. Sin embargo, RegMean presenta una limitación crítica: fusiona cada capa lineal de forma independiente. Al hacerlo, ignora cómo la información y las características se propagan a través de las capas (dependencias inter-capas) y cómo interactúan los componentes dentro de una misma capa (dependencias intra-capa). Esta falta de consideración de la arquitectura profunda impide que el modelo fusionado generalice bien ante cambios de distribución.

2. Metodología: RegMean++

Los autores introducen RegMean++, una extensión que incorpora explícitamente las dependencias intra-capa e inter-capa en el objetivo de optimización.

Mecanismo de Dependencia Inter-capa: A diferencia de RegMean, que utiliza las activaciones de los modelos candidatos para calcular las estadísticas de las capas, RegMean++ utiliza las activaciones producidas por las capas ya fusionadas del modelo resultante. Es decir, para la capa $l$ , la entrada $X^{(l)}$ se calcula pasando los datos a través de la capa fusionada anterior $f^{(l-1)}_M$ . Esto permite que la fusión de la capa actual sea coherente con la representación que el modelo fusionado ya está construyendo.
Objetivo de Optimización: Mantiene la eficiencia de la solución de forma cerrada de RegMean, pero al utilizar características que provienen del flujo de información del modelo fusionado, logra una alineación mucho más precisa con el comportamiento real del modelo final.
Componentes: Se aplican soluciones de regresión a las capas lineales (dentro de los módulos MLP y cabezales de atención) y se utiliza el promedio simple para las capas no lineales (LayerNorm, GELU, etc.).

3. Contribuciones Clave

Nuevo Algoritmo: Introducción de RegMean++, aplicable tanto a tareas de visión como de lenguaje.
Análisis de Capas: El estudio revela que:
- Fusionar solo las capas medias y profundas preserva más del 98% de la precisión, mientras que las capas iniciales son menos críticas para la fusión.
- Las capas de profundidad media suelen ser fuentes de características más fiables que la última capa.
- La fusión en los módulos MLP supera consistentemente a la fusión en los cabezales de atención.
Escalabilidad y Robustez: Demuestra que el método es sostenible en fusiones secuenciales (añadir tareas una tras otra) y robusto ante desplazamientos de distribución (distribution shifts).

4. Resultados Experimentales

Los experimentos se realizaron en benchmarks de visión (ViT-B/32, B/16, L/14) y lenguaje (Llama 3, Gemma 2).

Rendimiento Superior: RegMean++ supera consistentemente a RegMean en todas las tareas, logrando una mejora promedio del 2.0% en visión.
Generalización OOD (Fuera de Dominio): Aunque métodos como TIES-Merging pueden tener un alto rendimiento en el dominio de entrenamiento (ID), RegMean++ ofrece un equilibrio superior entre rendimiento ID y capacidad de generalización en datos no vistos (OOD).
Robustez: Supera a todos los métodos data-free y training-free en pruebas con datos corruptos (ruido Gaussiano, JPEG, desenfoque, etc.).
Fusión Secuencial: En escenarios donde las tareas llegan progresivamente, RegMean++ mitiga mejor el "olvido catastrófico" de las tareas iniciales en comparación con otros métodos avanzados.

5. Significancia y Conclusión

La importancia de este trabajo radica en que demuestra que la arquitectura de una red neuronal no es solo una colección de capas independientes, sino un sistema de flujo de información interconectado. Al tratar la fusión como un proceso que respeta la propagación de características, RegMean++ logra modelos fusionados más inteligentes, robustos y capaces de generalizar.

Aunque introduce un costo computacional adicional (aproximadamente el doble de tiempo de fusión debido a las pasadas hacia adelante adicionales para recolectar estadísticas), sigue siendo órdenes de magnitud más eficiente que el reentrenamiento completo o los métodos de adaptación en tiempo de prueba (test-time adaptation), posicionándose como una herramienta altamente práctica para la creación de modelos multitarea a gran escala.