🤖 machine learning

Model Fusion via Retrofitting

Este artículo presenta un marco de fusión de modelos centrado en neuronas que trata la fusión como un problema de coincidencia de representaciones agrupando neuronas intermedias y utilizando puntuaciones de atribución para alinear características salientes, logrando un rendimiento superior al de los métodos existentes, particularmente en escenarios de cero disparos y no IID, en diversas arquitecturas como VGG, ResNet y ViT sin necesidad de reentrenamiento.

Autores originales: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Publicado 2026-05-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes dos chefs expertos que han pasado años perfeccionando sus propias recetas únicas. El Chef A se especializa en cocina italiana y el Chef B en cocina japonesa. Nunca han trabajado juntos, utilizan herramientas diferentes y podrían incluso medir los ingredientes en unidades distintas.

Ahora, imagina que quieres crear un único "Gran Chef" que pueda cocinar platos italianos y japoneses perfectamente, pero que no puedes pedirles que vuelvan a la escuela culinaria para reaprender todo desde cero. Solo quieres combinar su conocimiento existente en una sola persona de inmediato.

Este es el problema de la Fusión de Modelos. En el mundo de la Inteligencia Artificial (IA), a menudo tenemos diferentes redes neuronales (los "chefs") entrenadas por separado. Queremos fusionarlas en un solo modelo potente sin el costoso y lento proceso de volver a entrenarlas con nuevos datos.

El Problema: La "Barrera del Idioma"

El artículo explica que simplemente promediar los pesos de estos dos modelos (como mezclar sus libros de recetas página por página) suele fallar. ¿Por qué? Porque incluso si se entrenan con datos similares, aprenden las cosas de maneras diferentes.

El Problema de la "Permutación": Piensa en el "especiero" del Chef A, donde el "comino" está en el cajón superior, mientras que el "comino" del Chef B está en el cajón inferior. Si simplemente promedias sus cajones, terminas con una mezcla desordenada que no tiene sentido. Las neuronas de la IA (los "ingredientes") están en diferentes órdenes y ubicaciones.
El Desafío "Zero-Shot" (Sin Ejemplos Previos): La mayoría de los métodos existentes funcionan bien si los chefs tienen antecedentes similares. Pero si se entrenaron con datos completamente diferentes (como uno en comida italiana y otro en comida japonesa), los métodos existentes fallan miserablemente. El modelo combinado se confunde y rinde peor que los chefs individuales.

La Solución: "Reequipamiento" con un "Objetivo"

Los autores proponen un nuevo método llamado Fusión de Modelos mediante Reequipamiento. En lugar de simplemente promediar a los chefs, utilizan un proceso inteligente de dos pasos que actúa como un traductor y un entrenador.

Paso 1: El "Agrupamiento" (Encontrando a los Gemelos)

Primero, el algoritmo observa qué están haciendo realmente las neuronas (las neuronas son como las neuronas individuales en un cerebro humano, o las "habilidades" específicas de los chefs) cuando ven datos.

Agrupa neuronas similares del Chef A y del Chef B.
El Giro Creativo: El artículo introduce Puntuaciones de Atribución de Neuronas. Imagina que no todos los ingredientes son igualmente importantes. Algunas especias son críticas para el sabor; otras son solo decoración. El algoritmo identifica qué neuronas son los "jugadores estrella" (alta importancia) y cuáles son los "suplentes" (baja importancia).
Luego crea un "Objetivo" para cada grupo. Piensa en esto como una tarjeta de receta "Estándar de Oro" que representa el promedio perfecto de las neuronas agrupadas, ponderado por su importancia.

Paso 2: El "Reequipamiento" (El Entrenador)

Ahora, el algoritmo construye el nuevo "Gran Chef" (el modelo fusionado). No solo copia a los chefs antiguos; entrena las capas del nuevo modelo para que coincidan con esos "Objetivos Estándar de Oro" que acaba de crear.

Es como tomar un nuevo aprendiz y decirle: "No copies solo al Chef A o al Chef B. Mira este plato objetivo específico que diseñamos. Ajusta tu cocina hasta que tu salida coincida perfectamente con este objetivo".
Esto ocurre capa por capa, desde la parte inferior de la red hasta la superior.

Por Qué Esto Es Mejor (Los Resultados)

El artículo probó esto en varias arquitecturas de IA (como VGG, ResNet y Vision Transformers) y encontró:

Funciona Cuando Otros Fallan: En escenarios "Zero-Shot" (donde los modelos se fusionan sin ningún entrenamiento adicional con nuevos datos), los métodos existentes a menudo colapsan en conjeturas aleatorias. El método de los autores mantiene una alta precisión, incluso cuando los modelos se entrenaron con datos completamente diferentes y sin superposición (como la configuración "Fragmentada" donde un modelo solo ve coches rojos y el otro solo ve coches azules).
Respeta la Importancia: Al usar esas "Puntuaciones de Atribución de Neuronas", el método asegura que las características más críticas de los modelos originales se preserven, en lugar de perderse en el ruido de las características menos importantes.
Es Flexible: Funciona en diferentes tipos de arquitecturas de IA, no solo en un tipo específico.

La Compensación

El artículo admite que este método es un poco más lento y computacionalmente más pesado que los métodos de promediado "rápidos y sucios". Sin embargo, argumentan que vale la pena porque:

Produce un modelo utilizable de inmediato (Zero-Shot), mientras que otros métodos a menudo requieren horas o días de ajuste fino adicional para funcionar en absoluto.
A largo plazo, el tiempo ahorrado al arreglar modelos rotos supera el tiempo extra gastado en la fusión inicial.

Analogía de Resumen

La Vieja Manera: Tomas dos idiomas diferentes, los traduces palabra por palabra a un tercer idioma y esperas que el significado se mantenga. Por lo general, resulta en sinsentidos.
La Nueva Manera (Reequipamiento): Identificas los conceptos centrales (los "objetivos") que ambos chefs entienden, les asignas un valor basado en su importancia y luego enseñas a un nuevo chef a hablar ese idioma específico y unificado perfectamente.

El artículo concluye que este enfoque nos permite combinar modelos de IA independientes de manera efectiva, incluso cuando son muy diferentes, sin necesidad de volver a entrenarlos desde cero.

Resumen Técnico: Fusión de Modelos mediante Retrofitting

Enunciado del Problema

La fusión de modelos tiene como objetivo combinar redes neuronales entrenadas de forma independiente en un único modelo sin reentrenamiento, ofreciendo una solución para escenarios donde el reentrenamiento es prohibitivamente costoso o inviable debido a restricciones de privacidad de datos (por ejemplo, Aprendizaje Federado). Sin embargo, esta tarea se complica por la divergencia representacional causada por la invarianza de permutación, la inicialización aleatoria y distribuciones de datos de entrenamiento heterogéneas.

Los métodos existentes, como OTFusion (Singh & Jaggi, 2020) y Git Re-Basin (Ainsworth et al., 2023), se basan en la conjetura de Conectividad Lineal de Modos (LMC), que postula que las redes entrenadas de forma independiente residen en la misma cuenca de baja pérdida. Aunque la LMC se cumple para modelos entrenados con datos idénticos, estudios previos indican que incluso modelos entrenados con los mismos datos pueden aprender características internas divergentes. En consecuencia, los métodos de fusión existentes luchan significativamente en configuraciones de zero-shot (fusión sin entrenamiento adicional) y bajo regímenes de datos no IID (no Independientes e Idénticamente Distribuidos), colapsando a menudo hacia un rendimiento cercano al aleatorio. Además, los enfoques actuales a menudo carecen de generalidad entre arquitecturas (por ejemplo, tienen dificultades con Transformers) y dependen de modelos base que pueden no estar completamente optimizados, oscureciendo el verdadero potencial de los algoritmos de fusión.

Metodología

Los autores proponen una familia de algoritmos de fusión centrada en neuronas que replantea la fusión de modelos como un problema de ajuste de representaciones principiado. En lugar de simplemente promediar pesos o encontrar matrices de permutación, el método trata la fusión como un proceso de dos etapas: agrupar neuronas de modelos padres en representaciones objetivo y luego entrenar las sub-redes del modelo fusionado para aproximar estos objetivos.

Marco Central

Costo de Representación: El objetivo se define mediante la distancia $L_2$ al cuadrado entre las activaciones de las neuronas del modelo base y las neuronas más cercanas en el modelo fusionado, ponderadas por puntuaciones de importancia de neuronas (puntuaciones de atribución). Esto penaliza la mala representación de características salientes.
Descomposición (Teorema 1): Los autores introducen un vector objetivo auxiliar $T$ $T$ para descomponer el costo de representación en dos componentes interpretables:
- Error de Agrupamiento: Mide qué tan bien las neuronas del modelo base se agrupan alrededor de centroides ponderados por importancia ( $T_k$ ).
- Error de Aproximación: Mide qué tan bien las neuronas de salida del modelo fusionado aproximan estos centroides.
Algoritmo de Dos Etapas:
- Paso 1 (Agrupamiento): Las neuronas de los modelos base se agrupan para minimizar el error de agrupamiento. Esto produce centroides ponderados por importancia que sirven como objetivos.
- Paso 2 (Retrofitting): Los pesos del modelo fusionado en el nivel actual se optimizan (mediante solución de forma cerrada para capas lineales o SGD para capas no lineales) para minimizar el error de aproximación contra estos objetivos. Este proceso se realiza de abajo hacia arriba a través de los niveles de la red.

Variantes del Algoritmo

El artículo introduce dos algoritmos principales basados en la estrategia de agrupamiento:

Fusión Húngara (HF): Diseñada para modelos de tamaño igual con emparejamiento uno a uno por nivel. Utiliza el algoritmo húngaro para encontrar la asignación óptima.
Fusión K-means (KF): Diseñada para el caso general, incluidos modelos de anchos y profundidades arbitrarios. Utiliza el agrupamiento heurístico K-means para agrupar neuronas.

Ambos algoritmos tienen variantes Lineales (solución de forma cerrada para capas afines) y Basadas en Gradiente (SGD/Adam para capas no lineales).

Innovaciones Clave

Atribución de Neuronas: A diferencia de trabajos anteriores, este enfoque incorpora puntuaciones de importancia de neuronas (por ejemplo, Conductancia, DeepLIFT) para sesgar la alineación hacia características salientes, mejorando el rendimiento en configuraciones heterogéneas.
Flexibilidad Arquitectónica: El método es aplicable a cualquier arquitectura modularizable como un Grafo Acíclico Dirigido (DAG) de niveles, validado empíricamente en VGGs, ResNets y Vision Transformers (ViTs).
Capacidad Zero-Shot: Al optimizar explícitamente la aproximación de representaciones agrupadas, el método logra un rendimiento sólido sin el ajuste fino extenso requerido por métodos anteriores.

Resultados Experimentales

Los autores evaluaron sus métodos en tres regímenes de entrenamiento: Fragmentado (conjuntos de clases disjuntos), No IID (distribuciones de clases sesgadas) y Conjunto de Datos Completo.

Regímenes Fragmentados/No IID: En configuraciones extremas no IID (por ejemplo, divisiones de clases de 6 vías en CIFAR-100), los métodos existentes como OTFusion y Git Re-Basin colapsaron a una precisión cercana al aleatorio (a menudo <5%). En contraste, KF-Gradient y HF-Gradient mantuvieron una precisión zero-shot robusta (por ejemplo, 34.7% en CIFAR-100 para divisiones de 6 vías frente a <1.5% para las líneas base).
Regímenes de Conjunto de Datos Completo: Incluso cuando los modelos se entrenan con el conjunto de datos completo, los métodos propuestos superan a las líneas base en fusión zero-shot. Por ejemplo, en CIFAR-100, KF-Gradient logró una precisión zero-shot del 63.0% en comparación con el 4.3% de Transformer OTFusion. Después del ajuste fino, los métodos propuestos se acercaron consistentemente al rendimiento de ensamble mientras mantenían los costos de inferencia de un solo modelo.
Compresión y Heterogeneidad: El método fusionó con éxito modelos de diferentes anchos y comprimió modelos más grandes (ResNet-50) en modelos más pequeños (ResNet-18) con una precisión significativamente mayor que la Distilación de Conocimiento (KD) estándar cuando los datos eran limitados.
Robustez: El enfoque demostró robustez ante tamaños variables de conjuntos de datos de fusión, donde la augmentación de datos mitigó efectivamente la necesidad de grandes conjuntos de fusión.

Significado y Afirmaciones

El artículo afirma abordar tres brechas clave en la investigación anterior:

Reproducibilidad: Proporcionar una reimplementación de código abierto y flexible que facilita la evaluación sistemática entre arquitecturas.
Calidad del Modelo Base: Demostrar que los métodos de fusión pueden producir mejoras significativas incluso cuando los modelos base están bien entrenados, desafiando la noción de que los resultados de fusión pobres se deben únicamente a líneas base débiles.
Datos Heterogéneos: Mostrar que los métodos existentes fallan en la fusión zero-shot bajo condiciones no IID, mientras que el enfoque propuesto centrado en neuronas integra con éxito modelos entrenados en distribuciones de datos disjuntas o sesgadas.

Los autores enfatizan que su enfoque es el primero en incorporar con éxito puntuaciones de importancia de neuronas en la fusión de modelos, lo que conduce a mejoras consistentes sobre las líneas base existentes, particularmente en escenarios zero-shot y no IID donde otros métodos fallan. Posicionan el método como una solución práctica para el Aprendizaje Federado y la agregación de modelos que preservan la privacidad, donde el reentrenamiento no es una opción. Si bien reconocen que las variantes basadas en gradiente son computacionalmente más costosas que las líneas base ligeras, los autores argumentan que esta sobrecarga está justificada por la capacidad de producir modelos fusionados viables en regímenes donde los competidores arrojan resultados inutilizables.