🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

Este trabajo propone un marco general para la fusión de modelos basado en el promediado de Fréchet sobre variedades apropiadas para garantizar la invariancia de simetría, demostrando su capacidad para abarcar métodos existentes como la fusión de Fisher y proporcionando un algoritmo práctico para fusionar adaptadores de bajo rango (LoRA) que aborda las limitaciones de los enfoques actuales.

Autores originales: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Publicado 2026-05-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un equipo de chefs expertos. Cada chef ha dominado un plato específico: uno hace la lasaña perfecta, otro el sushi ideal y un tercero el soufflé más fino. Ahora, quieres crear un "Chef Supremo" que pueda cocinar los tres platos perfectamente, pero no tienes tiempo para entrenar a un nuevo chef desde cero. Solo quieres combinar el conocimiento existente de los chefs.

En el mundo de la IA, esto se llama Fusión de Modelos. Tomas los "pesos" (los ajustes internos) de diferentes modelos de IA y tratas de mezclarlos en uno solo.

El Problema: El "Mapa Incorrecto"

El artículo argumenta que la antigua forma de hacer esto es como intentar mezclar las recetas de estos chefs simplemente promediando sus números en un papel. Esto funciona bien si todos escriben en el mismo idioma y usan las mismas unidades.

Pero los modelos de IA tienen un rasgo oculto: Simetría.
Piénsalo así: el Chef A podría escribir "2 tazas de harina", mientras que el Chef B escribe "1 taza de harina + 1 taza de harina". Quieren decir exactamente lo mismo, pero los números se ven diferentes. O, el Chef C podría haber cambiado el orden de sus ingredientes en el cuaderno, pero el sabor del plato es idéntico.

En la IA, hay muchas formas de escribir la misma "receta" (modelo) exacta usando números diferentes. Si simplemente tomas el promedio de los números (Promedio Ingenuo), podrías terminar con una receta que dice "0 tazas de harina" porque los números positivos y negativos se cancelaron entre sí. Has creado un modelo roto que no puede cocinar nada.

Los autores llaman a esto salirse de la órbita. Imagina que la receta "verdadera" existe en una pista circular (una órbita). Si simplemente dibujas una línea recta entre dos puntos en la pista, cortas a través del medio del círculo y terminas en el barro (un modelo roto), en lugar de mantenerte en la pista donde viven las buenas recetas.

La Solución: La "Brújula Inteligente" (GeoMerge)

El artículo propone un nuevo método llamado GeoMerge. En lugar de simplemente promediar números, tratan el espacio de los modelos de IA como un paisaje curvo (una variedad de Riemann).

El Mapa: Se dan cuenta de que, debido a la simetría (las diferentes formas de escribir la misma receta), el "verdadero" mapa no es una hoja de papel plana. Es una superficie plegada y curva donde diferentes puntos en realidad representan lo mismo.
La Brújula: Utilizan una herramienta matemática llamada Promedio de Fréchet. Piensa en esto no como un promedio simple, sino como encontrar el "centro de gravedad" en una superficie curva.
Alineación: Antes de mezclar los modelos, primero los "alinean". Es como asegurarse de que el Chef A y el Chef B estén usando las mismas tazas medidoras y escribiendo en el mismo orden. Encuentran la versión específica de la receta de cada chef que está más cerca de las demás, ignorando las diferencias cosméticas en cómo se escriben los números.
El Camino: En lugar de cortar recto a través del barro, caminan a lo largo del camino curvo (una geodésica) que se mantiene en la pista de las "buenas recetas".

Por Qué Esto Importa para "LoRA" (Los Chefs Especializados)

El artículo se centra mucho en una técnica popular llamada LoRA (Adaptación de Bajo Rango). Imagina que estos no son chefs completos, sino sous-chefs especializados que solo ajustan unos pocos ingredientes específicos para mejorar un plato.

Los autores descubrieron que cuando intentas fusionar estos ajustes especializados usando métodos antiguos, el problema de la "simetría" es aún peor. Las notas de los sous-chefs son tan flexibles que pueden escribirse de miles de formas diferentes que todas significan lo mismo.

Método Antiguo (KnOTS): Intenta forzar la alineación de las notas usando un truco matemático rígido y paso a paso (SVD). Funciona bastante bien, pero es como intentar forzar clavijas cuadradas en agujeros redondos.
GeoMerge: Reconoce que las notas viven naturalmente en una superficie curva. Utiliza la "Brújula Inteligente" para encontrar el verdadero centro del grupo sin forzarlos a una forma rígida.

Los Resultados

Los investigadores probaron esto en un modelo de IA grande (Llama 3) que había sido especializado para diferentes tipos de acertijos de lenguaje (Inferencia de Lenguaje Natural).

El Resultado: GeoMerge creó un "Chef Supremo" que funcionó mejor que el método anterior más destacado (KnOTS).
La Eficiencia: Aún mejor, GeoMerge lo hizo manteniendo el "tamaño" de la receta pequeño. El método antiguo terminó con una receta masiva y hinchada (rango alto), mientras que GeoMerge la mantuvo delgada y eficiente, demostrando que entendió mejor la geometría del problema.

En Resumen

El artículo dice: No promedies simplemente los números. Los modelos de IA son como recetas que pueden escribirse en muchos idiomas diferentes. Si quieres fusionarlos, primero necesitas traducirlos a un idioma común (alineación) y luego encontrar el centro del grupo usando un mapa que respete la forma del mundo (geometría), en lugar de una regla plana. Esto evita que el "Chef Supremo" se convierta en un desastre roto.

Aquí se presenta un resumen técnico detallado del artículo "Generalizing the Geometry of Model Merging Through Fréchet Averages" de da Silva et al.

1. Planteamiento del Problema

La fusión de modelos (model merging) tiene como objetivo combinar múltiples redes neuronales entrenadas en un único modelo sin un entrenamiento adicional de extremo a extremo. Si bien el promediado simple en el espacio de parámetros (por ejemplo, Model Soups) funciona bien para modelos ajustados de rango completo, falla significativamente cuando se aplica a métodos de Ajuste Fino Eficiente en Parámetros (PEFT) como LoRA (Adaptación de Bajo Rango).

El problema central es la simetría arquitectónica:

Los parámetros de las redes neuronales no son coordenadas canónicas; configuraciones de parámetros distintas pueden representar exactamente la misma función de entrada-salida debido a simetrías (por ejemplo, permutaciones de neuronas, reescalado o simetrías de gauge en factorizaciones de bajo rango).
El promediado ingenuo (euclidiano) ignora estas simetrías. Puede "salirse" de la órbita geométrica correcta, lo que lleva a una interferencia destructiva donde el modelo fusionado colapsa o tiene un rendimiento deficiente.
Los métodos de alineación existentes (como KnOTS) intentan solucionar esto alineando las actualizaciones de tareas mediante SVD, pero a menudo dependen de elecciones específicas de gauge o heurísticas dependientes de coordenadas que no respetan plenamente la geometría subyacente.

2. Metodología: GeoMerge

Los autores proponen GeoMerge, un marco que replantea la fusión de modelos como el cálculo de una media de Fréchet en una variedad riemanniana.

Cambio Conceptual Central

En lugar de promediar parámetros en un espacio euclidiano, GeoMerge trata el espacio de parámetros como una variedad cociente ( $\mathcal{M} = \bar{\mathcal{M}} / G$ ), donde $G$ es el grupo de simetría (por ejemplo, $GL(r)$ para LoRA).

Promediado Intrínseco: El objetivo es encontrar un punto en la variedad cociente que minimice la suma de las distancias geodésicas a los modelos de entrada.
Invarianza de Simetría: Al operar en el cociente, la fusión se vuelve invariante a la parametrización específica (gauge) de los modelos de entrada.

Formulación Matemática

Media de Fréchet: Dado modelos $\theta_1, \dots, \theta_T$ , el modelo fusionado $\mu^*$ es el minimizador del funcional de Fréchet:
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
donde $d_{\mathcal{M}}$ es la distancia geodésica en la variedad.
Geometría de Cociente para LoRA:
- Las actualizaciones de LoRA se representan como $\Delta W = GH^\top$ . Esta factorización tiene una simetría $GL(r) $:$ (G, H) \sim (GA^{-1}, HA^\top)$.
- Los autores proponen utilizar una Factorización Polar ( $\Delta W = UBV^\top$ ) para mapear el problema a un producto de variedades de Stiefel ($St$) y variedades de Matrices Simétricas Definidas Positivas (SPD).
- Definen métricas riemannianas específicas:
  - Métrica invariante afín para el factor SPD ( $B$ ).
  - Métrica canónica de Stiefel para los factores ortogonales ( $U, V$ ).
Algoritmo (GeoMerge de Cociente):
El algoritmo alterna entre dos pasos para calcular la media:
- Alineación (Minimización de Órbita): Para una estimación actual $\mu_t$ , encontrar la transformación de simetría $G_i$ para cada entrada $\theta_i$ que minimice la distancia a $\mu_t$ . Esto alinea las entradas al mismo "gauge" (espacio horizontal).
- Promediado Intrínseco: Calcular el mapa logarítmico (vectores tangentes) desde $\mu_t$ hacia las entradas alineadas. Estos vectores están garantizados para ser horizontales (ortogonales a las órbitas de simetría). La media se actualiza moviéndose a lo largo de la geodésica definida por la suma ponderada de estos vectores horizontales.

3. Contribuciones Clave

Unificación Geométrica: El artículo establece que la fusión de modelos es fundamentalmente un problema de cálculo de medias de Fréchet en variedades riemannianas. Unifica diversas estrategias de fusión bajo esta lente geométrica.
Fusión Consciente de Simetrías: Proporciona una solución principista al problema de "desalineación" en PEFT al modelar explícitamente el espacio de parámetros como una variedad cociente, asegurando que la fusión sea invariante a las elecciones de gauge.
Conexión con Fisher Merging: Los autores demuestran que la fusión ponderada por Fisher es una aproximación tratable de la media de Fréchet bajo la geometría Fisher-Rao (geometría de la información), específicamente al usar un sustituto cuadrático e ignorar los cambios en la covarianza. Sin embargo, señalan que la fusión estándar por Fisher aún sufre problemas de simetría porque el mecanismo de promediado en sí mismo no es invariante de simetría.
Algoritmo Práctico para LoRA: Derivan un algoritmo concreto para adaptadores LoRA utilizando la factorización polar y métricas riemannianas específicas, permitiendo un cálculo eficiente de geodésicas y alineación sin necesidad de datos.
Análisis de Modelo de Juguete: Proporcionan una solución analítica de forma cerrada para un modelo simple con simetría de escala, demostrando que el promediado euclidiano ingenuo falla (colapsando a cero) mientras que GeoMerge recupera correctamente el predictor intrínseco.

4. Resultados Experimentales

Los autores evaluaron GeoMerge en Llama-3 8B con adaptadores LoRA ajustados finamente en seis conjuntos de datos de Inferencia de Lenguaje Natural (NLI) (SNLI, MNLI, SICK, QNLI, RTE, SciTail).

Línea Base: Compararon contra KnOTS, un método de última generación que alinea las actualizaciones de LoRA mediante SVD conjunta antes de fusionar.
Rendimiento: GeoMerge superó consistentemente a KnOTS en todos los conjuntos de datos en términos de precisión normalizada (la relación entre la precisión del modelo fusionado y la del mejor especialista).
- Precisión Normalizada Promedio: GeoMerge logró 91.88% frente al 90.38% de KnOTS.
Eficiencia: Un hallazgo crítico es que GeoMerge logra un rendimiento superior con un rango efectivo mucho menor.
- KnOTS típicamente aumenta el rango del modelo fusionado a $T \times r$ (donde $T$ es el número de tareas).
- GeoMerge mantiene el rango original $r$ , lo que sugiere que utiliza la capacidad de los pesos de manera más eficiente al respetar la geometría de la variedad en lugar de expandir el espacio de parámetros.

5. Significado e Impacto

Avance Teórico: El artículo cambia el paradigma de la fusión de modelos de "promediado heurístico de parámetros" a "optimización geométrica en variedades". Destaca que la elección de la geometría (métrica y variedad) es la decisión de diseño más crítica en la fusión.
Robustez: Al abordar las simetrías de manera intrínseca, GeoMerge ofrece una solución más robusta para la fusión de modelos especializados, particularmente en la era de PEFT donde las actualizaciones de bajo rango son estándar.
Direcciones Futuras: El marco abre la puerta para integrar otros conceptos geométricos (por ejemplo, medianas riemannianas, medias de Huber) y extenderse a otros métodos de PEFT o modelos de rango completo donde existen simetrías. También sugiere que la "alineación" no es solo un paso de preprocesamiento, sino una parte integral del proceso de promediado en el espacio cociente.

En resumen, GeoMerge resuelve la fragilidad de la fusión de modelos bajo simetrías arquitectónicas al tratar el problema como una tarea de promediado geométrico en una variedad cociente, resultando en un rendimiento de última generación para la fusión de LoRA con una mayor eficiencia de parámetros.