Functionality-Oriented LLM Merging on the Fisher--Rao Manifold

Este artículo propone un método de fusión de modelos de lenguaje grande (LLM) basado en el cálculo de la media de Karcher en la variedad de Fisher-Rao, que supera las limitaciones de los enfoques euclídeos al preservar la funcionalidad predictiva y evitar el colapso de representaciones al combinar múltiples expertos heterogéneos.

Lo esencial

¡Hola! Imagina que tienes varios chefs expertos en la cocina. Uno es el mejor haciendo pizza, otro es un genio de los postres y un tercero domina los platos picantes. Ahora, quieres crear un "Super-Chef" único que sepa hacer todo eso perfectamente, pero sin tener que contratar a un nuevo chef y entrenarlo desde cero durante años.

El problema es: ¿Cómo mezclas las recetas de estos tres chefs sin que la pizza sepa a postre o el postre quede picante?

Este paper (artículo científico) propone una nueva y brillante forma de mezclar estos "cerebros" de Inteligencia Artificial (LLMs) para crear uno solo mejor. Aquí te lo explico de forma sencilla:

1. El Problema: Mezclar con una cuchara (El enfoque antiguo)

Hasta ahora, la gente intentaba mezclar estos modelos como si fuera batir huevos. Tomaban los pesos (las "recetas" internas) de un modelo y los sumaban a los de otro, promediándolos matemáticamente.

• La analogía: Imagina que mezclas pintura azul y pintura amarilla. Si lo haces bien, obtienes verde. Pero si mezclas demasiado o de la forma incorrecta, obtienes un color gris sucio y sin vida.
• El fallo: Cuando los modelos son muy diferentes (uno sabe mucho de medicina y otro de leyes), esta mezcla simple hace que el resultado se "colapse". Es como si el Super-Chef perdiera la memoria de cómo hacer pizza, postres o platos picantes por separado. Se vuelve lento, confuso y pierde su "fuerza" (en términos técnicos, pierde varianza y rango).

2. La Solución: Navegar en un mapa curvo (El enfoque nuevo)

Los autores dicen: "Esperen, el mundo de las inteligencias artificiales no es una línea recta plana como una hoja de papel. Es más bien como una montaña o una superficie curva".

• La analogía: Imagina que los modelos expertos están en diferentes cimas de una montaña. Si intentas ir de una cima a otra caminando en línea recta (atravesando el valle), te hundirás en el barro (el modelo se arruina).
• La nueva idea: En lugar de caminar en línea recta, debes seguir el camino curvo de la montaña (la geodésica). Así te mantienes siempre en la "cumbre" de la buena inteligencia.

3. La Técnica: El "Punto de Encuentro Perfecto"

Ellos proponen calcular un punto medio que respete esta curvatura. Lo llaman la Media de Karcher en el "Manifold de Fisher-Rao". Suena complicado, pero es simple:

• Imagina un grupo de amigos que quieren reunirse en un parque que tiene colinas y valles.
• Si todos caminan en línea recta hacia el centro, algunos se caen al río.
• Si calculan el punto de encuentro siguiendo las curvas del terreno, todos llegan sanos y salvados a un lugar donde todos pueden verse bien.
• El resultado: El nuevo modelo "Super-Chef" no es una mezcla borrosa, sino una fusión inteligente que conserva las habilidades de cada experto original.

4. ¿Por qué es mejor?

El paper demuestra que cuando mezclas muchos modelos (no solo dos) o modelos que son muy diferentes entre sí:

• Los métodos viejos (línea recta): Se rompen. El modelo se vuelve tonto y pierde capacidad.
• El método nuevo (curvas): Funciona increíblemente bien. El modelo resultante es más inteligente, más estable y no pierde sus habilidades.

En resumen

Piensa en esto como la diferencia entre tirar todos los ingredientes en una licuadora y esperar que salga un buen pastel (método antiguo), versus cocinar cada ingrediente con cuidado y unirlos siguiendo una receta de alta cocina que respeta cómo interactúan (método nuevo).

Los autores han creado una "receta matemática" (un algoritmo) que permite combinar múltiples inteligencias artificiales sin arruinarlas, asegurando que el resultado final sea un super-modelo capaz de hacer de todo, manteniendo la esencia de cada experto que lo formó. ¡Y lo mejor es que lo hacen sin tener que volver a entrenar al modelo desde cero!

Resumen técnico

Resumen Técnico: Fusión de LLMs en la Variedad Fisher-Rao

1. El Problema: Limitaciones de la Fusión Actual

La fusión de modelos (model merging) busca combinar múltiples modelos de lenguaje grandes (LLM) ajustados finamente (fine-tuned) en un solo modelo sin necesidad de reentrenamiento. Sin embargo, los enfoques existentes presentan tres limitaciones fundamentales:

• Heurísticas en el Espacio de Parámetros: La mayoría de los métodos actuales (como el promedio lineal o los vectores de tarea) operan en coordenadas euclidianas. Esto ignora que el objetivo real es fusionar funcionalidades (comportamientos predictivos), no simplemente promediar pesos.
• Colapso de Representación: Cuando los modelos fuente están muy separados o son heterogéneos, las mezclas euclidianas provocan un "colapso de representación". Esto se manifiesta como una reducción en la varianza de las activaciones y una degradación del rango efectivo (effective rank), lo que destruye la capacidad del modelo y reduce drásticamente su precisión.
• Escalabilidad Geométrica: Los métodos inspirados en la geometría (como la interpolación esférica SLERP) funcionan bien para dos modelos, pero no se extienden de manera principista a la fusión de $N > 2$ expertos.

2. Metodología: El Promedio de Karcher en la Variedad Fisher-Rao

Los autores proponen reformular la fusión de modelos como el cálculo de una media de Karcher/Fréchet (también conocida como media de Riemann) en la variedad Fisher-Rao (FR).

• Fundamento Teórico: La métrica Fisher-Rao conecta la geometría del espacio de parámetros con la divergencia en el espacio de distribuciones. Para pequeños desplazamientos, la distancia FR es localmente equivalente a la distancia KL (Kullback-Leibler) entre distribuciones predictivas:
  $$d^2_{FR}(\theta, \theta') \approx 2 \cdot KL(p_\theta \parallel p_{\theta'})$$
  Minimizar la distancia geodésica en esta variedad equivale a minimizar la distancia funcional (KL) entre el modelo fusionado y los expertos.

• El Objetivo: Dado un conjunto de expertos $\{\theta^{(i)}\}$ con pesos $\alpha^{(i)}$, se busca el parámetro $\theta^*$ que minimiza la suma ponderada de las distancias geodésicas:
  $$\theta^* := \arg \min_{\theta} \sum_{i=1}^N \alpha^{(i)} d^2_{FR}(\theta, \theta^{(i)})$$

• Algoritmo Práctico (Proxy Esférico):
  Dado que calcular las mapas log/exp exactos de Fisher-Rao para LLMs modernos es intratable, los autores proponen una aproximación eficiente:

  1. Proxy Esférico: Tratan cada bloque de parámetros como un vector en una esfera unitaria ($S^{d-1}$).
  2. Preservación de Normas: Calculan la media de Karcher en la esfera (usando fórmulas cerradas para log/exp en esferas) y luego reescalan el resultado por la norma representativa de los orígenes.
  3. Iteración de Punto Fijo: Utilizan un algoritmo de actualización iterativa que generaliza SLERP (para 2 modelos) a $N$ modelos.
  4. Precondicionamiento (Opcional): Pueden incorporar estimaciones de la matriz de información de Fisher (diagonal o KFAC) para proteger las direcciones sensibles y reducir interferencias destructivas.

3. Contribuciones Clave

1. Formulación Geométrica: Definen la fusión de modelos como un problema de minimización de distancia funcional basada en KL en la variedad Fisher-Rao, en lugar de una distancia euclidiana.
2. Algoritmo Escalable: Derivan un algoritmo de punto fijo ligero que generaliza la interpolación esférica (SLERP) a la fusión de múltiples expertos ($N > 2$) de manera principista.
3. Mitigación del Colapso: Demuestran empíricamente que este enfoque mantiene la estabilidad y el rendimiento incluso cuando se fusionan muchos modelos heterogéneos, evitando el colapso de varianza y rango que sufren los métodos basados en cuerdas (chords).

4. Resultados Experimentales

Los experimentos se realizaron en la familia de modelos Qwen2.5 (desde 135M hasta 14B parámetros) utilizando diversos benchmarks (HellaSwag, BBH, MMLU-Pro, MuSR, GPQA-Diamond).

• Rendimiento Superior: El método KARCHER supera consistentemente a todos los baselines (incluyendo LERP, SLERP, TIES, DARE, Model Stock y Della) tanto en fusiones de 2 modelos como de 5 modelos.
  • Ejemplo (Fusión de 5 modelos): KARCHER alcanzó un promedio de 0.610, mientras que el segundo mejor (Model Stock) obtuvo 0.557 y los métodos lineales cayeron a ~0.24.
• Escalabilidad: A medida que aumenta el número de modelos fusionados ($m$ de 2 a 11), los métodos basados en Euclides sufren un colapso abrupto del rendimiento alrededor de $m=5$. En contraste, KARCHER mantiene un rendimiento estable y alto a lo largo de todo el rango.
• Diagnósticos de Colapso:
  • Varianza de Activación: KARCHER preserva una varianza de activación significativamente mayor en las capas medias y profundas en comparación con Lerp o Ties.
  • Rango Efectivo (EffRank): Mantiene un rango efectivo mucho más alto, indicando que el modelo fusionado conserva la dimensionalidad de las representaciones y no colapsa en subespacios de baja dimensión.
• Robustez: El método funciona bien incluso al fusionar modelos de diferentes escalas (135M, 360M, 1.7B) y en configuraciones de múltiples expertos heterogéneos.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la fusión de modelos:

• De Parámetros a Funcionalidad: Cambia el enfoque de "promediar pesos" a "promediar comportamientos predictivos" utilizando la geometría correcta (Fisher-Rao).
• Solución al Colapso: Proporciona una solución teórica y práctica al problema del colapso de representaciones, que es una barrera crítica para escalar la fusión de múltiples expertos.
• Generalización: Ofrece un marco unificado que funciona tanto para fusiones simples (2 modelos) como complejas (muchos expertos heterogéneos), superando las limitaciones de las interpolaciones lineales y esféricas tradicionales.

En conclusión, la fusión basada en la media de Karcher en la variedad Fisher-Rao permite crear modelos unificados más robustos, estables y capaces, especialmente en escenarios donde la diversidad y la distancia entre los modelos fuente son grandes.