Resumen Técnico: Fusión de Modelos por Proyección en el Espacio de Salida

Enunciado del Problema

La proliferación de modelos de lenguaje y visión ajustados específicamente para tareas ha generado una demanda de fusión de modelos—el proceso de combinar múltiples puntos de control ajustados en un único modelo multitarea sin reentrenamiento. Si bien los enfoques prácticos existentes, como Aritmética de Tareas, Sopas de Modelos, TIES y DARE, han demostrado éxito empírico, dependen de elecciones de diseño heurísticas (por ejemplo, pesos escalares fijos, enmascaramiento estocástico o poda basada en signos). Crucialmente, estos métodos carecen de una caracterización matemática formal de los pesos de combinación óptimos y no poseen una función de pérdida precisa para la cual sean óptimos de manera demostrable.

Metodología

Los autores proponen un marco que formula la fusión de modelos como un programa cuadrático convexo (QP) sobre actualizaciones residuales, fundamentado en una perspectiva de proyección en el espacio de salida.

1. Formulación como un QP Convexo

El artículo comienza observando que la fusión mediante máscaras diagonales sobre residuos ajustados puede plantearse como un QP convexo.

• Configuración: Dado un modelo base con pesos $\theta$ y $K$ modelos ajustados con actualizaciones residuales $\{\delta^{(k)}_N\}$ en una capa específica $N$, el objetivo es encontrar un residuo fusionado $\delta_{merge}$.
• Enmascaramiento Diagonal: El método aplica una máscara diagonal $D_k = \text{diag}(d^{(k)})$ a cada residuo antes de la suma: $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$.
• Objetivo: El método minimiza un objetivo de calificación de salida al cuadrado $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ sobre un conjunto de calibración $\mathcal{K}$. Aquí, $b_j$ representa el error del modelo base en la entrada $x_j$, y $A_j$ codifica el efecto linealizado de los residuos sobre la salida.
• Optimalidad: Resolver este QP produce pesos que minimizan la pérdida de salida al cuadrado. Se demuestra que los métodos existentes (Aritmética de Tareas, Sopas de Modelos, TIES, DARE) corresponden a puntos factibles específicos o casos especiales de este QP (por ejemplo, escalares fijos o máscaras estocásticas específicas), lo que implica que la solución del QP es teóricamente superior o igual bajo el mismo objetivo.

2. Base General y Error Irreducible

Los autores extienden el enfoque de máscara diagonal a una formulación de base general para abordar las limitaciones de la fusión alineada con los ejes (diagonal).

• Perspectiva de Proyección: La fusión se considera como la aproximación de los errores residuales de un modelo base utilizando un subespacio de correcciones candidatas. La solución óptima corresponde a proyectar los residuos del modelo base sobre el subespacio generado por las actualizaciones candidatas en el espacio de salida.
• Error Irreducible: El artículo deriva un diagnóstico de forma cerrada para el error irreducible de cualquier base elegida. Este error está determinado por la fracción de energía residual capturada por el subespacio elegido.
• Base Óptima: El análisis muestra que la base óptima para el problema de proyección relajada viene dada por los autovectores principales de la matriz de energía residual $S = \sum_{j} b_j b_j^\top$.
• Caracterización del Compensación: El marco cuantifica el compromiso entre la eficiencia computacional del QP diagonal y las ganancias de rendimiento de la base óptima. Establece que la fusión diagonal es óptima cuando las actualizaciones del modelo se descomponen en modos independientes en una base compartida; de lo contrario, la "brecha de suboptimalidad" es medible mediante la fracción de energía capturada.

3. Extensión a Múltiples Capas

Para la fusión en múltiples capas, los autores proponen un algoritmo secuencial por capas. Dado que la optimización conjunta a través de las capas es no convexa debido a las interacciones no lineales, el método aplica el QP de una sola capa de forma secuencial. En cada paso, el residuo se actualiza utilizando el modelo fusionado actual, y se resuelve el QP para la siguiente capa, volviendo a calcular las Jacobianas necesarias.

Contribuciones Clave

1. Marco Unificado: El artículo subsume los métodos de fusión heurísticos existentes (Aritmética de Tareas, Sopas de Modelos, TIES, DARE) como casos especiales de un QP de máscara diagonal, proporcionando una perspectiva matemática unificada.
2. Formulación Convexa: Establece que la fusión de modelos puede formularse como un programa cuadrático convexo sobre actualizaciones residuales, garantizando un mínimo global para la base elegida.
3. Diagnóstico de Forma Cerrada: Los autores introducen un diagnóstico computable—la fracción de energía residual capturada por una base elegida—que predice la calidad de la fusión aguas abajo utilizando únicamente el conjunto de calibración, sin requerir una evaluación completa aguas abajo.
4. Caracterización de la Base Óptima: El trabajo identifica los componentes principales ponderados por la salida de las activaciones residuales como la base óptima para minimizar la pérdida de salida al cuadrado, aclarando cuándo la fusión diagonal es suficiente y cuándo se requiere una base más compleja.
5. Validación Empírica: El marco se valida en benchmarks de lenguaje (LLaMA 3.1) y visión (ViT-B/32, MNIST), demostrando ganancias consistentes sobre las heurísticas existentes.

Resultados Experimentales

• Rendimiento de Capa Única: En experimentos de fusión de una sola capa en ViT-B/32 (ajustado en CIFAR-10, STL-10, Imagenette, EuroSAT) y LLaMA 3.1, la solución del QP logra el Menor Error Cuadrático Medio (MSE) en todos los conjuntos de datos y la mejor precisión promedio en comparación con Aritmética de Tareas, Sopas de Modelos, TIES, DARE y fusión ponderada por Fisher.
• Análisis de Base: Los experimentos en tareas de clasificación de dígitos MNIST demuestran que la base óptima (los autovectores principales de la matriz residual) logra consistentemente el MSE más bajo. La base diagonal estándar, aunque menos efectiva que la base óptima, sigue siendo competitiva y supera a las heurísticas de referencia, validando su uso como un proxy eficiente.
• Ganancias en Múltiples Capas: La extensión secuencial de múltiples capas en LLaMA 3.1 muestra mejoras consistentes tanto en MSE como en precisión en tareas de código, seguimiento de instrucciones y matemáticas en comparación con los métodos de referencia.
• Utilidad del Diagnóstico: La métrica de "energía capturada" predice con éxito la clasificación de rendimiento de diferentes elecciones de base, confirmando el vínculo teórico entre la captura de energía residual y la pérdida aguas abajo.

Significado y Afirmaciones

El artículo afirma proporcionar un marco teórico unificador que explica el éxito de las heurísticas existentes y ofrece un método principiado para mejorarlas.

• Rigor Teórico: A diferencia de los métodos anteriores que se basan en reglas ad hoc, este enfoque ofrece una noción matemática precisa (minimizar la pérdida de salida al cuadrado mediante proyección) para la cual el método es óptimo.
• Utilidad Práctica: El marco proporciona un diagnóstico computable para determinar cuándo es necesaria la base óptima costosa frente a cuándo basta el QP diagonal más económico.
• Modestia: Los autores reconocen las limitaciones, señalando que el marco se deriva para un objetivo de salida al cuadrado linealizado. Afirman explícitamente que extender el marco a pérdidas no cuadráticas (como la entropía cruzada) y desarrollar aproximaciones escalables para la base óptima en configuraciones de alta dimensión siguen siendo direcciones importantes para trabajos futuros. También señalan que un MSE más bajo no siempre se correlaciona perfectamente con una mayor precisión en la tarea, una limitación observada en sus experimentos con LLM.

En resumen, el artículo replantea la fusión de modelos desde una combinación heurística de pesos hasta un problema de optimización convexa en el espacio de salida, ofreciendo tanto una justificación teórica para los métodos existentes como un camino hacia estrategias de fusión más óptimas.