Resumen Técnico: Cuando el Conocimiento Compartido Perjudica: Acumulación Espectral Excesiva en la Fusión de Modelos

1. Declaración del Problema

La fusión de modelos combina múltiples modelos ajustados finamente en un único modelo unificado operando directamente en el espacio de los pesos, ofreciendo una alternativa ligera al reentrenamiento. Si bien los métodos existentes se centran principalmente en resolver conflictos entre las actualizaciones de tareas (por ejemplo, mediante enmascaramiento o poda), a menudo pasan por alto un modo de fallo específico: la acumulación espectral excesiva.

Los autores identifican que, cuando múltiples tareas comparten direcciones espectrales alineadas (es decir, vectores singulares superpuestos), una combinación lineal simple de matrices de tareas agrega repetidamente estos componentes compartidos. Este fenómeno conduce a:

• Inflación de valores singulares: Los valores singulares correspondientes a subespacios compartidos se vuelven desproporcionadamente grandes.
• Desequilibrio espectral: El modelo fusionado queda dominado por unos pocos subespacios espectrales superiores que contienen conocimiento compartido, mientras que los componentes específicos de la tarea en los subespacios restantes se suprimen.
• Degradación del rendimiento: Contrariamente a la intuición de que el conocimiento compartido es beneficioso, su sobrecontabilización sesga el modelo y reduce el rendimiento en tareas posteriores en los benchmarks de visión y lenguaje.

2. Metodología: Calibración de Valores Singulares (SVC)

Para abordar la acumulación espectral excesiva sin requerir datos adicionales, entrenamiento u optimización, los autores proponen la Calibración de Valores Singulares (SVC), un método de postprocesamiento.

Fundamento Teórico

El método se basa en un análisis de proyección en el espacio de salida. Mediante la descomposición de la matriz de tareas fusionada $\Delta W_{merge}$ mediante Descomposición en Valores Singulares (SVD), los autores definen una base de espacio de salida compartida $\{u_r\}$. Proyectan las matrices de tareas individuales sobre esta base para medir cuánto contribuye cada tarea a subespacios espectrales específicos.

• Coeficiente de Proyección ($s_i^r$): Esta métrica cuantifica la escala de la respuesta de la tarea $i$ en el subespacio $r$ después de la fusión. Si $s_i^r > 1$, indica que la actualización fusionada ha amplificado la dirección de la tarea $i$ debido a una acumulación constructiva de otras tareas (sobrecontabilización espectral).
• Mecanismo de Inflación: El artículo demuestra que los productos internos positivos entre tareas en el espacio de salida conducen a $s_i^r > 1$, lo que hace que el valor singular fusionado $\sigma_r$ exceda la magnitud óptima de proyección requerida para preservar las capacidades de las tareas individuales.

Pasos del Algoritmo

1. Construcción de la Base: Calcular la SVD de la matriz de tareas fusionada $\Delta W_{merge} = U\Sigma V^\top$ para obtener los vectores singulares izquierdos $\{u_r\}$ como el sistema de coordenadas compartido.
2. Cuantificación de la Superposición: Para cada subespacio $r$ y tarea $i$, calcular el coeficiente de proyección $s_i^r = \frac{\langle a_{merge}^r, a_i^r \rangle}{\|a_i^r\|_2^2}$, donde $a^r$ representa la respuesta a lo largo de $u_r$.
3. Factor de Calibración: Agregar estos coeficientes a través de las tareas para derivar un factor de calibración $\gamma_r$ para cada subespacio. Este factor está diseñado para reducir el peso de los subespacios que muestran una fuerte sobrecontabilización (donde muchos $s_i^r$ son grandes).
   • $\gamma_r = K / \sum_{i=1}^K \max(\alpha, s_i^r)$, donde $\alpha$ es un hiperparámetro (valor predeterminado $1/K$) que previene la inestabilidad.
4. Redimensionamiento: Ajustar los valores singulares manteniendo fijos los vectores singulares (direcciones): $\tilde{\sigma}_r = \gamma_r \sigma_r$.
5. Reconstrucción: Reconstruir la matriz fusionada calibrada $\tilde{\Delta W}_{merge} = \sum \tilde{\sigma}_r u_r v_r^\top$ y actualizar los pesos preentrenados.

3. Contribuciones Clave

• Identificación de la Sobrecontabilización Espectral: El artículo aísla un modo de fallo específico en la fusión de modelos donde la agregación redundante de conocimiento compartido infla los valores singulares en subespacios dominantes, distinto de los conflictos tradicionales de pesos.
• Método SVC: Una técnica de postprocesamiento libre de entrenamiento y libre de datos que cuantifica la superposición en el espacio de salida y redimensiona los valores singulares para restaurar el equilibrio espectral. Actúa como un módulo enchufable compatible con las líneas base de fusión existentes.
• Validación Teórica y Empírica: Los autores proporcionan un análisis teórico que vincula las discrepancias de proyección con la inflación de valores singulares y demuestran que este fenómeno persiste a través de diversas estrategias de fusión (por ejemplo, Aritmética de Tareas, TIES, DARE).

4. Resultados Experimentales

Los autores evaluaron SVC en diversos benchmarks utilizando modelos de Visión (ViT-B/32, ViT-B/16, ViT-L/14) y Lenguaje (BERT, T5, LLaMA2-7B, T0).

• Visión por Computadora (CV): En un benchmark de clasificación de 8 tareas, SVC mejoró la línea base Aritmética de Tareas (TA) en un 13.0% (de 68.9% a 81.9% de precisión promedio). También obtuvo ganancias consistentes sobre otras líneas base fuertes como TIES, DARE y TSV-M.
• Procesamiento del Lenguaje Natural (NLP): SVC mejoró el rendimiento en tareas de clasificación y generativas. Por ejemplo, en el modelo T0 con ajuste fino IA3, SVC mejoró a TA en un 12.3%. En LLaMA2-7B, mostró ganancias significativas en los benchmarks AlpacaEval y GSM8K.
• Generalidad: El método demostró ser efectivo a través de diferentes tamaños y arquitecturas de modelos. También funcionó como una herramienta de "optimización de preferencias", permitiendo que el modelo fusionado priorice tareas específicas ajustando la calibración en función de una tarea objetivo.
• Eficiencia: SVC introduce una sobrecarga mínima, requiriendo solo una SVD y un paso de reconstrucción fuera de línea, sin cálculo de gradientes ni datos auxiliares.

5. Significado y Afirmaciones

El artículo afirma que los fallos en la fusión de modelos no se deben únicamente a actualizaciones conflictivas, sino también a la acumulación redundante de componentes alineados. Al desplazar el enfoque de la resolución de conflictos hacia el equilibrio espectral, SVC ofrece un mecanismo simple pero efectivo para corregir la "sobrecontabilización" del conocimiento compartido.

Los autores posicionan a SVC como una herramienta complementaria que puede aplicarse sobre los métodos de fusión existentes (incluyendo métodos del espacio espectral como Iso-CTS) para refinar aún más el rendimiento. Enfatizan que, si bien otros métodos pueden abordar conflictos o colapso de rango, SVC se dirige específicamente a la inflación de subespacios dominantes causada por interferencia constructiva, restaurando así un espectro más equilibrado y mejorando la generalización a través de múltiples tareas.