Resolving Interference (RI): Disentangling Models for Improved Model Merging

Resumen Técnico: Resolving Interference (RI)

1. El Problema: Interferencia entre Tareas en la Fusión de Modelos

La fusión de modelos (model merging) permite crear modelos multitarea combinando directamente los parámetros de modelos expertos entrenados independientemente. Sin embargo, un desafío crítico es la interferencia entre tareas (cross-task interference).

• Definición del problema: Cuando se fusionan modelos entrenados en tareas distintas (ej. clasificación de razas de perros vs. gatos), los parámetros aprendidos para una tarea pueden sobrescribir o distorsionar las características necesarias para la otra.
• Consecuencia: Esto provoca que las representaciones de salida del modelo fusionado se desvíen de las de sus modelos constituyentes, degradando el rendimiento en todas las tareas.
• Limitaciones de métodos existentes:
  • Los métodos sin gradiente (ej. promedios de pesos) ignoran la interacción con los datos de entrada.
  • Los métodos basados en gradiente suelen requerir acceso a los datos originales de cada tarea (distribuciones de entrenamiento), lo cual es inviable en escenarios con datos escasos, privados o propietarios.
  • Las estrategias de enrutamiento (routing) aumentan el costo de inferencia y la capacidad del modelo.

2. Metodología: Resolving Interference (RI)

Los autores proponen RI, un marco de adaptación ligero que busca reducir la interferencia antes de realizar la fusión, sin necesidad de datos etiquetados de las tareas específicas.

Concepto Central: Ortogonalidad Funcional
El objetivo es adaptar los vectores de tarea ($\tau_i$) de cada modelo experto para que sean funcionalmente ortogonales a las cabezas (heads) de las otras tareas. Es decir, un vector de tarea adaptado ($\tau^*_i$) debe:

1. Preservar la tarea: Mantener el rendimiento en su propia tarea ($h_i$).
2. Eliminar interferencia: No tener impacto (ser nulo) cuando se evalúa en las cabezas de otras tareas ($h_j, j \neq i$).

Funcionamiento del Algoritmo:
Dado que no se tienen los datos de las tareas ($D_i$), RI utiliza datos auxiliares no etiquetados ($D_{aux}$) de cualquier fuente (ej. ImageNet, ruido gaussiano). Se optimiza un vector de tarea $\tau^*_i$ minimizando una función de pérdida compuesta ($L_{RI}$):

$$L_{RI} = L_1 + \frac{\alpha}{N-1} L_2$$

Donde:

• $L_1$ (Pérdida de preservación de tarea): Mide la distancia (ej. Divergencia KL) entre la salida del modelo original y la del modelo adaptado bajo su propia cabeza de tarea ($h_i$) usando datos auxiliares. Busca que $\tau^*_i$ imite a $\tau_i$.
• $L_2$ (Pérdida de reducción de interferencia): Mide la distancia entre la salida del modelo base (pre-entrenado) y la del modelo adaptado bajo las cabezas de otras tareas ($h_j$). Busca que $\tau^*_i$ no altere las salidas de otras tareas.
• $\alpha$: Hiperparámetro que equilibra ambos objetivos (se usa $\alpha=1$ por defecto).

Una vez que todos los vectores de tarea han sido "desenredados" mediante RI, se fusionan utilizando técnicas de fusión estándar (como Task Arithmetic, TIES, etc.).

3. Contribuciones Clave

1. Formalización de la Interferencia: Introducen una métrica formal ($\xi$) para cuantificar la interferencia entre tareas como la desviación de las representaciones del modelo fusionado respecto a los expertos originales.
2. Marco de Adaptación (RI): Proponen un método ligero que reduce esta interferencia utilizando únicamente datos auxiliares no etiquetados, eliminando la necesidad de datos de las tareas originales.
3. Mejora de Estado del Arte (SOTA): Demuestran que RI mejora consistentemente el rendimiento de múltiples métodos de fusión existentes.
4. Robustez y Análisis: Proporcionan un análisis exhaustivo sobre la sensibilidad a hiperparámetros y la elección de datos auxiliares.

4. Resultados Experimentales

Los experimentos se realizaron utilizando modelos CLIP (ViT-B/32, ViT-B/16, ViT-L/14) en benchmarks de visión por computadora (8, 14 y 20 tareas) y generalización fuera de distribución (DomainNet).

• Rendimiento In-Domain:
  • RI mejora el rendimiento de los métodos de fusión SOTA en hasta un 3.8% en precisión promedio.
  • Mejoras significativas observadas en métodos como Task Arithmetic (+7.4% a +9.6%) y TIES (+5.6% a +9.7%).
  • El beneficio aumenta a medida que crece el número de tareas fusionadas.
• Generalización Out-of-Distribution (DomainNet):
  • Los modelos fusionados con RI mejoran la robustez en dominios no vistos en hasta un 2.3% en comparación con métodos sin RI.
• Análisis de Datos Auxiliares:
  • RI funciona con cualquier fuente de datos visualmente diversa (desde ruido gaussiano hasta ImageNet).
  • Los datos más cercanos a la distribución de la tarea objetivo ofrecen los mejores resultados, pero incluso datos sintéticos o no relacionados mejoran el rendimiento.
• Sensibilidad a Hiperparámetros:
  • Los modelos adaptados con RI son menos sensibles a la sintonización de hiperparámetros de fusión. Esto es crucial en escenarios donde no se dispone de datos de validación etiquetados.
• Eficiencia Computacional:
  • El método es altamente escalable y paralelo. Adaptar un experto requiere solo 7-9 minutos en una GPU A40, con un uso de memoria constante (4.8 GB) independientemente del número de tareas.

5. Significado e Impacto

Este trabajo aborda una barrera fundamental en la fusión de modelos: la incompatibilidad de parámetros entre tareas. Al formalizar la interferencia y proponer una solución que no depende de datos propietarios ni de datos de validación, RI democratiza la creación de modelos multitarea robustos.

Su capacidad para funcionar en escenarios con escasez de datos (donde no se tienen los datos originales de entrenamiento) lo hace especialmente valioso para aplicaciones del mundo real con restricciones de privacidad o disponibilidad de datos. Además, al reducir la necesidad de ajuste fino de hiperparámetros, simplifica el despliegue de modelos fusionados complejos.