Resumen Técnico: PACT – Preservación de Núcleos Anclados en Vectores de Tarea para la Fusión de Modelos

Declaración del Problema

La fusión de modelos ha emergido como una alternativa sin entrenamiento para el aprendizaje multitarea, con el objetivo de combinar múltiples modelos ajustados específicamente para tareas en un único modelo multitarea. El paradigma dominante, la Aritmética de Tareas (Task Arithmetic), descompone los pesos ajustados en parámetros preentrenados ($\theta_0$) y vectores de tarea ($\Delta_t = \theta_t - \theta_0$), realizando la fusión exclusivamente en el espacio de los vectores de tarea. Este enfoque asume implícitamente que todo el conocimiento específico de la tarea está codificado dentro de los vectores de tarea, mientras que el modelo preentrenado sirve meramente como un punto de inicialización compartido.

Los autores desafían esta suposición, argumentando que no se cumple debido a las preferencias intrínsecas de las tareas en los modelos preentrenados. Identifican un fenómeno donde el conocimiento crítico para la tarea permanece "anclado" en los pesos preentrenados en lugar de transferirse completamente a los vectores de tarea. Estas dimensiones, denominadas dimensiones de Pared de Carga (LBW - Load-Bearing Wall), exhiben actualizaciones insignificantes durante el ajuste fino (magnitud pequeña de $|\Delta_t|$) pero son esenciales para mantener el rendimiento de la tarea. Los métodos de fusión existentes, al operar únicamente sobre los vectores de tarea, sobrescriben o distorsionan inadvertidamente estas dimensiones LBW al agregar múltiples tareas, lo que conduce a una degradación del rendimiento.

Metodología: PACT (Preserve Anchored Cores)

Para abordar la vulnerabilidad de las dimensiones LBW, los autores proponen PACT, un marco de trabajo libre de datos (data-free) diseñado para proteger el conocimiento específico de la tarea anclado en el modelo preentrenado durante el proceso de fusión.

1. Identificación de las Dimensiones LBW

El artículo caracteriza las dimensiones LBW desde dos perspectivas:

• Perspectiva de Peso Escalar: Utilizando la Información de Fisher y puntuaciones de enriquecimiento, los autores identifican parámetros específicos que tienen magnitudes pequeñas en el vector de tarea pero una alta sensibilidad a la pérdida de la tarea.
• Perspectiva de Subespacio: Utilizando la Descomposición en Valores Singulares (SVD), los autores definen el subespacio LBW ($V_{t,LBW}$) para una tarea $t$. Este se deriva proyectando el subespacio principal de los pesos preentrenados ($V_{0,K}$) sobre el complemento ortogonal del subespacio de actualización activa de la tarea ($V_{t,k}$). Formalmente:
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  Este subespacio captura las direcciones de características preentrenadas que son críticas para la tarea y que permanecen intactas durante el ajuste fino.

2. El Algoritmo PACT

PACT opera filtrando los vectores de tarea antes de aplicar algoritmos de fusión estándar (por ejemplo, Task Arithmetic, TSV-M, Iso-C). El mecanismo central consiste en construir un Escudo Ortogonal Global para cada tarea para evitar que sus actualizaciones interfieran con los subespacios LBW de otras tareas.

• Constcción del Escudo: Para una tarea específica $t$, el algoritmo agrega los subespacios LBW de todas las otras tareas ($V_{j,LBW}$ para $j \neq t$) y construye una base ortonormal unificada $V_{t}^{protect}$ mediante la descomposición QR. Este escudo representa la unión de las dependencias críticas preentrenadas requeridas por todas las demás tareas.
• Filtrado: El vector de tarea $\Delta_t$ se proyecta sobre el complemento ortogonal de este escudo para eliminar los componentes que sobrescribirían los "espacios sagrados" de otras tareas:
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• Fusión: Los vectores filtrados $\{\tilde{\Delta}_t\}$ se fusionan utilizando algoritmos existentes.

3. Variante Eficiente (SVD Aleatorizado)

Para mejorar la escalabilidad, los autores proponen una variante eficiente utilizando SVD Aleatorizado (RSVD). Dado que PACT requiere principalmente la extracción de los $k$ vectores singulares superiores, RSVD aproxima estos componentes con una complejidad computacional significativamente reducida ($O(mnk)$ frente a $O(mn^2)$ o $O(n^3)$) y una menor huella de memoria, actuando además como un regularizador implícito que suaviza el ruido de alta frecuencia.

Contribuciones Clave

1. Revisión de las Suposiciones de la Aritmética de Tareas: El artículo demuestra empíricamente que los vectores de tarea no capturan completamente el conocimiento específico de la tarea. Identifica y valida causalmente la existencia de las dimensiones LBW—parámetros que reciben actualizaciones insignificantes pero que son críticos para el rendimiento.
2. Validación Causal: A través de experimentos de perturbación controlada (a nivel escalar y de subespacio), los autores demuestran que:
   • Modificar las dimensiones LBW (incluso con magnitudes pequeñas) causa caídas catastróficas en el rendimiento.
   • La fusión estándar sobrescribe estas dimensiones, y restaurarlas recupera el rendimiento.
   • La ablación de subespacio de los componentes LBW conduce a una degradación del rendimiento órdenes de magnitud mayor que la ablación de un subespacio aleatorio.
3. Marco PACT: La propuesta de un marco geométrico libre de datos que construye escudos ortogonales para filtrar actualizaciones interferentes, integrándose perfectamente con los métodos de fusión existentes basados en pesos escalares y subespacios.
4. Análisis Teórico: Los autores proporcionan límites teóricos que muestran que la degradación del rendimiento causada por el filtrado de PACT está controlada por la proyección del gradiente y la actualización de la tarea sobre el espacio de protección, asegurando que el propio rendimiento se preserve si la actualización de la tarea está concentrada en su subespacio activo.

Resultados Experimentales

Se realizaron extensos experimentos en benchmarks de visión (ViT-B/32, ViT-B/16, ViT-L/14) a través de 8, 14 y 20 tareas, cubriendo tanto configuraciones de ajuste fino completo como de ajuste fino LoRA.

• Ganancias de Rendimiento: PACT mejora consistentemente los métodos de fusión principales (Task Arithmetic, TSV-M, Iso-C).
  • PACT-Iso-C alcanza el rendimiento de Estado del Arte (SOTA) en los 9 escenarios evaluados (3 backbones $\times$ 3 conteos de tareas).
  • En la configuración de 20 tareas con ViT-L/14, PACT-Iso-C alcanza un 95.1% de precisión absoluta y un 98.3% de precisión normalizada, superando al mejor anterior (Iso-CTS) por un margen significativo.
• Adaptación a LoRA: PACT también mejora el rendimiento de fusión para modelos ajustados con LoRA, demostrando que los efectos de LBW persisten incluso cuando los parámetros preentrenados están congelados durante el ajuste fino (ya que el conocimiento LBW reside en el modelo base).
• Eficiencia: La variante RSVD logra un rendimiento comparable al SVD completo (y a veces superior debido al suavizado implícito de ruido) mientras reduce drásticamente la complejidad computacional.
• Estudios de Ablación:
  • Estático vs. Dinámico: Un modelo base estático (S-PACT) que solo filtra contra el núcleo preentrenado sin considerar los subespacios LBW de otras tareas ofrece mejoras limitadas, lo que resalta la necesidad de una protección mutua dinámica.
  • Profundidad por Capas: El filtrado de las capas fundacionales tempranas (donde la energía de intrusión es más alta) produce las mejoras más significativas, aunque se requiere un filtrado global para cargas de tareas elevadas.

Significado y Reivindicaciones

El artículo sostiene que la fusión de modelos no es simplemente resolver conflictos entre actualizaciones de tareas, sino también respetar y proteger activamente los cimientos preentrenados críticos. Al identificar las dimensiones de la "Pared de Carga", los autores revelan un punto ciego fundamental en los métodos actuales basados en vectores de tarea: estos manipulan lo que se codifica explícitamente en los vectores de tarea, pero pasan por alto el conocimiento almacenado implícitamente en el modelo preentrenado.

La importancia de PACT radica en su capacidad para:

• Proporcionar una perspectiva geométrica sobre la fusión de modelos que complementa los enfoques algebraicos existentes.
• Ofrecer una solución modular y libre de datos que puede integrarse en cualquier canal de fusión de vectores de tarea existente sin requerir acceso a los datos originales de entrenamiento.
• Establecer un nuevo rendimiento SOTA a través de diversas tareas de visión y escalas de modelos, demostando que proteger los núcleos anclados es esencial para una síntesis multitarea robusta.

Los autores concluyen que, si bien PACT introduce cierta sobrecarga computacional (mitigada por la variante RSVD), ofrece un cambio de paradigma necesario para manejar las dependencias estructurales inherentes a los modelos preentrenados durante la fusión. Se sugiere como trabajo futuro extender este marco a los Grandes Modelos de Lenguaje (LLMs) y explorar dimensionalidades adaptativas para los escudos de protección.