Dynamic Model Merging Made Slim

Resumen Técnico: DiDi-Merging

Planteamiento del Problema
La fusión de modelos permite la reutilización de modelos ajustados finamente sin entrenamiento conjunto ni acceso a los datos originales, abordando los altos costos de desplegar múltiples modelos específicos por tarea y la inviabilidad del entrenamiento multi-tarea debido a restricciones de privacidad o computación. Mientras que la fusión estática combina modelos en un único punto de control, sufre de interferencia entre tareas. La fusión dinámica mejora la flexibilidad al enrutar las entradas a componentes expertos relevantes para la tarea, pero los métodos existentes enfrentan un cuello de botella crítico de almacenamiento. Los enfoques dinámicos actuales caen en dos extremos subóptimos:

1. Compartido Pesado: Mantener un modelo compartido de tamaño completo con expertos minúsculos por tarea (por ejemplo, TALL-Mask, EMR-Merging), resultando en conteos de parámetros no menores que el modelo original.
2. Experto Pesado: Descartar el componente compartido y almacenar todo el conocimiento en vectores expertos por tarea (por ejemplo, TSV-C, SMILE), causando que el almacenamiento escale linealmente con el número de tareas.
   Ningún enfoque equilibra efectivamente la compensación entre conocimiento compartido y capacidad específica por tarea, lo que conduce a una sobrecarga de almacenamiento excesiva (típicamente $\ge 2\times$ el tamaño de un único modelo ajustado finamente).

Metodología: DiDi-Merging
Los autores proponen DiDi-Merging (Fusión Dinámica con Rango Diferenciable), un marco de fusión dinámica delgado que equilibra los parámetros entre expertos compartidos y específicos por tarea mediante una asignación de rango diferenciable. El método opera en tres etapas:

1. Descomposición de Bajo Rango: Los vectores de tarea ($\tau_t = \theta_t - \theta_0$) se descomponen en una matriz de conocimiento compartido ($M_s$) obtenida mediante promediado estático, y residuos expertos por tarea ($M_t = \tau_t - M_s$). Ambas matrices se descomponen mediante Descomposición en Valores Singulares (SVD).
2. Optimización Diferenciable de Rango: En lugar de una asignación de rango fija, el método formula la presupuestación de parámetros como un problema de optimización diferenciable. Una función de truncamiento suave repondera los valores singulares basándose en un parámetro de rango continuo aprendible $r$. El objetivo minimiza una pérdida de reconstrucción de tarea (Error Cuadrático Medio entre los vectores de tarea reconstruidos y originales) mientras penaliza las desviaciones de una relación de compresión objetivo. Esto permite que el modelo optimice conjuntamente los rangos de los componentes compartidos y expertos, asignando más capacidad a tareas diversas y menos a tareas similares sin acceso a los datos de entrenamiento originales.
3. Refinamiento Libre de Datos: Tras determinar los rangos óptimos, los parámetros de bajo rango truncados se refinan utilizando un paso de optimización libre de datos. Los módulos de estilo LoRA de bajo rango ($A, B$) se inicializan a partir de la SVD truncada y se actualizan para minimizar la pérdida de reconstrucción contra los vectores de tarea almacenados, recuperando el rendimiento perdido durante el truncamiento.

Contribuciones Clave

1. Identificación de Modos de Fallo: El artículo caracteriza a los métodos existentes de fusión dinámica como aquellos que sufren extremos de asignación "compartido pesado" o "experto pesado", ambos de los cuales conducen a compensaciones subóptimas entre precisión y eficiencia.
2. Asignación Diferenciable de Rango: DiDi-Merging introduce un mecanismo para optimizar conjuntamente los rangos compartidos y expertos por tarea mediante un objetivo de truncamiento SVD diferenciable, eliminando la necesidad de ajuste manual de rangos o acceso a datos.
3. Fusión Dinámica Delgada: El marco logra un rendimiento casi sin pérdidas con un almacenamiento significativamente reducido. Iguala a las líneas base dinámicas anteriores con 1.24$\times$ el conteo de parámetros de un único modelo ajustado finamente y las supera con 1.4$\times$, superando sustancialmente a los métodos que requieren $\ge 2\times$ almacenamiento.

Resultados Experimentales
DiDi-Merging fue evaluado en visión, Modelos de Lenguaje Grandes (LLMs) y Modelos de Lenguaje Grandes Multimodales (MLLMs):

• Visión: En una prueba de 8 tareas con ViT-B/32, DiDi-Merging-S (presupuesto 1.24$\times$) igualó a la línea base dinámica más fuerte (TSV-C con 2.08$\times$) con una precisión del 89.3% frente al 89.5%, mientras utilizaba menos del 60% del almacenamiento. Con 1.4$\times$, logró la puntuación general más alta (89.8%).
• LLMs: Fusionando Llama-3.1-8B-Instruct y Qwen-2.5-7B-Instruct en cuatro dominios, DiDi-Merging-L (presupuesto 2.0$\times$) superó a los métodos dinámicos anteriores en un promedio de +5.4% en Llama-3.1-8B, con ganancias significativas en pruebas de seguimiento de instrucciones como AlpacaEval-2.
• MLLMs: En configuraciones multimodales (visión, audio, video, nube de puntos), DiDi-Merging superó consistentemente a las líneas base dinámicas libres de datos (NaiveMC, MMER) mientras mantenía una huella de parámetros delgada. Notablemente, logró una retención de rendimiento superior al 100% en ciertas tareas aprovechando el conocimiento cruzado entre modalidades compartido.
• Eficiencia: El método requiere recursos computacionales modestos (aprox. 1.1 GB de memoria GPU) y se ejecuta en aproximadamente 14 minutos para la etapa de optimización en ViT-B/32.

Significado y Afirmaciones
El artículo afirma que DiDi-Merging representa un paso significativo hacia adelante para hacer que la fusión dinámica de modelos sea práctica para el despliegue a gran escala. Al alejarse de la dicotomía "compartido pesado" o "experto pesado", logra una compensación óptima de Pareto entre eficiencia de parámetros y precisión. Los autores enfatizan que el método es completamente libre de datos, dependiendo únicamente de los vectores de tarea almacenados para el refinamiento, lo que preserva la privacidad y reduce la barrera de entrada para fusionar modelos especializados. El marco se presenta como una solución general aplicable en dominios de visión, lenguaje y multimodal, permitiendo el despliegue de conjuntos de expertos sin la sobrecarga de almacenamiento de mantener múltiples modelos completos o la degradación de rendimiento de la fusión estática.