Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

1. Problema y Motivación

El paradigma actual en NLP y visión por computadora implica el pre-entrenamiento de modelos masivos seguido de su ajuste fino (fine-tuning) para tareas específicas. Esto ha generado un crecimiento exponencial en el número de modelos ajustados. Sin embargo, existen dos enfoques principales con limitaciones significativas:

• Despliegue de modelos individuales: Mantener un modelo ajustado por tarea ofrece la máxima precisión, pero conlleva costos de almacenamiento y despliegue prohibitivos (escalando linealmente con el número de tareas).
• Fusión en un solo modelo (Model Merging): Combinar múltiples modelos ajustados en uno solo reduce drásticamente el tamaño, pero a menudo sufre de una brecha de precisión significativa debido a conflictos de parámetros entre tareas. La mayoría de los métodos actuales se limitan a fusionar todo en un único modelo (tamaño $1\times$), sin explorar un espectro intermedio.

La pregunta central: ¿Es posible generar modelos fusionados de tamaños variables (desde un solo modelo hasta mantener todos los modelos individuales) de manera libre de datos (data-free), y cómo evoluciona la relación entre precisión y tamaño a lo largo de este espectro?

2. Metodología: FLEXMERGE

Los autores proponen FLEXMERGE, un marco unificado y libre de datos que permite fusionar modelos ajustados en tamaños arbitrarios (incluyendo tamaños fraccionarios, ej. $1.75\times$).

Conceptos Clave:

• Granularidad de Bloques: En lugar de tratar el modelo como un todo, FLEXMERGE descompone cada modelo ajustado en una secuencia de bloques (por ejemplo, capas de atención, capas MLP o capas completas de un Transformer).
• Enfoque "Bottom-Up" (Ascendente):
  1. Inicialización: Se comienza con todos los bloques de todos los modelos de tareas (tamaño total $M\times$).
  2. Fusión Greedy (Voraz): En cada iteración, el algoritmo identifica el par de bloques (de diferentes tareas) con la mayor similitud (medida por la similitud del coseno mínima entre los vectores de tarea originales de los grupos).
  3. Aplicación de Algoritmos: Una vez seleccionado el par, se aplica un algoritmo de fusión existente (como Task Arithmetic, TIES-Merging, PCB, etc.) a nivel de bloque para crear un nuevo bloque unificado.
  4. Iteración: El proceso se repite, reduciendo el tamaño del modelo desplegado en cada paso, hasta alcanzar el tamaño objetivo deseado ($S_{target}$).

Características Técnicas:

• Libre de Datos: No requiere acceso a datos de entrenamiento ni de validación durante el proceso de fusión.
• Unificación de Algoritmos: Soporta una amplia gama de métodos de fusión existentes, aplicándolos a nivel de bloque en lugar de a nivel de vector de tarea completo.
• Eficiencia: Utiliza estructuras de datos como Disjoint Set Union (DSU) y precomputa similitudes para lograr una complejidad temporal eficiente ($O(BM^2d_{max})$), permitiendo fusionar hasta 30 tareas en segundos.

3. Contribuciones Principales

1. Generación de Modelos en Todo el Espectro de Tamaños: Es el primer estudio que genera modelos fusionados en un rango continuo de tamaños, incluyendo tamaños no enteros (ej. $2.25\times$), permitiendo un control preciso sobre la compensación entre almacenamiento y rendimiento.
2. Marco Unificado: Proporciona un entorno común para comparar y aplicar múltiples algoritmos de fusión libre de datos bajo una misma metodología.
3. Caracterización del Compromiso Precisión-Tamaño: Descubre dos hallazgos fundamentales:
   • Gains Rápidos: Aumentar modestamente el tamaño del modelo (ej. duplicarlo de $1\times$ a $2\times$) produce ganancias de precisión drásticas (hasta un 13.5% en algunos casos).
   • Inconsistencia en el Ranking: La jerarquía de los algoritmos no es estática. Un algoritmo que es inferior a tamaño $1\times$ puede superar a otros a tamaños mayores ($>1\times$) debido a la reducción natural de interferencia de parámetros al aumentar la capacidad del modelo.
4. Eficiencia de Inferencia: Demuestran que modelos más grandes fusionados no imponen una sobrecarga significativa en el tiempo de inferencia, especialmente en comparación con la reconstrucción necesaria en métodos basados en máscaras.

4. Resultados Experimentales

Los autores evaluaron FLEXMERGE en benchmarks extensivos de visión (ViT-B/32, ViT-L/14), NLP (T5-Base/Large) y ajuste eficiente de parámetros (PEFT con (IA)3), escalando hasta 30 tareas.

• Curvas de Compromiso: Las gráficas de precisión vs. tamaño muestran una curva de rendimientos decrecientes:
  • La mayor parte de la ganancia de precisión se obtiene al pasar de $1\times$ a $2\times$ o $3\times$.
  • Se alcanza una precisión cercana a la de los modelos ajustados individualmente mucho antes de llegar al tamaño máximo ($M\times$). Por ejemplo, con 30 tareas, se alcanza el 95% de la precisión máxima alrededor de un tamaño de $23.5\times$, ahorrando un 25% de almacenamiento.
• Comparación de Algoritmos:
  • Métodos simples como el promedio simple (Vanilla Averaging) o Task Arithmetic (TA) a menudo superan o igualan a métodos más complejos (como TIES-Merging o PCB) cuando el tamaño del modelo es mayor a $1\times$.
  • Esto sugiere que la interferencia de parámetros se mitiga naturalmente al aumentar la capacidad del modelo, haciendo que las heurísticas complejas de los algoritmos avanzados sean menos críticas.
• Comparación con Channel Merging: FLEXMERGE supera consistentemente a métodos recientes como Channel Merging, que utiliza agrupamiento (clustering) fijo por capa, gracias a su capacidad de agrupar bloques de manera flexible y dinámica.
• Generalización (OOD): Los modelos fusionados con FLEXMERGE muestran una mejor generalización fuera de distribución (OOD) en comparación con los expertos individuales, especialmente a tamaños intermedios.

5. Significado e Impacto

El trabajo de FLEXMERGE redefine el diseño de sistemas de fusión de modelos:

1. Nuevo Paradigma de Diseño: Invita a la comunidad a dejar de optimizar exclusivamente para el límite de un solo modelo ($1\times$). En su lugar, propone diseñar y comparar algoritmos a lo largo de todo el espectro de tamaños, permitiendo a los ingenieros elegir el punto óptimo según sus restricciones de almacenamiento y latencia.
2. Viabilidad Práctica: Demuestra que es posible obtener modelos multi-tarea de alta precisión sin los costos de almacenamiento de mantener todos los modelos individuales, ni la pérdida de precisión de fusionar todo en uno solo.
3. Flexibilidad Operativa: Permite a los practicantes ajustar dinámicamente el tamaño del modelo desplegado para equilibrar precisión, costo de almacenamiento y latencia de reconstrucción (en el caso de métodos con máscaras).

En conclusión, FLEXMERGE demuestra que la "zona intermedia" de tamaños de modelos fusionados es un territorio inexplorado pero altamente rentable, donde se pueden obtener ganancias masivas de precisión con incrementos de tamaño mínimos, desafiando la noción de que la fusión de modelos es un compromiso binario entre "todo o nada".