Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

Problemstellung

Das Paper adressiert das fundamentale Dilemma beim Einsatz von feinabgestimmten (fine-tuned) Modellen für Multi-Task-Learning:

1. Speicherkosten: Das Bereitstellen aller individuellen feinabgestimmten Modelle für verschiedene Aufgaben führt zu prohibitiv hohen Speicher- und Bereitstellungskosten.
2. Genauigkeitsverlust: Herkömmliche Methoden zum Zusammenführen (Merging) mehrerer Modelle in ein einziges Modell (Größe $1\times$) leiden unter einem signifikanten Genauigkeitsverlust im Vergleich zu den einzelnen Spezialmodellen. Dies liegt an Konflikten zwischen den Parametern der verschiedenen Aufgaben (Parameter-Interferenz).
3. Datenschutz: Viele existierende Merging-Methoden benötigen Validierungsdaten, was in Szenarien mit Datenschutzbeschränkungen oder proprietären Daten oft nicht möglich ist.

Die Autoren argumentieren, dass die aktuelle Forschung zu stark auf das Limit eines einzigen Modells ($1\times$) fokussiert ist und die Möglichkeit ignoriert, Modelle in Größen zwischen $1\times$ (ein Modell) und $M\times$ (alle $M$ Modelle separat) zu erstellen.

Methodik: FLEXMERGE

Die Autoren stellen FLEXMERGE vor, ein datenfreies Framework, das es ermöglicht, feinabgestimmte Modelle flexibel in Modelle beliebiger Größe (auch nicht-ganzzahlige Größen, z. B. $1,75\times$) zu fusionieren.

Kernprinzipien:

• Block-basierte Granularität: Anstatt ganze Modelle zu fusionieren, betrachtet FLEXMERGE jedes Modell als eine Sequenz von Blöcken (z. B. Transformer-Blöcke, Attention-Layer, MLP-Layer).
• Bottom-up Greedy-Ansatz:
  1. Initialisierung: Alle $M$ Aufgaben beginnen mit ihren eigenen Blöcken.
  2. Ähnlichkeitsmessung: In jedem Iterationsschritt wird die Ähnlichkeit zwischen Paaren von Aufgaben-Blöcken berechnet. Als Metrik dient die minimale Kosinussimilarität zwischen den ursprünglichen Task-Vektoren der beiden zu fusionierenden Gruppen.
  3. Fusion: Das Paar mit der höchsten Ähnlichkeit wird ausgewählt und fusioniert. Die Fusion nutzt beliebige existierende datenfreie Algorithmen (z. B. Task Arithmetic, TIES-Merging, PCB-Merging) auf Block-Ebene.
  4. Wiederholung: Dieser Prozess wird wiederholt, bis die gewünschte Zielgröße ($S_{target}$) erreicht ist.
• Datenfreiheit: Der gesamte Prozess benötigt keine Trainingsdaten oder Feinabstimmung; er basiert ausschließlich auf den Gewichten der bereits feinabgestimmten Modelle.
• Unterstützte Algorithmen: Das Framework ist agnostisch gegenüber dem verwendeten Merging-Algorithmus und kann TA, TIES, PCB, TSV-M, CONSENSUS, EMR-Merging etc. integrieren.

Komplexität: Der Algorithmus nutzt eine effiziente Implementierung mit Disjoint Set Union (DSU) und SLINK (Single-Linkage Clustering), um die Merging-Reihenfolge zu bestimmen, was eine hohe Effizienz auch bei vielen Aufgaben ($M$) gewährleistet.

Hauptbeiträge

1. Erste systematische Untersuchung des Genauigkeits-Größen-Trade-offs: Das Paper ist die erste umfassende Studie, die Merging-Algorithmen über das gesamte Spektrum der Modellgrößen (von $1\times$ bis $M\times$) hinweg analysiert, anstatt nur den Endpunkt bei $1\times$ zu betrachten.
2. Flexibles Framework: FLEXMERGE ermöglicht die Erzeugung von Modellen mit nicht-ganzzahligen Größen (z. B. $2,25\times$), was durch starre Cluster-Methoden (wie Channel Merging) nicht möglich ist.
3. Einheitliche Plattform: Es bietet eine einheitliche Umgebung, um diverse datenfreie Merging-Algorithmen fair zu vergleichen.
4. Effizienz: Die Implementierung ermöglicht ein sehr schnelles Merging (Sekunden für bis zu 30 Aufgaben) und vernachlässigbare Inference-Overheads.

Ergebnisse und Schlüsselerkenntnisse

Die Autoren führten umfangreiche Experimente an Vision- (ViT, CLIP) und NLP-Benchmarks (T5, (IA)³ PEFT) mit bis zu 30 Aufgaben durch.

1. Steile Genauigkeitsgewinne bei moderater Größenvergrößerung:

   • Selbst eine moderate Vergrößerung des Modells über $1\times$ hinaus führt zu drastischen Genauigkeitssteigerungen.
   • Beispiel: Bei der Verdopplung der Modellgröße von $1\times$ auf $2\times$ konnte FLEXMERGE + Task Arithmetic (TA) die durchschnittliche Genauigkeit um bis zu 13,5 % steigern.
   • Modelle erreichen oft bereits bei Größen von $6\times$ (für 8 Aufgaben) oder $23,5\times$ (für 30 Aufgaben) eine Genauigkeit, die der der einzelnen feinabgestimmten Modelle nahekommt, was eine erhebliche Speicherersparnis bei minimalem Genauigkeitsverlust bedeutet.

2. Inkonsistente Algorithmen-Rankings:

   • Die Rangfolge der Merging-Algorithmen ändert sich mit der Modellgröße.
   • Einfache Methoden (wie einfaches Averaging oder TA) können bei größeren Modellgrößen ($>1\times$) komplexe, fortschrittliche Methoden (wie TIES oder PCB) übertreffen oder einholen.
   • Begründung: Bei größeren Modellen nimmt die Parameter-Interferenz zwischen den Aufgaben natürlich ab, wodurch die komplexen Mechanismen zur Interferenzreduktion weniger kritisch werden.

3. Vergleich mit Channel Merging:

   • FLEXMERGE übertrifft den aktuellen State-of-the-Art "Channel Merging" (Zhang et al., 2025) in allen Größenkategorien, da es durch den iterativen, paarweisen Ansatz flexiblere Cluster-Größen pro Block erlaubt, während Channel Merging starre Cluster-Anzahlen erzwingt.

4. Skalierungsgesetze:

   • Die Genauigkeit skaliert besser, wenn die Modellgröße proportional zur Anzahl der Aufgaben ($M$) gewählt wird, anstatt eine feste Größe zu verwenden.

Bedeutung und Ausblick

Das Paper eröffnet eine neue Design-Dimension für das Model Merging:

• Paradigmenwechsel: Statt nur nach dem besten Algorithmus für ein einzelnes Modell ($1\times$) zu suchen, sollten Algorithmen und Architekturen für das gesamte Spektrum der Modellgrößen entwickelt und verglichen werden.
• Praktische Relevanz: FLEXMERGE bietet Praktikern die Flexibilität, basierend auf ihren spezifischen Anforderungen (Speicherbudget vs. Genauigkeit) den optimalen Punkt auf der Trade-off-Kurve zu wählen.
• Reduktion von Overhead: Für maskenbasierte Ansätze (wie CONSENSUS) reduziert eine größere Modellgröße den Rekonstruktions-Overhead zur Inferenzzeit signifikant, da weniger Blöcke rekonstruiert werden müssen.

Zusammenfassend demonstriert FLEXMERGE, dass der Kompromiss zwischen Speichergröße und Genauigkeit durch flexible, blockbasierte Merging-Strategien effektiv navigiert werden kann, was zu einer neuen Ära des effizienten Multi-Task-Learnings ohne Datenzugriff führt.