Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

1. Le Problème : Le compromis Précision-Taille dans le Fusion de Modèles

Le domaine du fine-tuning de modèles pré-entraînés (PTM) a conduit à une prolifération de modèles spécialisés pour des tâches individuelles. Le déploiement de tous ces modèles individuels entraîne des coûts de stockage et de déploiement prohibitifs. À l'inverse, le Multi-Task Learning (MTL) classique nécessite un réentraînement coûteux et l'accès simultané à toutes les données, ce qui est souvent impossible pour des raisons de confidentialité.

Le model merging (fusion de modèles) émerge comme une solution intermédiaire prometteuse, permettant de combiner plusieurs modèles fine-tunés en un seul sans accès aux données d'entraînement. Cependant, les méthodes actuelles souffrent de deux limitations majeures :

1. L'écart de précision : Fusionner tous les modèles en un seul modèle unique (taille $1\times$) crée des conflits de paramètres entre les tâches, entraînant une baisse significative de la précision par rapport aux modèles individuels.
2. Rigidité de la taille : La plupart des approches se concentrent uniquement sur la fusion en un seul modèle, ignorant le spectre intermédiaire où l'on pourrait conserver une partie de la spécialisation des modèles individuels pour gagner en précision.

Il existe un manque d'investigation systématique sur la relation entre la taille du modèle fusionné et sa précision, ainsi que sur la possibilité de générer des modèles de tailles fractionnaires (ex: $1.75\times$).

2. Méthodologie : FLEXMERGE

Les auteurs proposent FLEXMERGE, un cadre de fusion de modèles sans données (data-free) et flexible.

Principes Fondamentaux

• Granularité par Blocs : Au lieu de traiter le modèle comme un vecteur de paramètres unique, FLEXMERGE décompose chaque modèle fine-tuné en une séquence de blocs (par exemple, les couches d'attention et MLP dans un Transformer).
• Approche Ascendante (Bottom-Up) : Le processus commence avec $M$ modèles complets (chaque bloc est distinct pour chaque tâche).
• Fusion Itérative et Gloutonne : À chaque itération, l'algorithme identifie la paire de blocs (appartenant à deux ensembles de tâches différents) ayant la plus grande similarité (mesurée par la similarité cosinus minimale entre les vecteurs de tâches originaux). Ces deux blocs sont fusionnés en un seul bloc partagé.
• Contrôle de la Taille : Le processus s'arrête dès que la taille du modèle déployé atteint une taille cible $S_{target}$, qui peut être n'importe quelle valeur dans l'intervalle $[1, M]$, y compris des tailles non entières (ex: $2.25\times$).

Intégration des Algorithmes

FLEXMERGE est agnostique à l'algorithme de fusion utilisé au niveau des blocs. Il peut intégrer n'importe quelle méthode de fusion sans données existante, telle que :

• Task Arithmetic (TA)
• TIES-MERGING
• PCB-MERGING
• CONSENSUS et EMR-MERGING (qui utilisent des masques pour la reconstruction)

L'algorithme gère efficacement la complexité grâce à une pré-computation des similarités et l'utilisation de structures de données Disjoint Set Union (DSU) pour suivre les regroupements de tâches.

3. Contributions Clés

1. Première étude du spectre complet des tailles : FLEXMERGE est la première méthode capable de générer des modèles fusionnés sur tout le spectre des tailles, de $1\times$ (modèle unique) à $M\times$ (tous les modèles conservés), y compris des tailles fractionnaires.
2. Cadre unifié : Il supporte une large gamme d'algorithmes de fusion sans données dans une seule architecture cohérente.
3. Caractérisation du compromis Précision-Taille : L'étude révèle que l'augmentation modeste de la taille du modèle (même juste au-delà de $1\times$) entraîne des gains de précision drastiques.
4. Efficacité d'inférence : L'implémentation permet une inférence rapide sans surcharge significative, même pour des tailles supérieures à $1\times$, en utilisant des vues de modèles spécifiques aux tâches qui partagent les tenseurs fusionnés.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de vision par ordinateur (ViT-B/32, ViT-L/14) et de NLP (T5, T0-3B avec PEFT), jusqu'à 30 tâches.

• Gains de Précision Rapides :

  • Pour 8 tâches, doubler la taille du modèle (passer de $1\times$ à $2\times$) avec FLEXMERGE + TA augmente la précision moyenne de 13,5 %.
  • Pour 30 tâches, une augmentation similaire de la taille permet de récupérer 8,5 % de précision.
  • La précision atteint presque celle des modèles fine-tunés individuels bien avant d'atteindre la taille maximale ($M\times$), souvent autour de $6\times$ pour 8 tâches et $23.5\times$ pour 30 tâches.

• Incohérence du Classement des Algorithmes :

  • Le classement des algorithmes de fusion n'est pas constant. Un algorithme simple comme la moyenne (Averaging) peut surpasser des méthodes avancées comme TIES-MERGING lorsque la taille du modèle augmente (ex: à $3\times$).
  • Cela suggère que l'augmentation de la taille réduit naturellement les interférences entre les tâches, rendant les mécanismes complexes de résolution de conflits moins critiques à des tailles plus grandes.

• Comparaison avec CHANNEL MERGING :

  • FLEXMERGE surpasse systématiquement Channel Merging (une méthode récente basée sur le clustering K-Means) car il permet un nombre variable de groupes par bloc, contrairement à la contrainte fixe de K-Means.

• Efficacité :

  • Le temps de fusion pour 30 tâches est d'environ 20 secondes.
  • Le coût d'inférence est négligeable par rapport à la fusion standard, même pour des modèles plus grands.
  • Pour les méthodes basées sur des masques (CONSENSUS, EMR), l'augmentation de la taille réduit considérablement la latence de reconstruction (de 240 ms à 0 ms sur CPU pour ViT-L/14).

5. Signification et Impact

Ce travail redéfinit la dimension de conception pour la fusion de modèles. Au lieu de se limiter à la recherche d'un modèle unique optimal ($1\times$), les auteurs démontrent qu'il existe une région favorable dans le compromis précision-taille où des modèles légèrement plus grands offrent des performances quasi-optimales avec des coûts de stockage modérés.

Implications pratiques :

• Les praticiens peuvent choisir une taille de déploiement spécifique en fonction de leurs contraintes de stockage et de précision, plutôt que d'être forcés de choisir entre "un seul modèle" ou "tous les modèles".
• Cela ouvre la voie au développement de nouveaux algorithmes de fusion optimisés spécifiquement pour des tailles $> 1\times$, plutôt que d'être évalués uniquement à la limite d'un seul modèle.
• La méthode est particulièrement pertinente pour les environnements contraints en données (privacy) où le fine-tuning multi-tâche classique est impossible.

En résumé, FLEXMERGE propose une approche flexible et efficace pour naviguer dans le compromis entre la compacité du modèle et la précision, révélant que de petits compromis de taille peuvent rapporter des gains de performance substantiels.