Model soups need only one ingredient

Résumé Technique : MonoSoup

Problématique

Le paradigme prédominant « pré-entraînement puis fine-tuning » pour les modèles de fondation entraîne souvent un compromis entre la précision en distribution (ID) et la robustesse hors distribution (OOD). Bien que le fine-tuning améliore les performances sur les tâches cibles, il provoque fréquemment un « effondrement de la représentation », où le modèle se spécialise excessivement sur les données d'entraînement, dégradant ainsi ses connaissances généralistes et ses performances OOD.

Les solutions existantes, telles que les Model Soups, atténuent ce problème en faisant la moyenne des poids de plusieurs checkpoints issus du fine-tuning. Cependant, cette approche est trop coûteuse en termes de calcul et de stockage, car elle nécessite l'entraînement et la conservation de dizaines de modèles. D'autres méthodes comme Model Stock réduisent cela à deux modèles, mais supposent toujours l'accès à plusieurs checkpoints, ce qui est souvent irréaliste en pratique où les dépôts ne conservent généralement qu'une seule version la plus performante. De plus, les méthodes à modèle unique comme Wise-FT (interpolation des poids pré-entraînés et fine-tunés) appliquent une interpolation uniforme, échouant à traiter la nature anisotrope et fine des mises à jour de poids à travers différentes couches et directions.

La question centrale abordée est la suivante : Peut-on conserver les avantages d'un model soup lorsqu'un seul checkpoint fine-tuné est disponible ?

Méthodologie : MonoSoup

Le papier introduit MonoSoup, une méthode post-hoc, sans données et sans hyperparamètres, qui atteint un équilibre ID–OOD robuste en utilisant un seul checkpoint. La méthode repose sur l'hypothèse qu'une mise à jour de poids d'un modèle unique contient à la fois des directions dominantes et spécifiques à la tâche, et des composantes plus faibles qui, bien que potentiellement bruitées, encodent des signaux résiduels critiques pour la robustesse OOD.

1. Décomposition spectrale via SVD

Pour chaque couche $\ell$, MonoSoup analyse la matrice de mise à jour du poids $\Delta W^{(\ell)} = W^{(\ell)}_{FT} - W^{(\ell)}_{0}$ en utilisant la décomposition en valeurs singulières (SVD) :
$$\Delta W^{(\ell)} = U^{(\ell)} \Sigma^{(\ell)} V^{(\ell)\top}$$
Le spectre des valeurs singulières est partitionné en deux composantes complémentaires :

• Composante à haute énergie ($W^{(\ell)}_{High}$) : Capture le sous-espace principal associé à l'adaptation spécifique à la tâche.
• Composante à basse énergie ($W^{(\ell)}_{Low}$) : Capture le complément orthogonal. Bien qu'elle contienne souvent du bruit, le papier soutient que ces directions préservent les informations critiques pour la généralisation OOD.

2. Partitionnement automatique

Contrairement aux méthodes nécessitant un seuil fixe, MonoSoup détermine automatiquement l'indice de partition $k$ en utilisant le rang effectif basé sur l'entropie (Roy & Vetterli, 2007) :
$$k^{(\ell)} = \left\lfloor \exp\left( - \sum_i p^{(\ell)}_i \ln p^{(\ell)}_i \right) \right\rfloor$$
où $p^{(\ell)}_i$ est la distribution normalisée des valeurs singulières. Cela permet à la méthode de s'adapter aux propriétés spectrales hétérogènes des différentes couches et architectures sans réglage manuel.

3. Repondération adaptative

Plutôt que de rejeter la composante de basse énergie, MonoSoup repondère les deux composantes en utilisant des coefficients par couche $\lambda^{(\ell)}_{High}$ et $\lambda^{(\ell)}_{Low}$ :
$$W^{(\ell)}_{MonoSoup} = \lambda^{(\ell)}_{High} W^{(\ell)}_{High} + \lambda^{(\ell)}_{Low} W^{(\ell)}_{Low}$$
Le coefficient de la composante de basse énergie, $\lambda^{(\ell)}_{Low}$, est dérivé de deux signaux :

1. Décroissance spectrale ($\rho^{(\ell)}$) : Mesure la pente du spectre des valeurs singulières.
2. Alignement géométrique ($\cos \alpha^{(\ell)}$) : Mesure la fraction de l'énergie de mise à jour transportée par les directions de basse énergie.

La règle de pondération est définie par :
$$\lambda^{(\ell)}_{Low} = \rho^{(\ell)} + (1 - \rho^{(\ell)}) \cos \alpha^{(\ell)}$$
$$\lambda^{(\ell)}_{High} = 1 - \lambda^{(\ell)}_{Low}$$
Cette formulation garantit que les composantes de basse énergie ne sont conservées que lorsque le spectre est plat ou que la mise à jour est bien alignée, supprimant efficacement le bruit tout en préservant les signaux robustes.

Contributions clés

1. Analyse géométrique de la fusion : Les auteurs établissent que le succès de la fusion de modèles dépend de l'alignement des mises à jour de fine-tuning. Ils valident cela en introduisant le Similarity-Filtered Greedy Soup (SFGS), une variante sans données qui sélectionne les modèles basés sur l'alignement géométrique plutôt que sur les métriques de validation, confirmant que l'alignement est un proxy fiable pour l'efficacité de la fusion.
2. Algorithme MonoSoup : Une méthode innovante à checkpoint unique qui décompose les mises à jour de poids en sous-espaces de haute et basse énergie et les repondère de manière adaptative. Elle élimine le besoin de multiples checkpoints tout en traitant les effets anisotropes ignorés par les méthodes d'interpolation uniforme.
3. Validation empirique : Des expériences approfondies sur des modèles de vision (CLIP, ConvNeXt) et de langage (Qwen) démontrent que MonoSoup améliore systématiquement la généralisation OOD tout en maintenant ou en améliorant la précision ID.

Résultats

• Vision (CLIP ViT-B/32) : MonoSoup améliore la précision OOD moyenne de la meilleure baseline d'environ 1 % et récupère jusqu'à 8 % sur les checkpoints les plus faibles présentant un effondrement de la représentation, tout en maintenant une forte précision ID. Il égale ou dépasse les performances des méthodes multi-modèles (Model Soups, Model Stock) en n'utilisant qu'un seul checkpoint.
• Langage (Qwen3-0.6B) : Sur les benchmarks de raisonnement mathématique et de QA, MonoSoup surpasse la baseline fine-tunée et la méthode LiNeS. Il montre des gains significatifs sur les tâches OOD difficiles comme GSMPlus et GSM8KPlatinum (jusqu'à +9,2 points).
• Intégration : Combiné avec Wise-FT, MonoSoup fournit un point de départ plus solide pour l'interpolation, produisant des fronts de Pareto qui dominent ceux de Wise-FT et LiNeS seuls.
• Efficacité : MonoSoup est une opération en une seule étape (one-shot) et sans données. Pour un modèle de 14 milliards de paramètres, il réduit le coût de temps de calcul d'un facteur $\sim 10^3$–$10^4\times$ et le stockage d'un ordre de grandeur par rapport à l'entraînement de multiples checkpoints pour les Model Soups.

Signification et affirmations

Le papier affirme que MonoSoup offre une alternative pratique, « plug-and-play », à l'ensemblage multi-checkpoints. En compressant les bénéfices des model soups dans une procédure à modèle unique, il répond aux barrières de calcul et de stockage du déploiement de modèles robustes. Les auteurs soulignent que leur approche est particulièrement précieuse pour les praticiens qui n'ont pas les ressources pour reproduire de vastes recherches d'hyperparamètres ou maintenir de multiples checkpoints.

Crucialement, le papier note que si MonoSoup améliore considérablement la robustesse face aux décalages de distribution naturels, il ne se substitue pas à des évaluations de sécurité spécifiques à l'application contre les perturbations adverses. La principale contribution sociétale de la méthode est la réduction substantielle des coûts de calcul et de stockage requis pour déployer des modèles robustes, rendant l'IA performante et généralisable plus accessible.