Résumé technique : Mélanger les données ou fusionner les modèles ? Équilibrer l'utilité, l'honnêteté et l'innocuité des grands modèles de langage via la fusion de modèles

Énoncé du problème

Le déploiement fiable des grands modèles de langage (LLM) nécessite une optimisation équilibrée entre trois dimensions critiques : l'Utilité (réponses précises et alignées sur la tâche), l'Honnêteté (éviter les hallucinations) et l'Innocuité (prévenir les contenus toxiques), collectivement appelées optimisation 3H. Bien que les techniques d'alignement existantes comme l'apprentissage par renforcement à partir de rétroactions humaines (RLHF) et l'optimisation de préférence directe (DPO) aient amélioré des aspects individuels, parvenir à un équilibre simultané reste un défi important en raison de compromis inhérents ; par exemple, optimiser l'utilité peut involontairement générer un contenu nuisible, tandis que l'alignement sur l'innocuité peut conduire à des réponses malhonnêtes.

Les approches traditionnelles pour résoudre ces conflits reposent sur des stratégies de mélange de données, qui combinent divers ensembles de données pour affiner un modèle unique. Cependant, ces méthodes font face à des limites, notamment une forte dépendance aux connaissances d'experts pour le curatage des données, des coûts de calcul élevés et la difficulté de gérer des signaux d'optimisation conflictuels lors de l'ajustement fin. La fusion de modèles (intégration des paramètres de modèles spécialisés) offre une alternative plus rentable au niveau des paramètres pour atténuer l'oubli catastrophique et équilibrer les objectifs, mais son efficacité spécifique et ses limites pour l'optimisation 3H sont restées peu explorées. Les défis clés dans ce domaine incluent l'accumulation de bruit de préférence (où la fusion de plusieurs modèles alignés introduit des mises à jour de poids aberrantes qui masquent la véritable direction de la tâche) et l'adaptation de la parcimonie des couches (l'incapacité des méthodes existantes à tenir compte des différents schémas de parcimonie à travers les différentes couches d'un LLM).

Méthodologie

Évaluation comparative et analyse

Les auteurs ont d'abord établi un benchmark complet pour comparer systématiquement les techniques de mélange de données et de fusion de modèles pour l'optimisation 3H. Cela a impliqué :

• Jeux de données : 10 jeux de données de préférence couvrant 5 dimensions d'annotation (Utilité, Honnêteté, Innocuité, et leurs combinaisons).
• Lignes de base (Baselines) : 15 méthodes représentatives, incluant 12 stratégies de fusion de modèles sans entraînement (ex: Weight Average, Task Arithmetic, TIES, DARE, TSVM) et 3 stratégies de mélange de données (Heuristic, ArmoRM, Hummer).
• Modèles : Deux familles de LLM ajustés par instruction (Llama-3-8B et Mistral-7B) sous des réglages d'optimisation statiques (étape unique) et continus (multi-étapes).

À travers ce benchmark, les auteurs ont révélé des relations de collaboration et de conflit jusqu'alors négligées entre les dimensions 3H. Notamment, ils ont découvert que si l'entraînement pour l'« Utilité » bénéficie simultanément aux trois dimensions 3H, l'entraînement pour l'« Honnêteté » et l'« Innocuité » s'affaiblissent souvent mutuellement.

Méthode proposée : RESM

Pour répondre aux défis spécifiques du bruit de préférence et de la parcimonie des couches dans la fusion multi-objectifs, l'article propose la Reweighting Enhanced task Singular Merging (RESM). Cette méthode s'appuie sur la fusion par vecteurs singuliers de tâche (TSV) mais introduit deux mécanismes novateurs :

1. Pondération sensible aux valeurs aberrantes (Adressant le bruit de préférence) :

   • Reconnaissant que la fusion de plusieurs modèles alignés accumule du bruit de préférence, RESM utilise un mécanisme de filtrage de la signification statistique basé sur le principe des 3σ.
   • Il calcule la moyenne ($\mu$) et l'écart-type ($\sigma$) par ligne des déviations de poids ($\Delta$) pour chaque couche.
   • Une fonction de seuillage supprime les fluctuations de faible amplitude (bruit) et ne conserve que les déviations statistiquement significatives.
   • Un poids d'agrégation ($\alpha$) est calculé via la normalisation L1 de ces magnitudes de valeurs aberrantes éparses, assurant des contributions équilibrées des diverses tâches et empêchant les mises à jour de grande amplitude de dominer la fusion.

2. Sélection de rang adaptative à la parcimonie (Adressant la parcimonie des couches) :

   • Les méthodes conventionnelles utilisent un seuil de sélection de rang ($k$) uniforme pour toutes les couches, ce qui ne tient pas compte de l'hétérogénéité de l'importance des paramètres.
   • RESM détermine dynamiquement le rang ($k_l$) pour chaque couche en fonction de son consensus de parcimonie ($\Omega_l$).
   • La parcimonie est calculée en comptant la proportion de déviations de paramètres inférieures à un petit seuil $\epsilon$.
   • Le rang dynamique est défini par $k_l = \lfloor d_l(\gamma_0 + \gamma\Omega_l) \rfloor$, où $d_l$ est la dimension de la couche. Cela permet de conserver un rang plus élevé dans les couches éparses (préservant les caractéristiques directionnelles critiques) et une réduction de dimensionnalité plus forte dans les couches denses (supprimant le bruit).

La couche fusionnée finale est calculée en intégrant ces vecteurs singuliers repondérés :
$$\theta^{RESM}_l = \theta^0_l + \sum_{i=1}^n U^{(i)}_{l\perp}[:, : k_l] \cdot (\alpha^{(i)}_l S^{(i)}_l) \cdot V^{(i)\top}_{l\perp}[: k_l, :]$$

Résultats clés

Comparaison de performance

Des évaluations approfondies sur les modèles Llama-3 et Mistral démontrent que la fusion de modèles surpasse généralement les méthodes de mélange de données pour atteindre une optimisation 3H équilibrée :

• Optimisation statique : Sur Llama-3, la meilleure méthode de mélange de données (Hummer) a obtenu un gain normalisé de 10,16 %. En revanche, les méthodes de fusion de modèles ont systématiquement surpassé ce résultat, la méthode RESM atteignant un gain de 14,97 %. TSVM (la base de RESM) a atteint 13,00 %.
• Résultats Mistral : Des tendances similaires ont été observées, RESM atteignant un gain de 3,36 % par rapport à la ligne de base, surpassant la meilleure méthode de mélange de données (1,53 %).
• Stabilité : Contrairement aux méthodes de sparsification aléatoire (ex: DARE, DELLA) qui ont montré des performances instables selon les différentes graines aléatoires (seeds), RESM a démontré des résultats robustes et cohérents grâce à son approche basée sur la SVD et ses stratégies adaptatives.

Études d'ablation

Les études d'ablation ont confirmé la nécessité des deux composants de RESM :

• Le retrait de la pondération des valeurs aberrantes a réduit le gain normalisé sur Llama-3 de 14,97 % à 13,60 %.
• Le retrait de la sélection de rang adaptative a réduit le gain à 13,71 %.
• La combinaison des deux stratégies a produit la performance la plus élevée, validant que l'adresse simultanée du bruit d'accumulation et de la parcimonie des couches est critique.

Optimisation continue

Dans les contextes d'entraînement DPO continu (simulant des scénarios réels avec des données séquentielles), RESM maintient une performance supérieure aux modèles de l'étape finale. Les auteurs ont observé que les effets d'oubli catastrophique améliorent paradoxalement l'alignement 3H grâce à une optimisation interactive, et la stratégie de RESM consistant à fusionner à partir d'un point de contrôle fondamental (plutement qu'à partir de points intermédiaires) atténue efficacement le surapprentissage des objectifs antérieurs.

Signification et revendications

L'article affirme fournir le premier benchmark systématique comparant le mélange de données et la fusion de modèles pour l'optimisation 3H. Ses principales contributions sont :

1. Aperçus empiriques : Il révèle que la fusion de modèles offre un paradigme d'optimisation par phases qui négocie efficacement les objectifs d'alignement concurrents, surpassant souvent les stratégies de mélange de données qui luttent avec les signaux conflictuels.
2. Avancement méthodologique : L'algorithme RESM proposé aborde des obstacles techniques spécifiques à la fusion de LLM — le bruit de préférence et la parcimonie des couches — via la pondération des valeurs aberrantes et la sélection de rang adaptative, atteignant un alignement équilibré de pointe sans nécessiter de données d'entraînement supplémentaires.
3. Fondement théorique : Le travail fournit des bornes théoriques sur la probabilité de conflit, démontrant que la sélection de rang adaptative réduit la probabilité de conflits directionnels entre les vecteurs de tâches par rapport aux approches à rang fixe.

Les auteurs concluent que la fusion de modèles, particulièrement lorsqu'elle est enrichie par des stratégies de repondération et de conscience de la parcimonie, représente une voie viable et efficace pour construire des LLM alignés sur des objectifs multiples et soumis à des contraintes éthiques. Ils soulignent que bien que RESM améliore considérablement l'Honnêteté et l'Innocuité, la dimension « Utilité » présente encore des défis en raison de conflits intra-dimensions, suggérant la nécessité de futurs cadres de résolution de conflits hiérarchiques.