Layer-wise Swapping for Generalizable Multilingual Safety

1. Problématique

Malgré les progrès rapides des Grands Modèles de Langage (LLM), l'alignement de sécurité reste inégal selon les langues. La majorité des efforts d'alignement reposent sur des jeux de données en anglais, laissant les langues à ressources limitées (low-resource) vulnérables aux générations nuisibles ou non alignées.

• Le défi : Les modèles experts en langues spécifiques, affinés (fine-tuned) uniquement sur des données d'instruction dans leur langue, présentent des taux d'insécurité plus élevés que leurs homologues anglophones.
• Les limites des approches existantes : Les méthodes de transfert interlingual tentent souvent d'améliorer les performances générales mais négligent la sécurité. De plus, les méthodes d'adaptation multilingue classiques provoquent souvent un « oubli catastrophique » des connaissances de sécurité acquises lors du pré-entraînement.
• L'objectif : Transférer l'alignement de sécurité d'un modèle expert en anglais vers des modèles experts en langues à ressources limitées sans entraînement supplémentaire (training-free), tout en préservant les capacités de compréhension générale.

2. Méthodologie

Les auteurs proposent une méthode d'échange de couches sensible à la sécurité (Safety-aware Layer Swapping), basée sur la composition de vecteurs de tâches.

A. Fondements Théoriques

La méthode s'appuie sur le concept de vecteurs de tâches ($\tau$), définis comme la différence entre les paramètres d'un modèle affiné ($\theta_{ft}$) et ceux du modèle de base pré-entraîné ($\theta_{base}$) :
$$\tau = \theta_{ft} - \theta_{base}$$
Cela permet de représenter les connaissances spécialisées (sécurité ou multilinguisme) comme des déplacements dans l'espace des paramètres.

B. Échange de Couches et de Modules

L'approche va au-delà de l'échange simple de couches entières (comme dans les travaux précédents) pour introduire une granularité plus fine :

1. Échange au niveau des couches (Layer-wise) : Combinaison des vecteurs de tâches de sécurité ($v_{safe}$) et multilingues ($v_{multi}$) couche par couche.
2. Échange au niveau des modules (Module-wise) : Décomposition de chaque couche Transformer en ses sous-composants : les blocs d'Attention et les réseaux de neurones MLP (Feed-Forward). L'hypothèse est que ces sous-modules présentent une linéarité plus forte, permettant un transfert plus précis.

C. Stratégie de Sélection Automatique

Pour déterminer quels modules conserver ou fusionner, l'algorithme calcule un ratio de changement relatif par rapport au modèle de base pour chaque module $m$ et couche $l$ :
$$n_{l,m} = \frac{\|\Delta W_{l,m}\|_2}{\|\theta_{base, l,m}\|_2}$$
Ces ratios sont normalisés pour obtenir des scores d'importance ($p_{safe}$ et $p_{multi}$). La différence $d_{l,m} = p_{safe} - p_{multi}$ indique la spécialisation relative du module.

• Sélection directe : Si la différence dépasse un seuil $\tau$ (ex: $|d_{l,m}| > \tau$), le module est pris directement du modèle expert correspondant (sécurité ou langue).
• Fusion (Blending) : Si la différence est faible (zone d'ambiguïté), les modules sont fusionnés par interpolation linéaire avec un poids $\alpha$ :
  $$\theta_{hybrid} = \alpha \cdot \theta_{safe} + (1-\alpha) \cdot \theta_{multi}$$

3. Contributions Clés

1. Formulation systématique : Présentation de l'échange de couches comme une composition de vecteurs de tâches multilingues et de sécurité.
2. Extension dynamique : Passage d'un échange de couches statique à un échange dynamique au niveau des modules (Attention/MLP), permettant une sélection automatique basée sur le degré de spécialisation.
3. Stratégie sans entraînement : Démonstration qu'il est possible d'améliorer la sécurité des langues à ressources limitées sans coûts de calcul supplémentaires liés à l'entraînement (fine-tuning), simplement par fusion de paramètres.
4. Préservation des performances : La méthode maintient les capacités de raisonnement et de compréhension générale tout en renforçant la sécurité.

4. Résultats Expérimentaux

Les expériences ont été menées sur des modèles LLaMA 3.1 8B et Qwen 3 8B, affinés pour quatre langues à ressources limitées : Coréen, Bengali, Swahili et Telugu.

• Évaluation de la sécurité (Benchmark MultiJail) :

  • Les modèles experts en langue seule montrent des taux d'insécurité très élevés.
  • La méthode proposée (échange de couches et de modules) réduit significativement les taux d'insécurité, surpassant les méthodes de fusion classiques (Task Arithmetic, TIES, DARE) et se rapprochant ou dépassant les performances du modèle expert en sécurité anglais, sans sacrifier la langue cible.
  • Sur 20 évaluations, l'échange de couches (layer-wise) a gagné dans 70 % des cas par rapport à l'échange de couches statique.

• Évaluation de la compréhension générale (MMMLU, BELEBELE, MGSM) :

  • La méthode préserve les performances sur les tâches de raisonnement et de compréhension.
  • L'échange de modules (module-wise) obtient de meilleurs résultats que l'échange de couches fixe dans 68 % des cas, démontrant une meilleure robustesse inter-langues.

• Analyse des mécanismes :

  • L'analyse des mises à jour de paramètres révèle que l'alignement de sécurité se manifeste principalement dans les couches intermédiaires, tandis que l'adaptation linguistique est plus forte dans les couches basses et hautes.
  • Il existe une spécialisation complémentaire entre les modules d'Attention et MLP, justifiant l'approche granulaire.

5. Signification et Impact

Ce travail est significatif car il propose une solution efficace et économe en ressources pour combler le fossé de sécurité entre les langues à haute et faible ressource.

• Accessibilité : En évitant le ré-entraînement coûteux, la méthode rend la sécurité multilingue accessible aux communautés disposant de peu de données.
• Précision technique : Elle démontre que la sécurité et les compétences linguistiques sont localisées dans des sous-structures différentes du modèle, validant l'approche de fusion modulaire.
• Éthique : Elle répond à un impératif éthique crucial en réduisant les risques de génération nuisible pour les utilisateurs non anglophones, souvent négligés dans le développement actuel des LLM.

En résumé, cette étude prouve qu'une stratégie de fusion de vecteurs de tâches, appliquée de manière dynamique au niveau des modules, permet de transférer efficacement l'alignement de sécurité tout en maintenant l'expertise linguistique, offrant ainsi une voie prometteuse pour des LLM véritablement sûrs et multilingues.