Résumé Technique : PermDoRA - Comprendre l'interférence des adaptateurs dans les modèles de langage

Énoncé du Problème

Le déploiement de modèles de langage de grande taille (LLM) dans des contextes d'entreprise et scientifiques nécessite souvent un contrôle d'accès modulaire, où les utilisateurs sont autorisés à accéder à des sous-ensembles spécifiques de connaissances spécialisées sans réentraîner l'intégralité du modèle. Bien que les approches existantes gèrent le contrôle d'accès au niveau du prompt, du routage ou de la récupération (retrieval), elles manquent de modularité au niveau des représentations apprises.

Un défi central dans le contrôle d'accès au niveau des paramètres est l'interférence d'adaptateur : lorsque plusieurs adaptateurs spécialisés par domaine sont composés au moment de l'inférence, les performances se dégradent souvent. Une hypothèse prédominante suggère que cette interférence provient d'un chevauchement dans les mises à jour linéaires des paramètres. Par conséquent, il est hypothétisé que l'imposition de l'orthogonalité ou de l'indépendance directionnelle dans l'espace des paramètres (via une fusion sensible à la géométrie) devrait atténuer cette interférence et améliorer les performances multi-domaines par rapport à une moyenne euclidienne standard.

Méthodologie : DoRA-RBAC

Les auteurs proposent DoRA-RBAC, un cadre de composition d'adaptateurs hiérarchique conçu pour tester l'hypothèse de l'interférence géométrique.

1. Architecture du Cadre

• Modèle de Base : Un squelette pré-entraîné (LLaMA-3.1-8B ou Mistral-7B) est gelé.
• Base Partagée : Un adaptateur de base partagé est entraîné et gelé.
• Adaptateurs Gestionnaires (Manager Adapters) : Pour chaque domaine $d$, un adaptateur gestionnaire stocke une mise à jour incrémentale de la base.
• Décomposition DoRA : Contrairement au LoRA standard ($\Delta W = BA$), DoRA décompose les mises à jour en un vecteur de direction unitaire $\hat{v}_i$ et une magnitude scalaire $m_i$ :
  $$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$$
  où $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$.
• Composition : Lors de l'inférence, les domaines autorisés d'un utilisateur sont composés en un seul adaptateur aplati.

2. Stratégies de Composition

L'étude compare deux stratégies de fusion pour les domaines autorisés $D$ :

1. Composition Euclidienne : Les mises à jour de poids effectives sont moyennées dans l'espace euclidien, suivies d'une décomposition en valeurs singulières (SVD) tronquée pour refactoriser le résultat en un adaptateur de faible rang.
   $$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$$
2. Composition Riemannienne (Sensible à la Géométrie) : En exploitant la séparation de la direction et de la magnitude de DoRA, cette méthode traite les directions normalisées comme des points sur une hypersphère unité. Elle calcule la moyenne de Fréchet via une moyenne directionnelle normalisée et agrège les magnitudes séparément :
   $$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$$
   Le poids final est reconstruit via SVD.

3. Métriques d'Évaluation

• Utilité : Mesurée via l'Indice d'Écart d'Utilité (UGI), le gain de précision d'un gestionnaire spécifique au domaine par rapport à la base.
• Interférence/Sécurité : Mesurée via l'Indice de Distinguabilité de Domaine (DDI), un score AUC quantifiant la capacité d'un modèle à être distingué comme étant "dans le domaine" vs "hors domaine" en utilisant des attaques d'inférence d'appartenance (ex: Min-K++).
• Diagnostics Géométriques : Similitude cosinus entre les mises à jour d'adaptateurs et pertes d'orthogonalité symétrique.

Résultats Clés

1. Performance sur un Seul Domaine

Sur des tâches à domaine unique à travers GPQA, PubMedQA, SimpleQA et WMDP, DoRA-RBAC est comparable à un LoRA standard. Il n'y a pas de différence significative de performance entre les deux méthodes dans les configurations à domaine unique, confirmant que la décomposition modulaire ne dégrade pas intrinsèquement l'utilité.

2. Composition Multi-Domaine (La Découverte Principale)

La principale conclusion empirique est que la fusion sensible à la géométrie n'apporte aucun avantage constant par rapport à la moyenne euclidienne standard dans les contextes multi-domaines.

• Performance : Sur SimpleQA (combinaisons de 2 et 3 domaines), la fusion euclidienne et la fusion riemannienne ont produit des scores de précision pratiquement identiques (ex: Llama 2 domaines : 0,00532 pour les deux ; Mistral 2 domaines : ~0,0123 pour les deux).
• Interférence : L'hypothèse selon laquelle l'imposition de l'orthogonalité réduit l'interférence n'a pas été soutenue. Le "gain" de la fusion est attribué aux propriétés de la modularité elle-même plutôt qu'à la structure géométrique de la composition.

3. Diagnostics Géométriques

• Alignement Angulaire : L'étude a constaté que la similitude cosinus entre les mises à jour d'adaptateurs prédit quand la fusion sensible à la géométrie s'effondre vers un comportement euclidien. À mesure que les mises à jour deviennent plus colinéaires (similitude cosinus élevée), l'écart de performance entre les deux stratégies de fusion tend vers zéro.
• Limitation de la Géométrie : Cependant, l'alignement angulaire est un faible prédicteur de la performance globale de la composition. Même lorsque les adaptateurs sont orthogonaux, l'interférence persiste. Cela suggère que l'interférence n'est pas principalement régie par la géométrie de l'espace des paramètres linéaires.

4. Sécurité et Confidentialité

• Utilité vs Confidentialité : Bien que les gestionnaires spécifiques au domaine améliorent l'utilité du domaine cible (UGI moyen +0,1178 sur SimpleQA), ils ne fournissent pas de garanties de confidentialité solides.
• Résultats DDI : L'AUC de l'Indice de Distinguabilité de Domaine (DDI) est restée autour de 0,65, nettement au-dessus du hasard (0,5). Cela indique que la composition modulaire n'isole pas totalement les comportements de domaine ; les modèles conservent des "empreintes comportementales" distinguables de leurs domaines constitutifs.

Conclusions et Signification

L'article conclut que l'interférence d'adaptateur n'est pas principalement pilotée par le chevauchement linéaire dans l'espace des paramètres, mais plutôt par des interactions dans les représentations non linéaires partagées et les activations en aval.

• Réfutation de l'Hypothèse Géométrique : L'hypothèse selon laquelle l'imposition de l'orthogonalité ou l'utilisation de la fusion riemannienne résoudrait l'interférence est incorrecte. Lorsque les directions de mise à jour des adaptateurs sont presque colinéaires (comme observé en pratique), la fusion sensible à la géométrie se réduit effectivement à une moyenne arithmétique ordinaire, n'offrant aucun avantage.
• Implications pour le Contrôle d'Accès : DoRA-RBAC doit être considéré comme un cadre de composition modulaire et de service plutôt que comme un mécanisme d'isolation stricte. Bien qu'il permette une inférence multi-domaine efficace, il ne garantit pas la confidentialité. Des défenses de confidentialité formelles (ex: entraînement avec confidentialité différentielle) restent nécessaires pour les déploiements à haute assurance.
• Direction Future : Les auteurs suggèrent que les travaux futurs devraient se concentrer sur les objectifs de niveau de représentation ou les contraintes d'espace d'activation plutôt que sur la géométrie de l'espace des paramètres pour obtenir une compositionabilité fiable.

L'étude sert de mise en garde contre une confiance excessive dans les propriétés géométriques de l'espace des paramètres pour résoudre le problème complexe de l'interférence d'adaptateurs dans les grands modèles de langage.