MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

Résumé Technique : MixedPEFT

Problématique
Les modèles de langage pré-entraînés (PrLM) souffrent souvent d'une dégradation significative des performances lors de leur déploiement dans de nouveaux domaines en raison des décalages de domaine (domain shifts). Les méthodes traditionnelles d'adaptation de domaine non supervisée (UDA) remédient à cela en exploitant des données sources étiquetées et des données cibles non étiquetées. Cependant, les approches d'UDA existantes reposent principalement sur le réglage fin complet (full fine-tuning), ce qui est coûteux en termes de calcul, sujet à l'oubli catastrophique et peu pratique pour les modèles à grande échelle dépassant les 100 millions de paramètres. Bien que les méthodes de réglage fin efficace en paramètres (PEFT) comme les Adapters et la Low-Rank Adaptation (LoRA) offrent une solution en ne mettant à jour que de petits sous-ensembles de paramètres, leur application à l'UDA est restée limitée. La plupart des travaux existants se concentrent sur des méthodes PEFT uniques ou des stratégies d'entraînement séquentiel qui ne parviennent pas à exploiter pleinement le potentiel d'une optimisation simultanée pour l'adaptation de domaine et la performance de la tâche, s'avérant souvent inférieurs aux références de réglage complet.

Méthodologie
Le papier propose MixedPEFT, un nouveau cadre qui combine des architectures PEFT personnalisées avec un entraînement à objectifs mixtes pour répondre à l'adaptation de domaine non supervisée. La méthodologie repose sur deux piliers fondamentaux :

1. Unification PEFT Personnalisée (Architecture) :
   Au lieu de s'appuyer sur une seule technique PEFT, les auteurs emploient une « union personnalisée » qui intègre des Adapters Invertibles et la Low-Rank Adaptation (LoRA).

   • Adapters Invertibles : Choisis pour leur capacité à préserver l'information tout en apprenant des transformations spécifiques au domaine.
   • LoRA : Sélectionnée pour son efficacité à capturer les adaptations spécifiques à la tâche au sein des mécanismes d'attention avec une charge de calcul minimale.
   • Intégration : Ces méthodes sont combinées de manière additive ($h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$) au sein des couches du transformer. Cette configuration utilise environ 7,68 millions de paramètres entraînables (7,055 % d'un modèle BERT-base), évitant la surcharge de paramètres tout en tirant parti des forces complémentaires des deux techniques.

2. Entraînement à Objectifs Mixtes (Optimisation) :
   Le processus d'entraînement comprend deux phases conçues pour optimiser simultanément l'adaptation de domaine et la performance de la tâche :

   • Phase 1 (Pré-entraînement adaptatif au domaine) : Le modèle subit un pré-entraînement continu sur des données de domaine cible non étiquetées en utilisant l'objectif de modélisation de langage masqué (MLM). Seuls les paramètres PEFT sont mis à jour.
   • Phase 2 (Réglage fin à objectifs mixtes) : L'innovation centrale réside dans une fonction de perte unifiée qui optimise simultanément la performance de classification sur les données sources étiquetées et le MLM sur les données cibles non étiquetées. La perte totale est définie par $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$. Le paramètre de pondération $\alpha$ est ajusté dynamiquement en fonction des tailles relatives des ensembles de données source et cible afin d'assurer une contribution équilibrée des deux objectifs.

Principales Contributions
Les auteurs énoncent trois contributions principales :

1. Approche Novatrice : Une stratégie d'UDA efficace en paramètres spécifiquement conçue avec une combinaison PEFT personnalisée (Adapters Invertibles + LoRA) et une méthodologie d'entraînement à objectifs mixtes qui optimise simultanément les objectifs d'adaptation de tâche et de domaine.
2. Validation Complète : Des expériences approfondies sur le jeu de données Multi-Genre Natural Language Inference (MNLI) à travers 20 décalages de domaine distincts, démontrant des améliorations significatives par rapport aux références de réglage complet et aux méthodes PEFT de l'état de l'art.
3. Généralisabilité : Démonstration que la méthodologie à objectifs mixtes est efficace lorsqu'elle est intégrée à différents cadres d'unification, validée par des expériences utilisant à la fois l'union personnalisée et le cadre UniPELT.

Résultats
Évaluée sur le jeu de données MNLI, la méthode proposée a obtenu les résultats suivants :

• Performance vs SOTA PEFT : L'approche d'union personnalisée a atteint un score Macro F1 moyen de 76,39 %, surpassant l'état de l'art actuel en matière de PEFT (UDapter) de 1,41 point de pourcentage et l'approche séquentielle des auteurs de 0,95 point de pourcentage.
• Performance vs Références de Réglage Complet : De manière remarquable, la méthode a surpassé les méthodes d'UDA traditionnelles à réglage complet, dépassant DANN de 1,26 point de pourcentage et DSN de 0,86 point de pourcentage, malgré l'utilisation de seulement 7 % des paramètres entraînables par rapport aux 100 % requis par ces références.
• Efficacité : L'approche a atteint 96,7 % de la performance de la limite supérieure (entraînement supervisé complet sur les données cibles).
• Études d'Ablation : Les expériences comparant les méthodes PEFT uniques (Adapters Invertibles seuls) à l'approche combinée ont confirmé que les combinaisons PEFT sont essentielles pour maximiser l'efficacité de l'entraînement à objectifs mixtes, car les méthodes uniques ne pouvaient pas pleinement exploiter le potentiel de la stratégie d'optimisation simultanée.
• Stabilité : L'analyse de l'écart-type a indiqué que les gains de performance ont été obtenus sans compromettre la stabilité du modèle, affichant une variance comparable aux méthodes établies.

Signification
Le papier affirme établir de nouveaux standards pour l'adaptation de domaine non supervisée efficace en paramètres. Il démontre que des combinaisons soigneusement conçues de méthodes PEFT, lorsqu'elles sont couplées à une optimisation simultanée à objectifs mixtes, peuvent surpasser tant les méthodes PEFT existantes que les approches de réglage complet traditionnelles, très coûteuses en calcul. Ce travail suggère que la synergie entre des techniques PEFT complémentaires et l'optimisation simultanée est un facteur critique pour surmonter les limitations des décalages de domaine sans le coût de calcul du réglage fin complet.