MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

Technische Samenvatting: MixedPEFT

Probleemstelling
Pre-trained taalmodellen (PrLMs) lijden vaak aan aanzienlijke prestatievermindering bij implementatie in nieuwe domeinen vanwege domeinverschuivingen (domain shifts). Traditionele Unsupervised Domain Adaptation (UDA) methoden pakken dit aan door gelabelde brongegevens en ongelabelde doelgegevens te benutten. Bestaande UDA-benaderingen vertrouwen echter voornamelijk op volledige fine-tuning, wat computationeel duur is, gevoelig is voor catastrofale vergetelheid (catastrophic forgetting) en onpraktisch is voor grootschalige modellen met meer dan 100 miljoen parameters. Hoewel Parameter-Efficient Fine-Tuning (PEFT) methoden zoals Adapters en Low-Rank Adaptation (LoRA) een oplossing bieden door slechts kleine subsets van parameters bij te werken, is hun toepassing op UDA beperkt gebleven. De meeste bestaande werken richten zich op enkelvoudige PEFT-methoden of sequentiële trainingsstrategieën die er niet in slagen het potentieel van simultane optimalisatie voor zowel domeinadaptatie als taakprestaties volledig te benutten, waardoor ze vaak tekortschieten ten opzichte van de volledig getunede baselines.

Methodologie
Het artikel stelt MixedPEFT voor, een nieuw framework dat aangepaste PEFT-architecturen combineert met mixed-objective training om unsupervised domain adaptation aan te pakken. De methodologie is gebouwd op twee kernzuilen:

1. Custom PEFT Unification (Architectuur):
   In plaats van te vertrouwen op een enkele PEFT-techniek, maken de auteurs gebruik van een "custom union" die Invertible Adapters en Low-Rank Adaptation (LoRA) integreert.

   • Invertible Adapters: Gekozen vanwege hun vermogen om informatie te behouden terwijl ze domeinspecifieke transformaties leren.
   • LoRA: Geselecteerd vanwege de efficiëntie in het vastleggen van taakspecifieke adaptaties binnen aandachtmechanismen (attention mechanisms) met een minimale computationele belasting.
   • Integratie: Deze methoden worden additief gecombineerd ($h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$) binnen de transformer-lagen. Deze configuratie maakt gebruik van ongeveer 7,68 miljoen trainbare parameters (7,055% van een BERT-base model), waardoor parameteroverbelasting wordt vermeden terwijl de complementaire sterktes van beide technieken worden benut.

2. Mixed-Objective Training (Optimalisatie):
   Het trainingsproces bestaat uit twee fasen die zijn ontworpen om simultaan te optimaliseren voor domeinadaptatie en taakprestaties:

   • Fase 1 (Domain-Adaptive Pretraining): Het model ondergaat voortgezette pretraining op ongelabelde doeldomeindata met behulp van de Masked Language Modeling (MLM) objectief. Alleen de PEFT-parameters worden bijgewerkt.
   • Fase 2 (Mixed-Objective Fine-tuning): De kerninnovatie betreft een verenigde verliesfunctie (loss function) die tegelijkertijd optimaliseert voor classificatieprestaties op gelabelde brongegevens en MLM op ongelabelde doelgegevens. De totale loss wordt gedefinieerd als $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$. De weegparameter $\alpha$ wordt dynamisch aangepast op basis van de relatieve grootte van de bron- en doeldatasets om een evenwichtige bijdrage van beide objectieven te garanderen.

Belangrijkste Bijdragen
De auteurs schetsen drie primaire bijdragen:

1. Nieuwe Benadering: Een parameter-efficiënte UDA-strategie die specifiek is ontworpen met een aangepaste PEFT-combinatie (Invertible Adapters + LoRA) en een mixed-objective trainingsmethodologie die tegelijkertijd de doelen van taak- en domeinadaptatie optimaliseert.
2. Uitgebreide Validatie: Uitgebreide experimenten op de Multi-Genre Natural Language Inference (MNLI) dataset over 20 verschillende domeinverschuivingen, die significante verbeteringen laten zien ten opzichte van zowel parameter-efficiënte als volledig getunede baselines, terwijl slechts 7% van de modelparameters wordt gebruikt.
3. Generaliseerbaarheid: Demonstratie dat de mixed-objective methodologie effectief is wanneer deze wordt geïntegreerd met verschillende unificatie-frameworks, gevalideerd door experimenten met zowel de custom union als het UniPELT-framework.

Resultaten
Geëvalueerd op de MNLI-dataset, behaalde de voorgestelde methode de volgende resultaten:

• Prestaties vs. PEFT SOTA: De custom union-benadering bereikte een gemiddelde Macro F1-score van 76,39%, waarmee de huidige parameter-efficiënte state-of-the-art (UDapter) met 1,41 procentpunt en de eerdere sequentiële benadering van de auteurs met 0,95 procentpunt werd overtroffen.
• Prestaties vs. Volledig Getunede Baselines: Opmerkelijk genoeg presteerde de methode beter dan traditionele volledig getunede UDA-methoden, waarbij het DANN met 1,26 procentpunt en DSN met 0,86 procentpunt overtrof, ondanks het gebruik van slechts 7% van de trainbare parameters vergeleken met de 100% die vereist is door deze baselines.
• Efficiëntie: De benadering bereikte 96,7% van de Upper Bound (volledig gesuperviseerde training op doelgegevens) prestatie.
• Ablatie-studies: Experimenten die enkelvoudige PEFT-methoden (alleen Invertible Adapters) vergeleken met de gecombineerde benadering bevestigden dat PEFT-combinaties essentieel zijn voor het maximaliseren van de effectiviteit van de mixed-objective training, aangezien enkelvoudige methoden de potentie van de simultane optimalisatiestrategie niet volledig konden benutten.
• Stabiliteit: Analyse van de standaarddeviatie gaf aan dat de prestatiewinsten werden behaald zonder de modelstabiliteit in gevaar te brengen, waarbij de variantie vergelijkbaar is met die van gevestigde methoden.

Betekenis
Het artikel beweert nieuwe benchmarks te hebben vastgesteld voor parameter-efficiënte unsupervised domain adaptation. Het demonstreert dat zorgvuldig ontworpen combinaties van PEFT-methoden, wanneer ze worden gekoppeld aan gelijktijdige mixed-objective optimalisatie, zowel bestaande parameter-efficiënte methoden als computationeel dure traditionele volledig getunede benaderingen kunnen overtreffen. Het werk suggereert dat de synergie tussen complementaire PEFT-technieken en simultane optimalisatie een cruciale factor is bij het overwinnen van de beperkingen van domeinverschuivingen zonder de computationele kosten van volledige fine-tuning.