MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

Sintesi Tecnica: MixedPEFT

Problematica
I modelli linguistici pre-addestrati (PrLM) spesso soffrono di un significativo degrado delle prestazioni quando vengono distribuiti in nuovi domini a causa dei cambiamenti di dominio (domain shifts). I metodi tradizionali di Unsupervised Domain Adaptation (UDA) affrontano questo problema sfruttando dati sorgente etichettati e dati target non etichettati. Tuttavia, gli approcci UDA esistenti si basano prevalentemente sul fine-tuning completo, che è computazionalmente costoso, incline al catastrofico oblio (catastrophic forgetting) e impraticabile per modelli su larga scala che superano i 100 milioni di parametri. Sebbene i metodi di Parameter-Efficient Fine-Tuning (PEFT), come gli Adapter e il Low-Rank Adaptation (LoRA), offrano una soluzione aggiornando solo piccoli sottoinsiemi di parametri, la loro applicazione all'UDA è stata limitata. La maggior parte dei lavori esistenti si concentra su singoli metodi PEFT o strategie di addestramento sequenziale che non riescono a sfruttare appieno il potenziale dell'ottimizzazione simultanea sia per l'adattamento del dominio che per le prestazioni del task, spesso restando al di sotto dei baseline a fine-tuning completo.

Metodologia
Il paper propone MixedPEFT, un nuovo framework che combina architetture PEFT personalizzate con un addestramento a obiettivi misti per affrontare l'unsupervised domain adaptation. La metodologia si basa su due pilastri fondamentali:

1. Unificazione PEFT Personalizzata (Architettura):
   Invece di affidarsi a una singola tecnica PEFT, gli autori utilizzano una "unione personalizzata" che integra Invertible Adapters e Low-Rank Adaptation (LoRA).

   • Invertible Adapters: Scelti per la loro capacità di preservare l'informazione pur apprendendo trasformazioni specifiche del dominio.
   • LoRA: Selezionato per la sua efficienza nel catturare adattamenti specifici del task all'interno dei meccanismi di attenzione con un carico computazionale minimo.
   • Integrazione: Questi metodi sono combinati additivamente ($h = \text{InvertibleAdapter}(x) + \text{LoRA}(x)$) all'interno dei layer transformer. Questa configurazione utilizza circa 7,68 milioni di parametri addestrabili (il 7,055% di un modello BERT-base), evitando il sovraccarico di parametri pur sfruttando i punti di forza complementari di entrambe le tecniche.

2. Addestramento a Obiettivi Misti (Ottimizzazione):
   Il processo di addestramento consiste in due fasi progettate per ottimizzare simultaneamente l'adattamento del dominio e le prestazioni del task:

   • Fase 1 (Domain-Adaptive Pretraining): Il modello viene sottoposto a pre-addestramento continuo su dati di dominio target non etichettati utilizzando l'obiettivo di Masked Language Modeling (MLM). Solo i parametri PEFT vengono aggiornati.
   • Fase 2 (Mixed-Objective Fine-tuning): L'innovazione principale riguarda una funzione di perdita unificata che ottimizza simultaneamente le prestazioni di classificazione sui dati sorgente etichettati e l'MLM sui dati target non etichettati. La perdita totale è definita come $L_{total} = \alpha \times L_{classification} + (1 - \alpha) \times L_{MLM}$. Il parametro di ponderazione $\alpha$ è regolato dinamicamente in base alle dimensioni relative dei dataset sorgente e target per garantire un contributo bilanciato da entrambi gli obiettivi.

Contributi Chiave
Gli autori delineano tre contributi primari:

1. Approccio Novello: Una strategia di UDA parametrica-efficiente progettata specificamente con una combinazione PEFT personalizzata (Invertible Adapters + LoRA) e una metodologia di addestramento a obiettivi misti che ottimizza simultaneamente gli obiettivi di adattamento del dominio e del task.
2. Validazione Esaustiva: Esperimenti estesi sul dataset Multi-Genre Natural Language Inference (MNLI) attraverso 20 distinti shift di dominio, dimostrando miglioramenti significativi rispetto sia ai baseline parametrici-efficienti che a quelli a fine-tuning completo, utilizzando solo il 7% dei parametri del modello.
3. Generalizzabilità: Dimostrazione che la metodologia a obiettivi misti è efficace quando integrata con diversi framework di unificazione, validata da esperimenti che utilizzano sia l'unione personalizzata che il framework UniPELT.

Risultati
Valutato sul dataset MNLI, il metodo proposto ha ottenuto i seguenti risultati:

• Performance vs. PEFT SOTA: L'approccio della unione personalizzata ha raggiunto un punteggio medio di Macro F1 del 76,39%, superando lo stato dell'arte attuale dei metodi parametrici-efficienti (UDapter) di 1,41 punti percentuali e l'approccio sequenziale degli autori di 0,95 punti percentuali.
• Performance vs. Baseline a Fine-Tuning Completo: Sorprendentemente, il metodo ha superato i metodi UDA tradizionali a fine-tuning completo, eccedendo DANN di 1,26 punti percentuali e DSN di 0,86 punti percentuali, nonostante utilizzi solo il 7% dei parametri addestrabili rispetto al 100% richiesto da questi baseline.
• Efficienza: L'approccio ha raggiunto il 96,7% delle prestazioni dell'Upper Bound (addestramento supervisionato completo sui dati target).
• Studi di Ablazione: Gli esperimenti che confrontano i singoli metodi PEFT (Invertible Adapters da soli) rispetto all'approccio combinato hanno confermato che le combinazioni PEFT sono essenziali per massimizzare l'efficacia dell'addestramento a obiettivi misti, poiché i singoli metodi non potevano sfruttare appieno il potenziale della strategia di ottimizzazione simultanea.
• Stabilità: L'analisi della deviazione standard ha indicato che i guadagni di performance sono stati ottenuti senza compromettere la stabilità del modello, mostrando una varianza comparabile ai metodi stabiliti.

Significatività
Il paper sostiene di aver stabilito nuovi benchmark per l'unsupervised domain adaptation parametrica-efficiente. Dimostra che combinazioni accuratamente progettate di metodi PEFT, se accoppiate con un'ottimizzazione simultanea a obiettivi misti, possono superare sia i metodi parametrici-efficienti esistenti che gli approcci tradizionali a fine-tuning completo, computazionalmente costosi. Il lavoro suggerisce che la sinergia tra tecniche PEFT complementari e l'ottimizzazione simultanea è un fattore critico per superare i limiti dei cambiamenti di dominio senza il costo computazionale del fine-tuning completo.