Riepilogo Tecnico: RotMoLE – Potenziamento della Miscela di Esperti a Basso Rango tramite Gate Rotazionale

Enunciato del Problema

Sebbene i Modelli Linguistici di Grandi Dimensioni (LLM) utilizzino architetture a Miscela di Esperti (MoE) e tecniche di Fine-Tuning Efficiente in Parametri (PEFT) come LoRA per gestire compiti diversificati, i framework esistenti di Miscela di Esperti a Basso Rango (MoE-LoRA) presentano limitazioni in scenari complessi, multi-task o multilingue.

Il problema centrale identificato è la limitazione dei meccanismi di gate convenzionali nell'MoE. I router standard applicano solo una riponderazione scalare (scaling) agli esperti selezionati. Sebbene ciò moduli l'entità del contributo di un esperto, manca della capacità di eseguire trasformazioni spaziali complesse sugli output degli esperti. Di conseguenza, lo spazio delle soluzioni formato dall'aggregazione ponderata degli esperti è limitato a una combinazione lineare lungo direzioni spaziali fisse. Questa limitazione è particolarmente pronunciata quando il numero di esperti candidati è limitato rispetto al numero di compiti (ad esempio, in scenari con risorse vincolate dove gli esperti devono essere condivisi tra più domini), poiché il router non può distinguere o specializzare sufficientemente gli esperti condivisi oltre alla semplice scalatura dell'entità.

Inoltre, l'implementazione di trasformazioni complesse (come trasformazioni lineari complete) tramite moduli di gate richiede tipicamente un numero proibitivo di parametri addestrabili (ad esempio, matrici $d \times d$ per la dimensione nascosta $d$), il che annulla l'efficienza parametrica del PEFT.

Metodologia: RotMoLE

Gli autori propongono RotMoLE (Miscela di Esperti a Basso Rango Rotabile), un framework MoE-LoRA specializzato che introduce un meccanismo di gate rotazionale accanto al gate di scaling tradizionale.

Fondamento Teorico

Il metodo si basa sull'osservazione che qualsiasi trasformazione tra due vettori non nulli può essere decomposta in un'operazione di scaling pura e una rotazione pura all'interno del sottopiano 2D generato da quei vettori. Sfruttando la struttura a basso rango di LoRA (dove il rango $r \ll d$), RotMoLE applica queste trasformazioni nello spazio $r$-dimensionale degli adattatori degli esperti piuttosto che nell'intera dimensione nascosta.

Componenti dell'Architettura

L'aggiornamento dei pesi per il modello è formulato come:
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
Dove:

• $W_0$ è la matrice dei pesi pre-addestrata.
• $A_i$ e $B_i$ sono le matrici a basso rango per l'$i$-esimo esperto.
• $g_i$ è il valore del gate di scaling (peso scalare standard).
• $R_i$ è la matrice di rotazione specifica per l'$i$-esimo esperto.

Il framework opera in due modalità in base al rango LoRA $r$:

1. Rango $r = 2$ (Rotazione 2D):

   • La rotazione è modellata utilizzando un singolo angolo apprendibile $\theta_i$.
   • La matrice di rotazione $R_i$ è una matrice di rotazione 2D standard:
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • L'angolo $\theta_i$ è generato da un gate di rotazione $\Theta(x)$, che produce valori in $[-\pi, \pi]$ utilizzando una normalizzazione basata su Sigmoid per garantire stabilità e periodicità.

2. Rango $r > 2$ (Rotazione ad Alta Dimensionalità):

   • Poiché un singolo angolo non può definire una rotazione in dimensioni $>2$, il metodo costruisce un piano di rotazione $P_i$ specifico per ogni esperto.
   • Il piano è definito da due vettori di base:
     1. L'embedding di input normalizzato per l'esperto ($e_1 = A_i x / |A_i x|$).
     2. Un vettore centro di cluster apprendibile $q_i$ specifico per l'esperto, che rappresenta il centro aggregato degli input instradati a quell'esperto. Il secondo vettore di base $e_2$ è derivato dalla componente di $q_i$ ortogonale a $e_1$.
   • La matrice di rotazione $R_i$ è costruita proiettando la rotazione 2D (definita da $\theta_i$) su questo piano $r$-dimensionale generato da $e_1$ e $e_2$.

Efficienza Parametrica

RotMoLE mantiene un'alta efficienza parametrica. I parametri aggiuntivi introdotti sono:

• Per $r=2$: $d \times n$ parametri (per i pesi del gate di rotazione).
• Per $r>2$: $(d + r) \times n$ parametri (per il gate di rotazione e i vettori del centro di cluster $q$).
  Ciò è significativamente inferiore ai $d^2 \times n$ parametri richiesti per trasformazioni lineari complete, mantenendo l'overhead comparabile ai moduli degli esperti stessi.

Contributi Chiave

1. Identificazione delle Limitazioni: Il documento evidenzia che i router MoE esistenti sono limitati allo scaling della norma, mancando della capacità di eseguire trasformazioni spaziali complesse necessarie per scenari diversificati con un numero limitato di esperti.
2. Framework RotMoLE: La proposta di un framework MoE-LoRA specializzato che integra un gate di rotazione, abilitando rotazioni 2D nello spazio a basso rango degli esperti per espandere lo spazio delle soluzioni delle combinazioni ponderate degli esperti.
3. Validazione Empirica: Esperimenti estesi su scenari di apprendimento congiunto multi-task e multilingue che dimostrano come RotMoLE superi i baseline convenzionali MoE-LoRA e altre varianti recenti.

Risultati Sperimentali

Gli autori hanno valutato RotMoLE su Llama-3.2-3B, Qwen-2.5-3B e GLM-4-9B attraverso diversi benchmark:

• Apprendimento Congiunto Multi-Task (QA & GLUE):
  • Su una miscela di tre compiti di QA (CommonsenseQA, OpenBookQA, SocialIQA), RotMoLE ha costantemente superato il baseline MoE-LoRA, ottenendo miglioramenti medi di accuratezza che vanno dall'1% al 10% (media ~5%).
  • I miglioramenti sono stati più pronunciati quando il numero di esperti era limitato (ad esempio, $n=2$), validando l'ipotesi che la rotazione aiuti a distinguere gli esperti condivisi.
  • Guadagni simili sono stati osservati sui compiti GLUE (SST-2, MRPC, QNLI).
• Apprendimento Congiunto Multilingue:
  • Su Generazione di Testo Multilingue (MTG) e XNLI (Inferenza sul Linguaggio Naturale), RotMoLE ha ottenuto punteggi medi e per lingua più elevati rispetto ai baseline.
  • L'analisi della convergenza ha indicato che RotMoLE presenta migliori proprietà anti-sovradattamento, convergendo più lentamente inizialmente ma raggiungendo prestazioni finali migliori senza la saturazione precoce osservata nei baseline.
• Confronto con Varianti:
  • RotMoLE ha superato altre varianti MoE-LoRA focalizzate sull'instradamento in avanti (MoCLE, MoLA, AdaMoLE) in termini di accuratezza complessiva e per compito.
• Studi di Ablazione:
  • Gli esperimenti hanno confermato che i guadagni di prestazioni sono dovuti alla struttura rotazionale e non semplicemente all'aumento del numero di parametri. Un baseline equivalente per dimensioni che utilizzava un gate MLP ha ottenuto prestazioni inferiori, suggerendo che il meccanismo di rotazione è più efficace nell'utilizzare parametri aggiuntivi per la diversità.

Significato e Affermazioni

Il documento afferma che RotMoLE fornisce una funzione di trasformazione più potente per esperti a basso rango oltre al semplice scaling. Introducendo un gate di rotazione, il framework espande significativamente lo spazio delle soluzioni globale dell'MoE, permettendo un migliore sfruttamento e specializzazione degli esperti, in particolare in scenari in cui gli esperti sono condivisi tra più compiti o lingue.

Gli autori sottolineano che questo approccio affronta una specifica lacuna nella ricerca attuale su PEFT-MoE: l'incapacità di modellare strategie di sfruttamento diversificate per gli esperti candidati quando il numero di esperti è limitato. I risultati suggeriscono che RotMoLE offre un metodo robusto ed efficiente in termini di parametri per potenziare la capacità rappresentativa degli LLM in applicazioni complesse e multi-dominio senza incorrere nei costi computazionali delle trasformazioni a rango completo.