Technische Samenvatting: RotMoLE – Verbetering van Mixture of Low-Rank Experts door Rotatie-Gating

Probleemstelling

Hoewel Large Language Models (LLM's) Mixture-of-Experts (MoE)-architecturen en Parameter-Efficiënte Fine-Tuning (PEFT)-technieken zoals LoRA gebruiken om diverse taken te hanteren, ondervinden bestaande Mixture of Low-rank Experts (MoE-LoRA)-kaders beperkingen in complexe, multi-taken of meertalige scenario's.

Het kernprobleem dat is geïdentificeerd, is de beperking van conventionele gating-mechanismen in MoE. Standaard routers passen alleen een scalaire herweging (schaling) toe op geselecteerde experts. Hoewel dit de grootte van de bijdrage van een expert moduleert, ontbreekt het vermogen om complexe ruimtelijke transformaties uit te voeren op de output van experts. Bijgevolg is de oplossingsruimte die wordt gevormd door de gewogen aggregatie van experts beperkt tot een lineaire combinatie langs vaste ruimtelijke richtingen. Deze beperking is vooral uitgesproken wanneer het aantal kandidaat-experts beperkt is ten opzichte van het aantal taken (bijvoorbeeld in scenario's met beperkte middelen waarbij experts over meerdere domeinen moeten worden gedeeld), aangezien de router de gedeelde experts niet voldoende kan onderscheiden of specialiseren buiten eenvoudige schaling van de grootte.

Bovendien vereist het implementeren van complexe transformaties (zoals volledige lineaire transformaties) via gating-modules typisch een verbodsbepalend aantal trainbare parameters (bijvoorbeeld $d \times d$-matrices voor verborgen dimensie $d$), wat de parameter-efficiëntie van PEFT tenietdoet.

Methodologie: RotMoLE

De auteurs stellen RotMoLE (Rotatable Mixture of Low-rank Experts) voor, een gespecialiseerd MoE-LoRA-kader dat een rotatie-gating-mechanisme introduceert naast de traditionele schalingsgate.

Theoretische Grondslag

De methode is gebaseerd op de observatie dat elke transformatie tussen twee niet-nul vectoren kan worden ontbonden in een pure schalingsoperatie en een pure rotatie binnen het 2D-subvlak dat door die vectoren wordt opgespannen. Door gebruik te maken van de laag-rang structuur van LoRA (waarbij rang $r \ll d$), past RotMoLE deze transformaties toe binnen de $r$-dimensionale ruimte van de expert-adapters in plaats van de volledige verborgen dimensie.

Architectuurcomponenten

De gewichtsupdate voor het model wordt geformuleerd als:
$$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$$
Waarbij:

• $W_0$ de voorgeïmplementeerde gewichtsmatrix is.
• $A_i$ en $B_i$ de laag-rang matrices zijn voor de $i$-de expert.
• $g_i$ de waarde van de schalingsgate is (standaard scalair gewicht).
• $R_i$ de rotatiematrix is die specifiek is voor de $i$-de expert.

Het kader werkt in twee modi op basis van de LoRA-rang $r$:

1. Rang $r = 2$ (2D-rotatie):

   • De rotatie wordt gemodelleerd met behulp van één leerbare hoek $\theta_i$.
   • De rotatiematrix $R_i$ is een standaard 2D-rotatiematrix:
     $$R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$$
   • De hoek $\theta_i$ wordt gegenereerd door een rotatiegate $\Theta(x)$, die waarden in $[-\pi, \pi]$ uitvoert met behulp van een op Sigmoid gebaseerde normalisatie om stabiliteit en periodiciteit te waarborgen.

2. Rang $r > 2$ (Rotatie in hoge dimensies):

   • Aangezien een enkele hoek geen rotatie in dimensies $>2$ kan definiëren, construeert de methode een specifiek rotatievlak $P_i$ voor elke expert.
   • Het vlak wordt gedefinieerd door twee basisvectoren:
     1. De genormaliseerde input-embedding naar de expert ($e_1 = A_i x / |A_i x|$).
     2. Een leerbaar clustercentrumvector $q_i$ specifiek voor de expert, die het geaggregeerde centrum van inputs voorstelt die naar die expert worden gerouteerd. De tweede basisvector $e_2$ wordt afgeleid uit het component van $q_i$ dat orthogonaal is op $e_1$.
   • De rotatiematrix $R_i$ wordt geconstrueerd door de 2D-rotatie (gedefinieerd door $\theta_i$) te projecteren op dit $r$-dimensionale vlak dat wordt opgespannen door $e_1$ en $e_2$.

Parameter-efficiëntie

RotMoLE behoudt een hoge parameter-efficiëntie. De extra geïntroduceerde parameters zijn:

• Voor $r=2$: $d \times n$ parameters (voor de gewichten van de rotatiegate).
• Voor $r>2$: $(d + r) \times n$ parameters (voor de rotatiegate en de clustercentrumvectoren $q$).
  Dit is aanzienlijk kleiner dan de $d^2 \times n$ parameters die nodig zijn voor volledige lineaire transformaties, waardoor de overhead vergelijkbaar blijft met de expert-modules zelf.

Belangrijkste Bijdragen

1. Identificatie van Beperkingen: Het artikel benadrukt dat bestaande MoE-routers beperkt zijn tot normschaling en het vermogen missen om complexe ruimtelijke transformaties uit te voeren die nodig zijn voor diverse scenario's met een beperkt aantal experts.
2. RotMoLE-kader: Het voorstellen van een gespecialiseerd MoE-LoRA-kader dat een rotatiegate integreert, waardoor 2D-rotaties binnen de laag-rang ruimte van experts mogelijk worden om de oplossingsruimte van gewogen expertcombinaties uit te breiden.
3. Empirische Validatie: Uitgebreide experimenten in multi-taken en meertalige gezamenlijke leer-scenario's die aantonen dat RotMoLE presteert beter dan conventionele MoE-LoRA-baselines en andere recente varianten.

Experimentele Resultaten

De auteurs hebben RotMoLE geëvalueerd op Llama-3.2-3B, Qwen-2.5-3B en GLM-4-9B over verschillende benchmarks:

• Gezamenlijk leren van multi-taken (QA & GLUE):
  • Op een mengsel van drie QA-taken (CommonsenseQA, OpenBookQA, SocialIQA) presteerde RotMoLE consequent beter dan de MoE-LoRA-baseline, met gemiddelde nauwkeurigheidsverbeteringen variërend van 1% tot 10% (gemiddeld ~5%).
  • Verbeteringen waren het meest uitgesproken wanneer het aantal experts beperkt was (bijvoorbeeld $n=2$), wat de hypothese bevestigt dat rotatie helpt bij het onderscheiden van gedeelde experts.
  • Vergelijkbare winsten werden waargenomen op GLUE-taken (SST-2, MRPC, QNLI).
• Gezamenlijk meertalig leren:
  • Op Meertalige Tekstgeneratie (MTG) en XNLI (Natural Language Inference) behaalde RotMoLE hogere gemiddelde en per-taal scores in vergelijking met baselines.
  • Convergentie-analyse gaf aan dat RotMoLE betere anti-overfitting-eigenschappen vertoont: het convergeert aanvankelijk langzamer, maar bereikt betere uiteindelijke prestaties zonder de vroege verzadiging die bij baselines wordt waargenomen.
• Vergelijking met Varianties:
  • RotMoLE presteerde beter dan andere MoE-LoRA-varianten die zich richten op forward-routing (MoCLE, MoLA, AdaMoLE) wat betreft algehele en per-taken nauwkeurigheid.
• Ablatiestudies:
  • Experimenten bevestigden dat de prestatiewinsten te wijten zijn aan de rotatiestructuur en niet simpelweg aan de toename van het aantal parameters. Een baseline met gelijke grootte die een MLP-gate gebruikte, presteerde slechter, wat suggereert dat het rotatiemechanisme effectiever is in het benutten van extra parameters voor diversiteit.

Betekenis en Claims

Het artikel stelt dat RotMoLE een krachtigere transformatiefunctie biedt voor laag-rang experts die verder gaat dan eenvoudige schaling. Door het introduceren van een rotatiegate breidt het kader significant de globale oplossingsruimte van MoE uit, waardoor een betere exploitatie en specialisatie van experts mogelijk wordt, met name in scenario's waarbij experts over meerdere taken of talen worden gedeeld.

De auteurs benadrukken dat deze aanpak een specifiek gat in het huidige PEFT-MoE-onderzoek adresseert: het onvermogen om diverse exploitatiestrategieën voor kandidaat-experts te modelleren wanneer het aantal experts beperkt is. De resultaten suggereren dat RotMoLE een robuuste, parameter-efficiënte methode biedt om het representatievermogen van LLM's te verbeteren in complexe, multi-domein toepassingen zonder de rekenkosten van full-rank transformaties te incasseren.