💬 NLP

RotMoLE: Enhancing Mixture of Low-Rank Experts through Rotational Gating Mechanism

Ursprüngliche Autoren: Mengyang Sun, Maochuan Dou, Tao Feng, Dan Zhang, Yihao Wang, Junpeng Liu, Yifan Zhu, Jie Tang

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Ursprüngliche Autoren: Mengyang Sun, Maochuan Dou, Tao Feng, Dan Zhang, Yihao Wang, Junpeng Liu, Yifan Zhu, Jie Tang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem intelligenten Roboter viele neue Fähigkeiten beibringen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter (ein Large Language Model), der bereits viel über die Welt weiß. Jetzt möchten Sie ihm spezifische neue Fähigkeiten beibringen, wie zum Beispiel die Beantwortung medizinischer Fragen, das Schreiben von Poesie oder das Übersetzen von Sprachen.

Normalerweise müssen Sie, um ihm diese neuen Fähigkeiten beizubringen, entweder:

Den gesamten Roboter neu trainieren (zu teuer und zu langsam).
Kleine „Aufkleber"-Module zu seinem Gehirn hinzufügen (dies nennt man LoRA oder Low-Rank Adaptation).

Das Papier stellt eine neue Art vor, diese „Aufkleber" zu nutzen, damit der Roboter mehrere komplexe Fähigkeiten gleichzeitig lernen kann, ohne verwirrt zu werden.

Das Problem: Die „Lautstärke"-Begrenzung

Die Forscher untersuchten eine beliebte Methode namens MoE-LoRA (Mixture of Low-Rank Experts). Stellen Sie sich dies als ein Team spezialisierter Nachhilfelehrer (Experten) im Gehirn des Roboters vor. Wenn der Roboter eine Frage erhält, entscheidet ein „Manager" (ein Gate genannt), welche Nachhilfelehrer er hören soll.

Der alte Weg (konventionelles MoE):
Der Manager hat nur ein Werkzeug: einen Lautstärkeregler.

Wenn der Roboter eine Mathe-Frage beantworten muss, dreht der Manager die Lautstärke beim Mathe-Lehrer hoch und beim Poet-Lehrer runter.
Der Fehler: Dies ändert nur, wie laut der Lehrer spricht. Es ändert nicht, was der Lehrer sagt oder wie er denkt. Wenn der Mathe-Lehrer versucht, ein Konzept so zu erklären, dass es wie Poesie klingt, kann der Lautstärkeregler das nicht beheben. Er macht nur die „falsche" Erklärung lauter oder leiser.

Das funktioniert für einfache Aufgaben noch einigermaßen, aber wenn Sie viele schwierige Aufgaben haben (wie das gleichzeitige Erlernen von 5 verschiedenen Sprachen) und nur wenige Nachhilfelehrer, gerät der Roboter in eine Sackgasse. Die Lehrer können ihren Denkstil nicht anpassen, nur ihre Lautstärke.

Die Lösung: Der „Drehstuhl" (RotMoLE)

Die Autoren, angeführt von Mengyang Sun, schlugen ein neues System namens RotMoLE vor.

Anstatt dem Manager nur einen Lautstärkeregler zu geben, gaben sie ihm einen Drehstuhl (ein Rotations-Gate).

Wie es funktioniert:

Der Lautstärkeregler ist noch da: Der Manager entscheidet immer noch, welcher Lehrer am wichtigsten ist (Scaling).
Der Drehstuhl ist neu: Der Manager kann nun das Denken des Lehrers physisch drehen.

Die Analogie:
Stellen Sie sich vor, ein Lehrer hält eine Landkarte.

Alter Weg: Der Manager sagt dem Lehrer einfach, er solle die Anweisungen der Karte lauter schreien oder leise flüstern.
RotMoLE: Der Manager kann dem Lehrer sagen: „Drehe diese Karte um 45 Grad nach links." Plötzlich zeigt die Karte in eine völlig andere Richtung und enthüllt einen neuen Weg, der vorher verborgen war.

Indem der „Denkraum" der Experten gedreht wird, kann der Roboter viel mehr Wert aus einer kleinen Anzahl von Lehrern herausholen. Selbst wenn es nur zwei Lehrer gibt, können sie so tun, als wären es zehn verschiedene Experten, weil sie ihre Perspektive drehen können, um sie an die spezifische Aufgabe anzupassen.

Warum ist das besonders?

Das Papier behauptet, dass diese Rotation mathematisch effizient ist.

Die Herausforderung: Normalerweise benötigen Sie, wenn Sie einen komplexen Gedanken drehen wollen, eine riesige Menge an Speicher (wie eine riesige Bibliothek von Anweisungen).
Der Trick: Da diese „Lehrer" bereits klein und einfach sind (Low-Rank), benötigt die Rotation nur eine winzige, einfache Anweisung (eine einzelne Winkelzahl). Es ist wie das Drehen eines Reglers, anstatt ein ganzes Buch neu zu schreiben.

Was haben sie getestet?

Die Forscher testeten dieses „Drehstuhl"-System in zwei Hauptszenarien:

Multi-Task-Lernen: Dem Roboter beibringen, drei verschiedene Arten von Fragen (Allgemeinwissen, Wissenschaft und Soziales) gleichzeitig zu beantworten.
Mehrsprachiges Lernen: Dem Roboter beibringen, Titel in fünf verschiedenen Sprachen (Englisch, Chinesisch, Spanisch, Französisch, Deutsch) gleichzeitig zu generieren.

Die Ergebnisse:
In fast jedem Test schnitt der Roboter mit den Drehstühlen (RotMoLE) besser ab als der Roboter mit nur Lautstärkeregler.

Er lernte schneller.
Er geriet beim Wechsel zwischen Sprachen oder Aufgaben weniger leicht in Verwirrung.
Er war besonders gut, wenn der Roboter nur sehr wenige Lehrer zur Verfügung hatte (ein „ressourcenbeschränktes" Szenario).

Zusammenfassung

RotMoLE ist eine neue Methode zum Fine-Tuning von KI-Modellen. Anstatt nur die Lautstärke verschiedener Experten hoch- oder runterzudrehen, ermöglicht es der KI, die Perspektiven der Experten zu drehen. Dies erlaubt einem kleinen Team von Experten, eine riesige Vielfalt komplexer Aufgaben viel effektiver zu bewältigen als zuvor, ohne dass mehr Speicher hinzugefügt oder das Modell vergrößert werden muss.

Technische Zusammenfassung: RotMoLE – Verbesserung von Mixture of Low-Rank Experts durch rotatorisches Gating

Problemstellung

Während Large Language Models (LLMs) Mixture-of-Experts (MoE)-Architekturen und Parameter-effiziente Feinabstimmungstechniken (PEFT) wie LoRA nutzen, um diverse Aufgaben zu bewältigen, stoßen bestehende Mixture of Low-rank Experts (MoE-LoRA)-Rahmenwerke in komplexen, multi-task- oder mehrsprachigen Szenarien an Grenzen.

Das erkannte Kernproblem liegt in der Begrenzung konventioneller Gating-Mechanismen in MoE. Standard-Router wenden lediglich eine skalare Neuvergewichtung (Skalierung) auf ausgewählte Experten an. Zwar moduliert dies die Stärke des Beitrags eines Experten, doch fehlt die Fähigkeit, komplexe räumliche Transformationen auf die Ausgaben der Experten durchzuführen. Folglich ist der Lösungsraum, der durch die gewichtete Aggregation von Experten gebildet wird, auf eine lineare Kombination entlang fester räumlicher Richtungen beschränkt. Diese Einschränkung ist besonders ausgeprägt, wenn die Anzahl der Kandidaten-Experten im Verhältnis zur Anzahl der Aufgaben begrenzt ist (z. B. in ressourcenbeschränkten Szenarien, in denen Experten über mehrere Domänen hinweg geteilt werden müssen), da der Router die geteilten Experten über die einfache Skalierung der Magnitude hinaus nicht ausreichend unterscheiden oder spezialisieren kann.

Darüber hinaus erfordert die Implementierung komplexer Transformationen (wie vollständiger linearer Transformationen) über Gating-Module typischerweise eine unvertretbar hohe Anzahl an trainierbaren Parametern (z. B. $d \times d$ -Matrizen für die verborgene Dimension $d$ ), was die Parameter-Effizienz von PEFT zunichtemacht.

Methodik: RotMoLE

Die Autoren schlagen RotMoLE (Rotatable Mixture of Low-rank Experts) vor, ein spezialisiertes MoE-LoRA-Rahmenwerk, das neben dem traditionellen Skalierungs-Gate einen rotatorischen Gating-Mechanismus einführt.

Theoretische Grundlage

Die Methode basiert auf der Beobachtung, dass jede Transformation zwischen zwei nicht-null Vektoren in eine reine Skalierungsoperation und eine reine Rotation innerhalb der 2D-Unterebene zerlegt werden kann, die von diesen Vektoren aufgespannt wird. Durch die Nutzung der Low-Rank-Struktur von LoRA (wobei der Rang $r \ll d$ ) wendet RotMoLE diese Transformationen im $r$ -dimensionalen Raum der Experten-Adapter an, anstatt in der vollen verborgenen Dimension.

Architekturkomponenten

Die Gewichtsaktualisierung für das Modell wird wie folgt formuliert:
$W = W_0 + \sum_{i \in TopK(x)} g_i B_i R_i A_i$
Wobei:

$W_0$ die vortrainierte Gewichtsmatrix ist.
$A_i$ und $B_i$ die Low-Rank-Matrizen für den $i$ -ten Experten sind.
$g_i$ der Wert des Skalierungs-Gates ist (standardmäßiges skalares Gewicht).
$R_i$ die Rotationsmatrix ist, die spezifisch für den $i$ -ten Experten ist.

Das Rahmenwerk arbeitet basierend auf dem LoRA-Rang $r$ in zwei Modi:

Rang $r = 2$ (2D-Rotation):
- Die Rotation wird unter Verwendung eines einzigen lernbaren Winkels $\theta_i$ modelliert.
- Die Rotationsmatrix $R_i$ ist eine Standard-2D-Rotationsmatrix:
  $R_i = \begin{pmatrix} \cos \theta_i & -\sin \theta_i \\ \sin \theta_i & \cos \theta_i \end{pmatrix}$
- Der Winkel $\theta_i$ wird von einem Rotations-Gate $\Theta(x)$ generiert, das Werte im Bereich $[-\pi, \pi]$ unter Verwendung einer Sigmoid-basierten Normalisierung ausgibt, um Stabilität und Periodizität sicherzustellen.
Rang $r > 2$ (Hochdimensionale Rotation):
- Da ein einzelner Winkel eine Rotation in Dimensionen $>2$ nicht definieren kann, konstruiert die Methode eine spezifische Rotations-Ebene $P_i$ für jeden Experten.
- Die Ebene wird durch zwei Basisvektoren definiert:
  1. Der normalisierte Eingabe-Embedding zum Experten ( $e_1 = A_i x / |A_i x|$ ).
  2. Ein lernbarer Cluster-Zentrumsvektor $q_i$ , der spezifisch für den Experten ist und das aggregierte Zentrum der Eingaben darstellt, die zu diesem Experten geroutet werden. Der zweite Basisvektor $e_2$ wird aus der Komponente von $q_i$ abgeleitet, die orthogonal zu $e_1$ steht.
- Die Rotationsmatrix $R_i$ wird konstruiert, indem die 2D-Rotation (definiert durch $\theta_i$ ) auf diese $r$ -dimensionale Ebene projiziert wird, die von $e_1$ und $e_2$ aufgespannt wird.

Parameter-Effizienz

RotMoLE behält eine hohe Parameter-Effizienz bei. Die zusätzlichen eingeführten Parameter sind:

Für $r=2$ : $d \times n$ Parameter (für die Gewichte des Rotations-Gates).
Für $r>2$ : $(d + r) \times n$ Parameter (für das Rotations-Gate und die Cluster-Zentrumsvektoren $q$ ).
Dies ist deutlich geringer als die $d^2 \times n$ Parameter, die für vollständige lineare Transformationen erforderlich wären, wodurch der Overhead mit den Expertenmodulen selbst vergleichbar bleibt.

Hauptbeiträge

Identifikation von Einschränkungen: Die Arbeit hebt hervor, dass bestehende MoE-Router auf Norm-Skalierung beschränkt sind und die Fähigkeit fehlt, komplexe räumliche Transformationen durchzuführen, die für diverse Szenarien mit begrenzter Anzahl von Experten notwendig sind.
RotMoLE-Rahmenwerk: Der Vorschlag eines spezialisierten MoE-LoRA-Rahmenwerks, das ein Rotations-Gate integriert, wodurch 2D-Rotationen im Low-Rank-Raum der Experten ermöglicht werden, um den Lösungsraum gewichteter Experten-Kombinationen zu erweitern.
Empirische Validierung: Umfassende Experimente in multi-task- und mehrsprachigen gemeinsamen Lernszenarien, die zeigen, dass RotMoLE konventionelle MoE-LoRA-Baselines und andere neuere Varianten übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten RotMoLE auf Llama-3.2-3B, Qwen-2.5-3B und GLM-4-9B über mehrere Benchmarks:

Multi-Task Gemeinsames Lernen (QA & GLUE):
- Auf einer Mischung aus drei QA-Aufgaben (CommonsenseQA, OpenBookQA, SocialIQA) übertraf RotMoLE die MoE-LoRA-Baseline konsistent und erzielte durchschnittliche Genauigkeitsverbesserungen im Bereich von 1% bis 10% (Durchschnitt ~5%).
- Die Verbesserungen waren am ausgeprägtesten, wenn die Anzahl der Experten begrenzt war (z. B. $n=2$ ), was die Hypothese validiert, dass Rotation hilft, geteilte Experten zu unterscheiden.
- Ähnliche Gewinne wurden bei GLUE-Aufgaben (SST-2, MRPC, QNLI) beobachtet.
Mehrsprachiges Gemeinsames Lernen:
- Auf Multilingual Text Generation (MTG) und XNLI (Natural Language Inference) erzielte RotMoLE höhere Durchschnittswerte und pro-Sprache-Werte im Vergleich zu Baselines.
- Eine Konvergenzanalyse zeigte, dass RotMoLE bessere Anti-Overfitting-Eigenschaften aufweist; es konvergiert anfangs langsamer, erreicht aber eine bessere Endleistung ohne die frühe Sättigung, die bei Baselines zu beobachten ist.
Vergleich mit Varianten:
- RotMoLE übertraf andere MoE-LoRA-Varianten, die sich auf Forward-Routing konzentrieren (MoCLE, MoLA, AdaMoLE), sowohl in der Gesamtgenauigkeit als auch in der pro-Aufgabe-Genauigkeit.
Ablationsstudien:
- Experimente bestätigten, dass die Leistungsgewinne auf der rotatorischen Struktur beruhen und nicht einfach auf der Erhöhung der Parameteranzahl. Eine größenäquivalente Baseline unter Verwendung eines MLP-Gates schnitt schlechter ab, was darauf hindeutet, dass der Rotationsmechanismus effektiver ist, um zusätzliche Parameter für Vielfalt zu nutzen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass RotMoLE eine leistungsfähigere Transformationsfunktion für Low-Rank-Experten jenseits der einfachen Skalierung bietet. Durch die Einführung eines Rotations-Gates erweitert das Rahmenwerk den globalen Lösungsraum von MoE erheblich, was eine bessere Ausnutzung und Spezialisierung von Experten ermöglicht, insbesondere in Szenarien, in denen Experten über mehrere Aufgaben oder Sprachen hinweg geteilt werden.

Die Autoren betonen, dass dieser Ansatz eine spezifische Lücke in der aktuellen PEFT-MoE-Forschung schließt: die Unfähigkeit, diverse Ausnutzungsstrategien für Kandidaten-Experten zu modellieren, wenn die Anzahl der Experten begrenzt ist. Die Ergebnisse deuten darauf hin, dass RotMoLE eine robuste, parameter-effiziente Methode bietet, um die Repräsentationsfähigkeit von LLMs in komplexen, multi-domänischen Anwendungen zu verbessern, ohne die Rechenkosten vollständiger Rang-Transformationen in Kauf nehmen zu müssen.