🤖 machine learning

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

Das Papier schlägt HELLoRA vor, eine parameter-effiziente Feinabstimmungsmethode für Mixture-of-Experts-Modelle, die Low-Rank-Adaptation-Module ausschließlich an die am häufigsten aktivierten Experten anbindet und dadurch die trainierbaren Parameter sowie die Rechenkosten reduziert, während sie gleichzeitig die Downstream-Leistung im Vergleich zur Standard-LoRA erheblich verbessert.

Ursprüngliche Autoren: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, hochspezialisierte Küche mit 64 verschiedenen Köchen (diese sind die „Experten" in einem Mixture-of-Experts-KI-Modell). Wenn ein Kunde ein Gericht bestellt, bittet der Küchenchef nicht alle 64 zum Kochen; stattdessen wählt er die top 8 Köche aus, die für diese spezifische Bestellung am besten geeignet sind. Dies macht die Küche unglaublich effizient, da zu jedem Zeitpunkt nur wenige Personen arbeiten.

Stellen Sie sich nun vor, Sie möchten dieser Küche ein neues, spezifisches Rezept beibringen (wie „wie man einen perfekten Sauerteigbrot backt"). Dies wird „Feinabstimmung" (fine-tuning) genannt.

Das Problem: Der „Alle-Hände-an-Bord"-Ansatz

Die Standardmethode, um diese Küchen zu unterrichten (mit einer Methode namens LoRA), besteht darin, jedem einzelnen Koch eine neue Rezeptkarte und einen Notizblock zum Üben zu geben, selbst jenen, die niemals zum Backen des Sauerteigs gerufen werden.

Die Verschwendung: Sie verschwenden Zeit und Speicher, indem Sie Köche trainieren, die das neue Rezept niemals verwenden werden.
Das Risiko: Wenn Sie einen Koch, der auf „Sushi" spezialisiert ist, dazu zwingen, „Sauerteig" zu üben, nur weil er vielleicht gerufen wird, könnten Sie seine ursprünglichen Sushi-Fähigkeiten beeinträchtigen. Sie verwässern seine Expertise.

Die Lösung: HELLoRA (Hot Experts Layer-Level Low-Rank Adaptation)

Die Autoren schlagen einen intelligenteren Weg namens HELLoRA vor. Anstatt alle zu trainieren, tun sie Folgendes:

Der „Geschmackstest" (Warm-up): Bevor das eigentliche Training beginnt, führen sie eine schnelle, kleine Übungssession durch. Sie beobachten die Küche, um zu sehen, welche spezifischen Köche tatsächlich gerufen werden, um den Sauerteig zu backen.
Die „Hot-Liste": Sie identifizieren die „Hot Experts" – die wenigen Köche, die 90 % der Arbeit für diese spezifische Aufgabe verrichten.
Zielgerichtetes Training: Sie geben nur diesen „Hot Experts" die neuen Rezeptkarten und Notizblöcke. Die anderen 56 Köche (die „Cold Experts") werden angewiesen, ruhig zu bleiben, ihre ursprünglichen Fähigkeiten scharf zu halten und nichts zu tun.

Warum dies funktioniert (Die Magie)

Die Arbeit behauptet, dass dieser einfache Trick drei erstaunliche Dinge gleichzeitig bewirkt:

Es ist schneller: Da Sie nicht 56 unnütze Köche trainieren, läuft der gesamte Prozess etwa 2-mal schneller. Es ist, als würde man die Küche von Personen befreien, die nicht kochen, damit die echten Köche schneller arbeiten können.
Es ist günstiger: Sie müssen viel weniger Informationen speichern (weniger „Parameter"). HELLoRA benötigt nur etwa 16 % bis 30 % des Speichers, den die alte Methode verwendete.
Es ist intelligenter: Indem Sie die „Cold Experts" in Ruhe lassen, schützen Sie ihre ursprünglichen, vortrainierten Fähigkeiten. Es ist, als würde man einen Sushi-Koch nicht zum Backen zwingen, damit er nicht versehentlich vergisst, wie man Fisch schneidet. Dies lässt die KI bei der neuen Aufgabe tatsächlich besser abschneiden, als wenn man alle trainiert hätte.

Das „HELLoRI"-Upgrade

Die Autoren haben auch eine super-leichte Version namens HELLoRI erstellt. Stellen Sie sich vor, dass selbst für die „Hot Experts" nur 10 % ihrer Notizblockseiten zum Schreiben erlaubt sind. Dies reduziert die Trainingskosten auf fast nichts (weniger als 1 % der ursprünglichen Größe), während die KI dennoch sehr intelligent bleibt.

Die Ergebnisse

Das Team testete dies an drei verschiedenen Arten von KI-Küchen (OlMoE, Mixtral und DeepSeekMoE) und drei verschiedenen Aufgaben (Mathematik, Programmieren und Sicherheit).

Das Urteil: HELLoRA schlug die alten Methoden konsequent. Es war schneller, benötigte weniger Speicher und erzielte bei Mathematik- und Programmiertests höhere Punktzahlen.
Die Analogie: Es ist der Unterschied zwischen dem Versuch, einer ganzen Stadionmenge beizubringen, wie man jongliert (Zeitverschwendung bei Personen, die niemals jonglieren werden) und dem Finden der 5 Personen in der Menge, die bereits gut darin sind, und ihnen einen Meisterkurs zu geben.

Kurz gesagt: HELLoRA stoppt die Zeitverschwendung beim Training der „kalten" Experten, die nicht arbeiten, konzentriert die gesamte Energie auf die „heißen" Experten, die arbeiten, und macht dadurch die KI schneller, günstiger und intelligenter.

Technische Zusammenfassung: HELLoRA

Problemstellung

Während die Low-Rank Adaptation (LoRA) zum Standard für das parameter-effiziente Fine-Tuning (PEFT) dichter Large Language Models (LLMs) geworden ist, stellt ihre Anwendung auf Mixture-of-Experts (MoE)-Modelle einzigartige Herausforderungen dar. MoE-Modelle skalieren die Parameterkapazität, während sie die Berechnung pro Token nahezu konstant halten, indem sie für jedes Token nur eine sparse Teilmenge von Experten aktivieren. Die naive Anwendung von LoRA auf alle Experten in einem MoE-Modell führt jedoch zu erheblichem Speicher- und Durchsatz-Overhead, da Adapter an Experten angehängt werden, die für spezifische Downstream-Aufgaben selten aktiviert werden. Darüber hinaus kann die Anpassung dieser „kalten" Experten Gradientenrauschen in Parameter injizieren, die spezialisiertes vortrainiertes Wissen enthalten, was die Expertenspezialisierung potenziell stört und die Leistung verschlechtert.

Methodik

Die Arbeit schlägt HELLoRA (Hot Experts Layer-Level Low-Rank Adaptation) vor, eine Methode, die die inhärente Sparsity von MoE-Aktivierungsmustern nutzt, um die Platzierung von Adaptern zu optimieren.

Kernmechanismus

HELLoRA basiert auf der Beobachtung, dass die Expertenaktivierung innerhalb jeder Schicht für spezifische Aufgaben stark verzerrt ist: Eine kleine Anzahl „heißer" Experten bewältigt den Großteil der Tokenverarbeitung, während ein langer Schwanz „kalter" Experten selten genutzt wird. Die Methode verläuft in zwei Stufen:

Leichtgewichtiges Profiling (Warm-up): Vor dem vollständigen Fine-Tuning durchläuft das Modell eine kurze Warm-up-Phase (standardmäßig 10 % der Trainingsdaten) unter Verwendung von Standard-LoRA. Während dieser Phase protokolliert das System die Aktivierungsfrequenz jedes Experten in jeder MoE-Schicht.
Selektive Adapter-Anbindung: Basierend auf den Profiling-Statistiken identifiziert HELLoRA die top- $k$ am häufigsten aktivierten Experten („heiße Experten") für jede Schicht. LoRA-Adapter werden nur an diese heißen Experten sowie an die Attention-Projektionen und Gate-Netzwerke angehängt. Alle „kalten" Experten bleiben vollständig eingefroren.

HELLoRI-Variante

Um extreme Parameterbudgets zu adressieren, kombinieren die Autoren HELLoRA mit LoRI (LoRA mit sparse Updates). Diese Variante, bezeichnet als HELLoRI, friert die Up-Projektionsmatrix ( $A$ ) ein und aktualisiert nur die obersten 10 % der Einträge in der Down-Projektionsmatrix ( $B$ ) innerhalb der heißen Experten-Adapter, was die trainierbaren Parameter weiter reduziert.

Theoretische Begründung

Die Autoren postulieren zwei komplementäre Vorteile dieses Ansatzes:

Effizienz: Durch das vollständige Entfernen von Adaptern aus kalten Experten eliminiert HELLoRA deren Vorwärts- und Rückwärtsdurchlauf-Berechnungen. Im Gegensatz zu maskenbasierten Methoden (z. B. LoRI), die Parameter im Berechnungsgraphen beibehalten, reduziert HELLoRA die tatsächlichen FLOPs und den Speicherverkehr.
Regularisierung: Das Einfrieren kalter Experten bewahrt ihre vortrainierte Spezialisierung. Die Anpassung kalter Experten mit spärlichen, nicht repräsentativen Teilmengen von Token kann verrauschte Gradienten einführen, die erlernte Fähigkeiten stören. Die Beschränkung der Anpassung auf heiße Experten wirkt als Form strukturierter Regularisierung.

Hauptbeiträge

Identifikation von Double Sparsity: Die Autoren identifizieren, dass MoE-Fine-Tuning vom kumulativen Effekt von spärlicher Expertenaktivierung und der Low-Rank-Struktur von LoRA-Updates profitiert.
HELLoRA-Framework: Sie schlagen eine Strategie zur layer-level Platzierung von Hot-Expert-Adaptern vor, die nur einen einfachen One-Shot-Profiling-Schritt vor dem Training erfordert.
Umfassende Evaluation: Die Methode wird über drei verschiedene MoE-Backbones (OlMoE-1B-7B, Mixtral-8×7B, DeepSeekMoE) und drei Aufgabengruppen (mathematisches Schlussfolgern, Code-Generierung, Sicherheitsausrichtung) evaluiert.
Simultane Optimierung: Die Arbeit zeigt, dass HELLoRA gleichzeitig die Downstream-Genauigkeit, die Parameter-Effizienz, die durch Adapter verursachten FLOPs und den Training-Durchsatz in Echtzeit verbessert – eine Kombination, die von früheren maskenbasierten oder dichten Adapter-Methoden nicht erreicht wurde.

Experimentelle Ergebnisse

Die Evaluation hebt konsistente Verbesserungen gegenüber Standard-PEFT-Baselines (LoRA, DoRA, LoRI) und MoE-spezifischen Methoden (LoRAMoE) hervor:

Parameter-Effizienz: HELLoRA verwendet deutlich weniger trainierbare Parameter, während es die Leistung von vollständigem LoRA erreicht oder übertrifft.
- Auf OlMoE-1B-7B verwendet HELLoRA nur 0,7 % der Parameter (ca. 6 $\times$ weniger als LoRA) und erzielt eine höhere Genauigkeit auf GSM8K (29,49 vs. 26,37) und HumanEval.
- Auf Mixtral-8×7B verwendet es 0,31 % der Parameter (30 % des LoRA-Budgets) mit verbesserter Genauigkeit.
- Auf DeepSeekMoE verwendet es 0,82 % der Parameter (23 % des LoRA-Budgets) mit vergleichbarer oder besserer Leistung.
Durchsatz und FLOPs: HELLoRA erreicht etwa 1,9 $\times$ den Training-Durchsatz von LoRA und reduziert die durch Adapter verursachten FLOPs um 33–39 % über alle Backbones hinweg. Diese Beschleunigung ist auf die vollständige Entfernung der Adapter-Kerne kalter Experten aus dem Berechnungsgraphen zurückzuführen.
Ablationsstudien:
- Auswahlstrategie: Die layer-level Hot-Auswahl übertrifft die model-level (globale) Auswahl, die zufällige Auswahl und die Auswahl kalter Experten. Selbst die zufällige Auswahl übertrifft leicht das vollständige LoRA, was darauf hindeutet, dass die Einschränkung des Umfangs an sich Regularisierung bietet.
- Warm-up: Die Verwendung von 10 % der Daten für das Profiling stellt 87,5 % der durch Profiling mit vollständigen Daten identifizierten heißen Experten wieder her und verursacht nur einen Overhead von 9,2 % in der Trainingszeit.
- Erhaltung über Aufgaben hinweg: Das Fine-Tuning auf eine spezifische Aufgabe erhält die Leistung bei Nicht-Ziel-Aufgaben weitgehend, was die Verwendung von HELLoRA in sequenziellen oder Multi-Task-Szenarien unterstützt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass aktivierungsbewusste Adapter-Platzierung ein praktisches und effektives Prinzip für die Skalierung von PEFT auf große MoE-Sprachmodelle ist. Durch die Ausrichtung der Anpassungskapazität auf die native Berechnungsverteilung des Modells löst HELLoRA die Ineffizienz der Anpassung ungenutzter Parameter und das Risiko der Störung vortrainierten Wissens.

Die Autoren betonen, dass HELLoRA der erste Ansatz ist, der gleichzeitig trainierbare Parameter reduziert, FLOPs senkt, den Training-Durchsatz erhöht und die Downstream-Genauigkeit für MoE-Modelle verbessert. Sie weisen darauf hin, dass die Methode zwar auf der Repräsentativität der Warm-up-Daten beruht, aber eine robuste Lösung für ressourcenbeschränktes Fine-Tuning bietet, ohne komplexe architektonische Änderungen oder Online-Rank-Anpassungen zu erfordern. Die Arbeit legt nahe, dass für Standard-MoE-Architekturen die Einstellung der Anzahl heißer Experten ( $k$ ) so, dass sie dem Routing-Budget pro Schritt entspricht, ein zuverlässiger Ausgangspunkt ist, wobei Anpassungen für Architekturen erforderlich sind, die geteilte Experten enthalten.