💬 NLP

MobileMoE: Scaling On-Device Mixture of Experts

Die Arbeit stellt MobileMoE vor, eine Familie von On-Device-Mixture-of-Experts-Sprachmodellen mit weniger als einer Milliarde Parametern, die Architektur und Training optimieren, um im Vergleich zu bestehenden dichten und MoE-Baselines überlegene Leistung und Effizienz zu erzielen und damit eine schnelle Inferenz auf handelsüblichen Smartphones zu ermöglichen.

Ursprüngliche Autoren: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: „Super-Gehirne" in Ihre Hosentasche bringen

Stellen Sie sich vor, Sie besitzen eine riesige Wissensbibliothek (ein Large Language Model, oder LLM). Normalerweise müssen Sie Ihre Fragen an einen riesigen, cloudbasierten Server-Farm senden, um die besten Antworten zu erhalten. Aber was wäre, wenn Sie dieses Gehirn in Ihrer Hosentasche, auf Ihrem Telefon, mitführen könnten, ohne das Internet zu benötigen?

Lange Zeit war der einzige Weg, ein intelligentes Gehirn auf ein Telefon zu bringen, es „dicht" zu machen – wie ein einziger, super-harbeitsamer Schüler, der versucht, für jede einzelne Frage alles zu merken und alles zu tun. Dies ist langsam und beansprucht viel Speicherplatz.

MobileMoE ist eine neue Familie von KI-Modellen von Meta, die das Spiel verändert. Anstatt eines einzigen hart arbeitenden Schülers nutzen sie ein Team von Spezialisten. Dieser Ansatz, Mixture of Experts (MoE) genannt, ermöglicht es dem Telefon, ein viel intelligenteres Gehirn zu betreiben, das schneller ist, weniger Akku verbraucht und in den Speicher moderner Smartphones passt.

1. Das Problem: Der „Einheitsgröße"-Engpass

Stellen Sie sich eine Standard-Telefon-KI (wie die aktuellen auf dem Markt) als Generalisten vor.

Die Analogie: Stellen Sie sich einen einzelnen Koch in einer winzigen Küche vor. Wenn Sie Sushi bestellen, schneiden sie den Fisch. Wenn Sie einen Kuchen bestellen, backen sie ihn. Wenn Sie ein Steak bestellen, grillen sie es. Sie müssen in allem gut sein, also tragen sie jedes Werkzeug der Küche bei sich.
Das Problem: Dieser Koch ist langsam, weil er für jede Aufgabe das Werkzeug wechseln muss, und die Küche (der Speicher Ihres Telefons) wird durch alle Werkzeuge, die sie vielleicht brauchen, überfüllt, selbst wenn sie sie gerade nicht verwenden.

2. Die Lösung: Das „Spezialisten-Team" (MoE)

MobileMoE ersetzt den einzelnen Koch durch ein Team von Experten.

Die Analogie: Stellen Sie sich nun eine Küche mit einem Router (einem Manager) und 64 verschiedenen Spezialisten-Köchen vor.
- Ein Koch weiß nur, wie man Kuchen backt.
- Ein anderer weiß nur, wie man Steaks grillt.
- Ein weiterer weiß nur, wie man Sushi zubereitet.
Wie es funktioniert: Wenn Sie eine Frage stellen, schaut der Router schnell darauf und sagt: „Ah, das ist eine Mathefrage! Schick sie zum Mathe-Koch." Der Mathe-Koch erledigt die Arbeit, und die anderen 63 Köche machen Pause.
Der Vorteil: Obwohl das gesamte Team riesig ist (viel Gesamtwissen), arbeitet zu jedem Zeitpunkt nur ein winziger Bruchteil von ihnen tatsächlich. Das bedeutet, das Telefon muss nicht so viel Schwerstarbeit leisten, was Akku und Zeit spart.

3. Der „Sweet Spot": Die perfekte Teamgröße finden

Die Forscher haben nicht einfach geraten; sie nutzten ein Scaling Law (eine mathematische Rezeptur), um die perfekte Teamgröße für ein Telefon zu finden.

Die Entdeckung: Sie stellten fest, dass Sie für ein Telefon kein Team wollen, das zu klein ist (nicht intelligent genug) oder zu groß (zu schwer).
Das Ergebnis: Sie fanden einen „Sweet Spot" mit 8 Hauptexperten, wobei jeder Experte tatsächlich aus 8 winzigen Sub-Experten (feinkörnig) besteht, plus einem „Generalisten"-Experten, der immer einsatzbereit ist, um alles zu handhaben, was die Spezialisten verpassen.
Warum es wichtig ist: Diese spezifische Mischung ermöglicht es dem Modell, unglaublich intelligent zu sein und gleichzeitig klein genug zu bleiben, um auf ein Telefon mit 3–5 GB Speicher zu passen (was bei Telefonen wie dem iPhone 16 Pro oder Samsung S25 Standard ist).

4. Das Training: Ein vierstufiges Bootcamp

Um dieses Team perfekt funktionieren zu lassen, wurden sie in vier spezifischen Phasen trainiert, wie in einem rigorosen Bootcamp:

Pre-training: Das Team liest eine riesige Bibliothek von Büchern (6 Billionen Wörter), um die allgemeine Sprache zu lernen.
Mid-training: Sie konzentrieren sich auf spezifische, hochwertige Themen wie Mathematik, Code und Wissenschaft, um ihre Fähigkeiten zu schärfen.
Instruction Fine-Tuning: Sie lernen, menschlichen Anweisungen zu folgen (wie „schreibe ein Gedicht" oder „löse diese Gleichung").
Quantisierung (Die Komprimierung): Das ist der Zaubertrick. Sie verkleinern den Speicherbedarf des Modells um das 4-fache (indem sie es in das „INT4"-Format umwandeln), ohne viel Intelligenz zu verlieren, damit es problemlos auf ein Telefon passt.

5. Die Ergebnisse: Schneller und intelligenter auf echten Telefonen

Das Team testete MobileMoE auf echten Flaggschiff-Telefonen (Samsung Galaxy S25 und iPhone 16 Pro) und verglich es mit der besten bestehenden Telefon-KI (MobileLLM-Pro).

Geschwindigkeit: MobileMoE ist 2 bis 4 Mal schneller beim Generieren von Text als die dichten Modelle.
- Analogie: Wenn das alte Modell ein Lieferwagen war, der im Stau steckte, ist MobileMoE ein Motorrad, das sich durchschlängelt.
Intelligenz: Es entspricht oder übertrifft die Leistung viel größerer Modelle. Zum Beispiel ist die „Medium"-Version von MobileMoE intelligenter als Modelle, die 3–4 Mal größer sind.
Effizienz: Es verbraucht weniger Akku und Speicher, da es nur die spezifischen Experten „wachruft", die für die Aufgabe benötigt werden.

6. Die „Letzte Meile": Damit es auf Ihrem Telefon läuft

Das Papier hebt eine große Hürde hervor: Die meisten Telefone haben keine integrierte Software, um dieses „Team von Experten" effizient auszuführen.

Die Lösung: Die Forscher bauten eine benutzerdefinierte Engine (ein spezieller Software-Kernel), die wie ein Verkehrsleiter funktioniert. Sie organisiert die Daten so, dass der Prozessor des Telefons die Spezialisten effizient handhaben kann.
Der Beweis: Sie bewiesen, dass dies auf echter Hardware funktioniert. Auf einem iPhone 16 Pro generierte das neue Modell Text 3,4 Mal schneller als das alte dichte Modell, bei gleichzeitig geringerem Speicherverbrauch.

Zusammenfassung

MobileMoE beweist, dass Sie keinen riesigen Cloud-Server benötigen, um eine intelligente KI auf Ihrem Telefon zu haben. Durch die Verwendung eines Teams von Spezialisten anstelle eines einzelnen Generalisten und durch sorgfältiges Abstimmen der Teamgröße und des Trainingsprozesses schufen sie eine KI, die:

Intelligenter ist als aktuelle Telefonmodelle.
Schneller ist (bis zu 4-fache Geschwindigkeitssteigerung).
Effizient ist (passt in den Speicher Ihres Telefons und spart Akku).

Dies öffnet die Tür zu leistungsstarken, privaten und sofortigen KI-Assistenten, die vollständig auf Ihrem Gerät leben, ohne eine Verbindung zum Internet benötigen.

Technische Zusammenfassung: MobileMoE: Skalierung von Mixture-of-Experts auf dem Endgerät

Problemstellung

Während Mixture-of-Experts (MoE)-Architekturen zum Standard für die Skalierung großer Sprachmodelle (LLMs) auf Hunderte von Milliarden Parametern auf Cloud-Servern geworden sind, bleibt ihr Potenzial im submilliardenschweren Maßstab für die Bereitstellung auf Endgeräten weitgehend unerforscht. Bestehende LLMs auf Endgeräten (z. B. MobileLLM, MobileLLM-Pro) sind überwiegend dicht (dense) und erfordern erhöhte aktive Parameterzahlen und Inferenz-Rechenleistung, um die Qualität zu verbessern. Dies schafft einen Engpass für Edge-KI, bei der Geräte strengen Einschränkungen hinsichtlich Speicher (DRAM) und Rechenleistung (Akkulaufzeit, Latenz) unterliegen. Obwohl sich die DRAM-Kapazitäten moderner Smartphones erhöht haben (z. B. 12–16 GB), wurde noch keine prinzipielle Methodik zur Skalierung von MoE-Architekturen unter diesen spezifischen mobilen Einschränkungen etabliert, die die Gesamtmodellgröße, die aktiven Parameter und die Inferenzkosten in Einklang bringt.

Methodik

1. Skalierungsgesetz für On-Device-MoE

Die Autoren formulieren ein generalisiertes Skalierungsgesetz für On-Device-MoE, um die Architektur unter Speicher- und Rechenbeschränkungen gemeinsam zu optimieren. Die Verlustfunktion $L$ wird als Funktion der aktiven Parameter ( $N_{act}$ ), der Trainingsdatengröße ( $D$ ), einer monotonen Transformation der Expertenanzahl ( $\hat{E}$ ) und architektonischer Entscheidungen ( $x$ , einschließlich Experten-Granularität $g$ und geteilter Experten $s$ ) modelliert.

Das Optimierungsziel minimiert den Verlust unter folgenden Bedingungen:

Rechenbeschränkungen: Trainings-FLOPs ( $F_{train} = 6N_{act}D$ ) und pro-Token-Inferenz-FLOPs ( $F_{inf} = 2N_{act}$ ).
Speicherbeschränkungen: Gesamter Speicherverbrauch $M(N_{total}, T)$ , der quantisierte Gewichte ( $b_w$ -Bit) und den KV-Cache ( $b_{kv}$ -Bit) bei der Kontextlänge $T$ umfasst.

2. Architektonisches Design durch Divide-and-Conquer

Mittels des Skalierungsgesetzes identifizieren die Autoren einen optimalen „Sweet Spot" für On-Device-MoE durch drei kontrollierte Ablationsstudien:

Anzahl der Experten ( $E$ ): Moderate Sparsamkeit ist optimal. Eine Erhöhung von $E$ reduziert den Verlust, bringt jedoch über $E=8$ hinaus abnehmende Grenzerträge. $E=8$ wird als praktischer Sweet Spot für speicherbeschränkte Geräte ausgewählt.
Experten-Granularität ( $g$ ): Feinkörnige Experten (Aufteilung jedes Experten in $g$ Sub-Experten) ermöglichen vielfältigere Routing-Pfade. Die Studie ermittelt $g=8$ als rechenoptimierte Granularität, die eine signifikante Verlustreduktion gegenüber grobkörnigen Experten bietet, ohne übermäßigen Overhead zu verursachen.
Geteilter Experte ( $s$ ): Die Integration eines geteilten, stets aktiven Experten (ein dichter Pfad) ergänzt die gerouteten Spezialisten. Die Konfiguration mit einem geteilten Experten ( $s=\checkmark$ ) erzielt unter festgehaltener Rechenleistung einen niedrigeren Verlust als die Gegenvariante ohne geteilten Experten.

Resultierende Architektur: Die abgeleitete MobileMoE-Familie besteht aus drei Skalen (S, M, L) mit aktiven Parametern von 0,3B, 0,5B und 0,9B sowie Gesamtparametern von 1,3B, 2,8B bzw. 5,3B. Das Design verwendet $E=8$ , $g=8$ (64 feinkörnige geroutete Experten) und einen geteilten Experten mit Top-4-Routing.

3. Vierstufiges Trainingsrezept

Um die architektonischen Vorteile zu realisieren, wird eine umfassende Trainingspipeline auf Open-Source-Datensätzen eingesetzt:

Pre-Training: ~6T Token mit einer web-lastigen Mischung, um eine breite sprachliche Abdeckung und Experten-Spezialisierung sicherzustellen. Zu den Techniken gehören ausgleichende Auxiliary-Loss-freie Verfahren, Router-Z-Loss und Grouped-MLP-Kerne (GMM) für Effizienz.
Mid-Training: ~500B Token mit Fokus auf hochwertige domänenspezifische Daten (Mathematik, Code, Wissen), um den Kontext auf 8k zu erweitern und die Experten-Spezialisierung zu schärfen.
Instruction Fine-Tuning (SFT): ~80M Proben über diverse Domänen unter Verwendung von Dropless-Token-Dispatching, um strukturierte Instruktions-Signale zu erhalten.
Quantization-Aware Training (QAT): INT4-Gewichtsquantisierung (Gruppengröße 32) mit INT8-dynamischen Aktivierungen. Entscheidend ist, dass die Router-Gewichte in FP32 belassen werden, um die Routing-Stabilität zu gewährleisten, was einen vernachlässigbaren Speicher-Overhead hinzufügt.

4. Effiziente On-Device-Inferenz

Um die Lücke zur Bereitstellung zu schließen, implementieren die Autoren einen benutzerdefinierten, fusionierten MoE-Kernel in ExecuTorch. Dieser Kernel:

Wandelt das sparse Experten-Dispatching durch Neuordnung der Token in dichte gruppierte GEMMs um.
Führt alle Teiloperationen (Routing, Dispatch, Projektionen, Aktivierung, Scatter) zu einem einzigen Operator zusammen, um den Overhead für Kernel-Starts und Quantisierung zu amortisieren.
Ermöglicht eine effiziente Inferenz auf handelsüblichen Smartphone-CPUs (Snapdragon 8 Elite, Apple A18 Pro) und GPUs.

Wichtige Ergebnisse

Benchmark-Leistung

Über 14 grundlegende Benchmarks (Commonsense, Wissen, Wissenschaft, Lesen, Schlussfolgern) etabliert MobileMoE eine neue Pareto-Grenze:

Effizienz vs. Dichte Modelle: MobileMoE-S/M erreichen oder übertreffen führende dichte On-Device-LLMs (z. B. MobileLLM-Pro, Llama 3.2 1B) unter Verwendung von 2–4× weniger Inferenz-FLOPs bei vergleichbarem Speicherbedarf.
Effizienz vs. MoE-Modelle: MobileMoE-M erreicht die Genauigkeit des State-of-the-Art-OLMoE-1B-7B mit ~60 % weniger aktiven und Gesamt-Parametern. MobileMoE-L übertrifft OLMoE-1B-7B mit 30 % weniger aktiven Parametern und einem 23 % kleineren Speicherbedarf.
Token-Effizienz: MobileMoE-L erzielt überlegene Leistung mit nur ~6T Pre-Training-Token und übertrifft dichte Baseline-Modelle, die mit 1,5–2× mehr Token trainiert wurden (z. B. Llama 3.2 1B bei 9T).

On-Device-Laufzeitprofilierung

Bereitgestellt auf Samsung Galaxy S25 und iPhone 16 Pro mit INT4-Gewichten:

Latenz: MobileMoE-S erreicht 1,8–3,8× schnellere Prefill und 2,2–3,4× schnellere Decode im Vergleich zur dichten MobileLLM-Pro-Baseline bei vergleichbarem INT4-Gewichtsspeicher.
Speicher: Bei 8k Kontext verbraucht MobileMoE-S bis zu 22 % weniger Spitzen-RAM als die dichte Baseline. MobileMoE-L passt bei 8k Kontext in 5 GB DRAM, was die Machbarkeit für moderne Smartphones bestätigt.
Genauigkeit: MobileMoE-L liefert deutlich höhere Genauigkeit (Durchschnitt 57,8 vs. 45,5 für MobileLLM-Pro) bei nur moderaten Laufzeitkosten, die mit zunehmender Kontextlänge abnehmen.

Bedeutung und Behauptungen

Die Arbeit behauptet, die erste MoE-Familie mit submilliardenschweren aktiven Parametern vorzustellen, die speziell für Edge-Bereitstellung optimiert und aus einem neuartigen On-Device-Skalierungsgesetz abgeleitet ist. Ihre Bedeutung liegt in drei Hauptbeiträgen:

Theoretische Grundlage: Sie bietet einen prinzipiellen Rahmen für MoE-Design unter gemeinsamen Speicher- und Rechenbeschränkungen und identifiziert moderate Sparsamkeit ( $E=8$ ), feinkörnige Experten ( $g=8$ ) und geteilte Experten als optimale Konfiguration für mobile Geräte.
Trainings-Effizienz: Sie zeigt, dass MoE-Architekturen State-of-the-Art-Leistung auf Endgeräten mit signifikant weniger Trainings-Token (~6T) im Vergleich zu dichten Gegenstücken erreichen können, was die Lerneffizienz von MoE im submilliardenschweren Maßstab validiert.
Praktische Bereitstellung: Sie schließt die „letzte Meile" zur mobilen Bereitstellung, indem sie die erste effiziente MoE-Inferenz auf handelsüblichen Smartphones ermöglicht. Die Ergebnisse bestätigen, dass MoE nicht nur eine Cloud-Skalen-Architektur ist, sondern ein praktischer, effizienter Weg für die Edge-KI der nächsten Generation, der latenzarme, datenschutzkonforme und kosteneffektive Anwendungen auf Smartphones und Wearables ermöglicht.

Die Autoren schließen, dass bestehende On-Device-Modelle zwar nach wie vor überwiegend dicht sind, MobileMoE jedoch zeigt, dass MoE eine überlegene Alternative für das Edge-Umfeld bietet und eine neue Pareto-Grenze etabliert, die Genauigkeit, Speicher und Latenz in Einklang bringt.