Stellen Sie sich das Gehirn eines superintelligenten Computers wie eine riesige, geschäftige Bibliothek vor. In den alten Tagen schickte der Computer, um eine einzige Frage zu beantworten, einen Bibliothekar los, der jedes einzelne Buch in den Regalen nacheinander las, nur um auf Nummer sicher zu gehen. Das war langsam und verschwendete viel Energie. Dann erfanden Ingenieure einen klügeren Weg: eine „Mixture of Experts“ (Mischung aus Experten). Anstatt einen Bibliothekar zu engagieren, der alles liest, stellten sie tausende Spezialisten ein. Wenn eine Frage zum Thema Kochen reinkommt, öffnet nur der „Chef-Bibliothekar“ sein Buch; wenn eine Frage zum Weltraum kommt, wacht nur der „Astronom“ auf. Dies ist der Kern der Idee von Mixture-of-Experts (MoE) in Large Language Models (LLMs): Es ermöglicht KI-Modellen, unglaublich groß und intelligent zu werden, ohne für jedes verarbeitete Wort jede einzelne Berechnung durchzuführen.

Aber hier liegt der Haken: Wenn Sie eine Million Spezialisten haben, wie entscheiden Sie dann, wer die Arbeit bekommt? Wenn Sie alle „Weltraum“-Fragen an den Astronomen schicken, wird dieser überfordert und bremst alles aus, während der „Koch“ untätig herumsitzt. Dies ist das „Routing“-Problem. Es ist wie der Versuch, ein riesiges Konzert zu managen, bei dem man sofort entscheiden muss, welcher Musiker welche Note spielt, um sicherzustellen, dass niemand überfordert ist, niemand gelangweilt ist und die Musik perfekt fließt. Wenn man beim Routing patzt, kommt das gesamte System zum Stillstand.

Dieses Papier, geschrieben von Jiguo Li im August 2026, ist eine tiefgehende Untersuchung darüber, wie sich diese „Experten“-Systeme im Laufe der Zeit entwickelt haben. Es argumentiert, dass die Geschichte von MoE nicht nur eine Liste neuerer, größerer Modelle ist, die Jahr für Jahr veröffentlicht wurden. Stattdessen ist es die Geschichte der Lösung eines spezifischen Verkehrsstaus nach dem anderen. Der Autor legt nahe, dass sich das Feld durch acht große „Meilensteine“ bewegt hat – weg von einfachen statistischen Tricks hin zu komplexen, dynamischen Systemen, in denen der Computer nicht nur entscheiden kann, wer hilft, sondern auch, wie viel Hilfe benötigt wird und sogar, wo diese Hilfe physisch in der Hardware des Computers existiert. Das Papier stellt fest, dass die Zukunft nicht nur darin besteht, mehr Experten hinzuzufügen, sondern die Logik dessen, „was die KI denkt“, von der physischen Realität dessen zu entkoppeln, „wie der Computer läuft“, um eine intelligentere, schnellere und effizientere KI zu ermöglichen, die nicht im Stau steht.

Die Geschichte der acht Meilensteine

Betrachten Sie die Evolution von MoE wie die Geschichte eines öffentlichen Nahverkehrssystems einer Stadt. Es begann mit einem einzelnen Bus, der überall anhielt, entwickelte sich dann zu einem System, bei dem man ein Taxi rufen konnte, und wurde schließlich zu einem hocheffizienten, selbstorganisierenden Netzwerk aus Drohnen und U-Bahnen. Das Papier unterteilt diese Reise in acht verschiedene Phasen oder „Meilensteine“, wobei jeder Schritt einen großen Engpass löste, aber eine neue Herausforderung schuf.

1. Die statistische Arbeitsteilung (Der alte Bus)
In der Frühzeit war die Idee simpel: Es gab ein „Gate“ (Tor), das entschied, welcher „Experte“ (ein kleiner Teil des Gehirns) eine Aufgabe übernimmt. Aber am Anfang half noch jeder ein kleines bisschen mit. Es war wie ein Bus, bei dem jeder Fahrgast aufstehen und dem Fahrer zuwinken musste, selbst wenn er gar nicht aussteigen wollte. Es war eine statistische Arbeitsteilung, aber es sparte keine Energie. Der Computer erledigte immer noch die ganze Arbeit; er tat es nur auf eine etwas intelligentere Weise.

2. Der „Top-K“-Schalter (Der Taxi-Service)
Dann kam der große Durchbruch: Sparse Conditional Computation. Stellen Sie sich einen Schalter vor, der sagt: „Nur die Top-2-Experten dürfen arbeiten; die anderen 98 können nach Hause gehen.“ Dies ist das Top-K-Routing. Plötzlich konnte der Computer über eine massive Bibliothek an Wissen (Millionen von Parametern) verfügen, aber für jedes Wort nur einen winzigen Ausschnitt davon nutzen. Dies war der „Kapazitätshebel“: Man konnte das Modell intelligenter machen, ohne es langsamer zu machen. Aber es entstand ein neues Problem: Was, wenn der „Koch“ 1.000 Bestellungen bekommt und der „Astronom“ gar keine? Das System begann, aus dem Gleichgewicht zu geraten.

3. Die Cluster-Skalierung (Das U-Bahn-Netzwerk)
Als die Modelle so groß wurden, dass sie auf tausende Computerchips (GPUs) passten, wurde das Verschieben der Daten zum Problem. Wenn der „Koch“ auf Chip A lebt und der „Astronom“ auf Chip B, wie kommen die Zutaten dorthin? Diese Ära führte Expert Parallelism (Experten-Parallelität) und All-to-All-Kommunikation ein. Es ist wie der Bau eines riesigen U-Bahn-Netzes, in dem die Token (die Wörter) die Fahrgäste sind und sie in Züge umsteigen müssen, um zum richtigen Experten zu gelangen. Die Herausforderung verlagerte sich von der Frage „Wer macht die Mathematik?“ zur Frage „Wie schnell können wir die Daten bewegen, ohne dass der Zug stecken bleibt?“.

4. Die Open-Weight-Ära (Die öffentliche Verkehrs-App)
Dann zeigten Modelle wie Mixtral, dass dieses komplexe System tatsächlich für normale Menschen funktionieren kann, nicht nur für riesige Labore. Sie bewiesen, dass man ein riesiges, grobkörniges MoE (große Experten) haben kann, das für jeden zugänglich ist. Aber die „Experten“ waren immer noch zu groß und schwerfällig. Sie neigten dazu, dieselben grundlegenden Dinge (wie die Begrüßung „Hallo“) immer wieder neu zu lernen, was Platzverschwendung war.

5. Feinkörnige & gemeinsame Experten (Die spezialisierten Kioske)
Um die Schwerfälligkeit zu beheben, begannen Ingenieure, die großen Experten in viele winzige, feinkörnige Experten aufzuspalten. Es ist wie der Ersatz eines riesigen „General Stores“ durch hunderte kleiner Kioske: einer für „scharfes Essen“, einer für „Desserts“, einer für „vegane Optionen“. Dies ermöglichte ein viel präziseres Routing. Zudem wurden Shared Experts (gemeinsame Experten) hinzugefügt – ein permanenter Pfad für Dinge, die jeder braucht (wie grundlegende Grammatik) – damit das Routing-System nicht bei den Grundlagen Zeit verschwenden muss. Dies machte das System schneller und intelligenter, erzeugte aber einen neuen Verkehrsstau: Zu viele winzige Kioske bedeuteten zu viele winzige Fahrten für die U-Bahn, was alles verlangsamte.

6. Ultra-Sparse Scaling (Die Millionen-Experten-Bibliothek)
Als Nächstes fragten Forscher: „Was wäre, wenn wir viel mehr Experten hätten, aber noch kleinere?“ Modelle wie Kimi K2 und PEER begannen, hunderte winziger Experten (manchmal über eine Million!) einzusetzen. Die Idee war, einen Kandidatenpool so riesig zu machen, dass die KI für jedes einzelne Wort den perfekten Spezialisten finden kann. Aber das Papier stellt eine Einschränkung fest: Wenn man zu viele Experten hat, verbringt der Computer mehr Zeit mit der Suche nach dem richtigen Ansprechpartner (Retrieval) und dem Bewegen von Daten als mit der eigentlichen Arbeit. Die „Weight I/O“ (das Laden des Experten-Gehirns) wurde zum neuen Engpass.

7. Dynamische Rechenleistung (Das flexible Budget)
Bis jetzt erhielt jedes Wort die gleiche Menge an Hilfe (z. B. „Top-2“-Experten). Aber manche Wörter sind schwer (wie „Quantenphysik“) und manche einfach (wie „der“). Dynamic Compute ändert die Regeln: Die KI kann entscheiden, für einfache Wörter 1 Experten und für schwierige Wörter 4 zu verwenden. Einige Modelle nutzen sogar „Zero-Compute“-Slots, bei denen die KI einfach sagt: „Ich weiß das, kein Grund, jemanden zu rufen.“ Das spart Energie, birgt aber ein neues Risiko: Wenn viele schwierige Wörter gleichzeitig auftauchen, könnte das System überfordert werden, was zu Verzögerungen (Tail Latency) führt.

8. Entkopplung von Logik und Physik (Das Teleportations-Netzwerk)
Die letzte Grenze ist das Semantic Routing decoupled from Physical Execution (Semantisches Routing entkoppelt von der physischen Ausführung). Aktuell gilt: Wenn die KI entscheidet, den „Astronomen“ zu rufen, müssen die Daten sofort physisch zum Chip des Astronomen reisen. Neue Ideen (wie ScMoE oder Heterogeneous Experts) legen nahe, dass wir die Entscheidung von der Bewegung trennen können. Vielleicht entscheidet die KI, den Astronomen zu nutzen, aber die Daten warten in einem Puffer, oder der Astronom ist je nach Aufgabe unterschiedlich groß. Es ist wie ein Teleportationsnetzwerk, bei dem das Ziel logisch festgelegt wird, der physische Transport aber separat optimiert wird, um Verkehrsstaus zu vermeiden.

Die vier Steuerungsebenen (Control Planes)

Das Papier ordnet all diese Änderungen in vier „Control Planes“ ein, die wie die verschiedenen Management-Ebenen eines großen Unternehmens funktionieren:

1. Die Objekt-Ebene (Topologie): Dies ist das „Organigramm“. Es definiert, wer die Experten sind, wie groß sie sind und ob sie sich einen Schreibtisch teilen. Es fragt: „Haben wir 8 große Experten oder 128 winzige?“
2. Die Entscheidungs-Ebene (Routing): Dies ist der „Disponent“. Für jedes einzelne Wort entscheidet er: „Wen rufe ich an?“ Er nutzt eine „Top-K“-Regel, um die besten Spezialisten auszuwählen.
3. Die Steuerungs-Ebene (Balance): Dies ist der „Personalmanager“. Er passt auf, dass kein Experte 24/7 arbeitet, während andere schlafen. Wenn der „Koch“ überlastet ist, kann das System sanft dazu bewegt werden, einige Aufträge an den „Bäcker“ zu senden, indem spezielle mathematische Tricks (wie Auxiliary-Loss-Free Balancing) genutzt werden, ohne die KI beim Lernen zu stören.
4. Die Ausführungs-Ebene (Expert Parallelism): Dies ist das „Logistik-Team“. Es kümmert sich darum, wie die Daten über die physischen Chips bewegt werden, den Verkehr regelt und sicherstellt, dass die Berechnungen schnell abgeschlossen werden.

Was das Papier ausschließt und was es vorschlägt

Der Autor ist sehr deutlich darüber, was nicht als Allheilmittel funktioniert. Er spricht sich gegen die Vorstellung aus, dass es eine einzige „perfekte“ Struktur für alle MoE-Modelle gibt. Er argumentt, dass es nicht ausreicht, einfach nur mehr Experten hinzuzufügen, wenn das System die Daten nicht schnell genug bewegen kann. Er weist auch darauf hin, dass Soft MoE (bei dem Experten kontinuierlich ineinander übergehen, statt einen festen auszuwählen) zwar theoretisch gut klingt, aber bisher nicht bewiesen wurde, dass es in den massiven, realen Systemen, die wir heute nutzen, gut funktioniert.

Das Papier schlägt vor, dass die Zukunft in der Entkopplung liegt. Wir müssen aufhören, die „schlaue Entscheidung“ (welcher Experte genutzt wird) an die „physische Realität“ (auf welchem Chip er lebt) zu binden. Er schlägt vor, dass die besten Systeme dynamische Budgets (Anpassung der Arbeitsmenge je nach Schwierigkeit) und Runtime Placement (Verschieben von Experten während des laufenden Betriebs, um Staus zu vermeiden) nutzen sollten.

Dennoch ist das Papier vorsichtig damit, dies als „gelöste“ Probleme darzustellen. Zum Beispiel klingen Heterogeneous Experts (Experten unterschiedlicher Größe) zwar großartig, aber das Papier merkt an, dass sie sich noch in der Forschungsphase befinden und noch nicht im riesigen Maßstab von Billionen-Parameter-Modellen getestet wurden. Ähnlich verhält es sich mit Cross-layer sharing (wo ein Experte aus Schicht 1 Schicht 100 hilft): Das ist eine spannende Idee, aber der Autor sagt, wir brauchen mehr Beweise, ob dies tatsächlich funktioniert, ohne Verwirrung zu stiften.

Das Fazleit

Vereinfacht gesagt: Dieses Papier zeigt uns, dass der Weg, KI intelligenter zu machen, nicht nur darin besteht, ein größeres Gehirn zu bauen. Es geht darum, ein besseres Verkehrssystem zu bauen. Wir haben uns von einem einzelnen Bus zu einem komplexen Netzwerk aus Taxis, U-Bahnen und Drohnen entwickelt. Der nächste Schritt ist nicht nur, mehr Fahrzeuge hinzuzufügen, sondern die Ampeln intelligenter, die Straßen flexibler und die Disponenten in der Lage zu machen, die Stoßzeiten zu bewältigen, ohne abzustürzen. Der Autor kommt zu dem Schluss, dass die „nächste Generation“ der KI nicht ein einzelnes neues Modell sein wird, sondern eine Kombination aus diesen smarten Routing-Tricks, dynamischen Budgets und physischen Optimierungen, die alle zusammenarbeiten. Es ist eine Erinnerung daran, dass in der Welt der superintelligenten Computer manchmal nicht das Denken das Schwierigste ist – sondern das Ankommen.