Stellen Sie sich vor, Sie hätten ein riesiges, superintelligentes Robotergehirn, das gebaut wurde, um Rätsel zu lösen, Code zu schreiben und Sprachen zu übersetzen. Dieses Gehirn besteht jedoch nicht aus einem einzigen, schweren Metallblock; stattdessen ist es wie eine riesige Fabrik mit Hunderten von spezialisierten Arbeitsstationen aufgebaut. Dies ist die Welt der Large Language Models (LLMs), der KI-Engines, die alles von Chatbots bis hin zu Coding-Assistenten antreiben. Um diese Gehirne schnell und effizient zu machen, nutzen Ingenieure einen Trick namens Mixture-of-Experts (MoE). Stellen Sie sich das wie ein riesiges Team aus 256 verschiedenen „Experten“ in jedem einzelnen Raum der Fabrik vor. Wenn eine Frage eingeht, entscheidet ein intelligenter Manager (ein sogenannter „Router“), welche wenigen Experten für dieses spezifische Problem benötigt werden, während der Rest des Teams Kaffeepause macht. Das hält den Roboter schnell, weil er nur die Arbeiter aufweckt, die er tatsächlich braucht.

Aber hier kommt die große Frage: Sind all diese Arbeiter gleichermaßen wichtig? Wenn Sie die Fabrik verkleinern müssten, um Platz und Strom zu sparen, könnten Sie einfach 30 % der Arbeiter in jedem Raum nach dem Zufallsprinzip entlassen? Oder gibt es ein geheimes Muster? Wissenschaftler haben gerätselt, aber sie hatten keine klare Karte darüber, welche Teile des Gehirns fragil und welche robust sind. Das Verständnis dessen ist wichtig, denn diese Modelle werden immer größer, und wenn wir die unnötigen Teile sicher „beschneiden“ (entfernen) können, können wir sie schneller auf günstigeren Computern laufen lassen, was Energie und Geld spart, ohne ihre Intelligenz zu verlieren.

---

Das große Fabrik-Audit: Wen können wir gehen lassen?

In dieser Arbeit hat ein Team von Forschern von Persistent Systems beschlossen, ein hochriskantes Spiel namens „Kabel durchschlagen“ bei einem speziellen, massiven KI-Modell namens Qwen3.6-35B-A3B zu spielen. Dieses Modell ist ein Biest: Es hat 40 Schichten (denken Sie an 40 Etagen eines Wolkenkratzer-Fabrikgebäudes), und auf jeder Etage gibt es 256 Experten. Jedes Mal, wenn das Modell ein Wort verarbeitet, wählt es die obersten 8 Experten aus, die die Arbeit erledigen.

Die Forscher wollten herausfinden: Wenn wir das Modell zwingen, die „schwächsten“ Experten zu ignorieren (diejenigen mit den kleinsten Zahlen in ihren Gehirnen) in bestimmten Schichten, stürzt das Modell dann ab oder funktioniert es weiter? Sie testeten dies an einer schwierigen Aufgabe: der Übersetzung von Code von einer Programmiersprache in eine andere (wie das Umwandeln von C++ in Python), unter Verwendung eines Benchmarks namens XLCoST.

Die Entdeckung: Es kommt darauf an, wo man schneidet

Das Team probierte das Schneiden von Experten in verschiedenen Mustern aus, wie ein Chirurg, der verschiedene Inzisionsstellen testet. Sie hatten drei Haupttheorien:

1. Die „Flache Schnitt“-Theorie: Schneide einfach 30 % der schwächsten Experten von jedem Stockwerk, überall.
2. Die „Frühe Schnitt“-Theorie: Vielleicht sind die unteren Etagen am wichtigsten?
3. Die „Späte Schnitt“-Theorie: Vielleicht wiederholen die oberen Etagen nur das, was die unteren Etagen bereits getan haben?

Die Ergebnisse waren ein totaler Schock für die „Flache Schnitt“-Idee.
Als sie den Flachen Schnitt versuchten (das Entfernen von 30 % der Experten von allen 40 Etagen), vergaß das Modell im Grunde, wie es seinen Job macht. Von 300 Coding-Rätseln löste es nur 150 korrekt (oder „Gut/Ähnlich“). Es begann zu halluzinieren, ließ seine internen Denkprozesse in den fertigen Code einfließen und machte Syntaxfehler. Es war, als würde man 30 % des Personals im Fundament, in den mittleren Büros und im Dachgeschoss gleichzeitig entlassen – das ganze Gebäude begann zu wackeln.

Aber dann fanden sie die „Magische Zone“.
Die Forscher entdeckten, dass sich die Sensibilität des Modells drastisch ändert, je nachdem, auf welcher Etage man sich befindet:

• Etagen 0–9 (Das Fundament): Diese sind super fragil. Wenn man hier Experten schneidet, bricht das Modell sofort zusammen.
• Etagen 10–29 (Die Mitte): Ebenfalls sehr fragil.
• Etagen 30–39 (Das Penthouse): Diese oberen Etagen sind überraschend robust! Die Experten hier scheinen viel überlappende Arbeit zu leisten. Der „Router“ (der Manager) ist hier bereits verwirrt und wählt Experten mit sehr geringem Vertrauen aus, was bedeutet, dass die Experten gewissermaßen austauschbar sind.

Die Gewinnstrategie: Der „Top-Down“-Trim

Das Team führte ein massives Experiment mit 300 Prompts durch, um den perfekten Trimm-Zeitplan zu finden. Sie fanden heraus, dass das Modell gesund bleibt, wenn man den Schnitt nur auf den oberen Etagen konzentriert.

• Die „Late Ramp“-Strategie: Sie schnitten 35 % der Experten auf den Etagen 30–34 weg und 55 % auf den obersten Etagen (35–39).
• Das Ergebnis: Mit dieser Strategie blieben bei 300 Prompts 255 Ausgaben korrekt! Das ist viel besser als der flache Schnitt, und es wurden über 1.100 Experten entfernt.

Aber warten Sie, sie hörten dort nicht auf. Sie wollten sichergehen, dass dies kein glücklicher Zufall war, also testeten sie ihre besten Ideen an einem neuen, ungesehenen Satz von 500 Prompts. Hier wurde die Geschichte noch interessanter.

Beim größeren Test war der „Late Ramp“ immer noch gut, aber eine engere Strategie gewann den Preis:

• Die „Nur ganz spät“-Strategie: Sie griffen nur die obersten 5 Etagen (35–39) an und schnitten 50 % der Experten dort weg.
• Das Ergebnis: Dieser winzige, chirurgische Schlag hielt 419 von 500 Ausgaben perfekt aufrecht! Noch besser: Es wurden insgesamt nur 640 Experten entfernt (von insgesamt 10.240 Experten im gesamten Modell).

Das bedeutet, die Forscher haben einen Weg gefunden, einen signifikanten Teil der „Muskulatur“ des Modells ganz oben zu entfernen, und das Modell merkt es kaum. Es ist, als würde man erkennen, dass die obersten fünf Etagen eines Wolkenkratzers hauptsächlich dekorative Balkone sind; man kann die Hälfte des Geländers entfernen, und das Gebäude steht trotzdem noch genauso hoch.

Eine Nebenmission: Das „Denken“ vs. „Antworten“-Rätsel

Das Team versuchte auch herauszufinden, ob das Modell unterschiedliche Experten verwendet, wenn es „denkt“ (ein Problem durchdringt) versus wenn es „antwortet“ (den fertigen Code schreibt). Sie betrachteten eine etwas ältere Version des Modells (Qwen3.5), um zu sehen, ob sie einen Unterschied feststellen konnten.
Sie fanden heraus, dass das Modell während der „Denkphase“ eine breite, chaotische Menge an Experten nutzt. Aber wenn es Zeit ist zu „antworten“, wird es fokussierter und nutzt weniger Experten. Dies deutet darauf hin, dass wir, wenn wir das Modell in Zukunft beschneiden wollen, vorsichtig sein müssen, nicht die „Denk-Experten“ zu schneiden, selbst wenn sie auf dem Papier schwach aussehen. Die Autoren betonen jedoch vorsichtig, dass dies nur ein Hinweis für die Zukunft ist, noch keine bewiesene Regel.

Was ist mit der Geschwindigkeit?

Sie probierten auch einen anderen Trick aus: Anstatt Experten zu schneiden, sagten sie dem Modell, es solle für jedes Wort nur 6 Experten statt der üblichen 8 auswählen. Bei einem kleinen Test mit 100 Prompts machte dies das Modell viel schneller (weniger „Wall-Clock-Time“), ohne die Qualität zu verlieren. Aber als sie versuchten, diese Beschleunigung mit dem aggressiven Experten-Schneiden zu kombinieren, wurde das Modell verwirrt. Es scheint, dass man diese Abkürzungen nicht einfach übereinanderstapeln kann, ohne sie sorgfältig zu testen.

Das Faz