HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference

Stellen Sie sich vor, Sie versuchen, ein riesiges, komplexes Puzzle zu lösen, aber die Teile sind über eine Nachbarschaft mit verschiedenen Häusern verstreut. Einige Häuser haben super-schnelle Computer, andere haben langsame, und einige Häuser sind durch blitzschnelle Glasfaserleitungen verbunden, während andere durch holprige, langsame Schotterstraßen miteinander verbunden sind. In der Welt der künstlichen Intelligenz passiert genau das, wenn wir massive „Mixture-of-Experts“ (MoE)-Modelle ausführen. Dies sind riesige KI-Gehirne, die nicht jeden einzelnen Teil von sich selbst für jede Frage nutzen, sondern statie der Reihe nach nur einige spezifische „Experten“-Teile aktivieren, um ein Problem zu lösen. Die Herausforderung besteht darin, herauszufinden, welche Experten man aktivieren und wohin man die Frage senden soll, damit die Antwort schnell zurückkommt, ohne im Stau zu stehen oder an Genauigkeit zu verlieren. Wenn wir die Frage einfach an das nächste Haus senden, könnte es langsam sein, weil der Computer in diesem Haus müde ist oder seine Festplatte voll ist. Wenn wir sie weit weg senden, könnte sie im Verkehrsstau auf einer langsamen Straße stecken bleiben. Wissenschaftler versuchen schon lange, den perfekten Weg zu finden, um diese Fragen zu routen, aber die meisten bisherigen Methoden waren wie Verkehrspolizisten, die nur ein Auto nach dem anderen betrachteten oder nur darauf achteten, wie nah ein Haus war, während sie die Geschwindigkeit der Straße oder den Zustand des Computers im Inneren ignorierten.

Dieses Paper stellt ein neues, intelligenteres System namens HetRoute vor. Stellen Sie sich HetRoute wie einen super-organisierten Lieferdienst vor, der nicht nur nach einem einzelnen Haus oder einer einzelnen Straße schaut. Stattdessen betrachtet er die gesamte Lieferroute für ein einzelnes Puzzleteil auf einmal. Er berücksichtigt alles: wie schnell die Straßen zwischen den Häusern sind, wie leistungsstark die Computer in den Häusern sind, ob der Computer gerade beschäftigt ist (wie eine Menschenschlange, die wartet) und sogar, ob der Computer eine „komprimierte“ Version des Puzzleteils verwendet (was dazu führen kann, dass die Antwort etwas weniger perfekt ist, um Platz zu sparen). HetRoute erstellt einen einheitlichen Plan für die gesamte Gruppe der Experten, die für eine einzige Frage benötigt werden, anstatt für jeden Experten eine separate, gierige Entscheidung zu treffen. Durch dies gelang es ihm, dass die Antworten der KI im Durchschnitt bis zu 59,0 % schneller eintreffen und die extremsten Verzögerungen um 58,0 % reduziert werden. Es senkt zudem die Menge der Daten, die zwischen den Häusern reisen, um 72,1 %, während die Qualität der Antworten fast so gut bleibt wie die der ursprünglichen, unkomprimierten Version.

Das Problem: Die „schlaue“ KI, die sich verirrt

Um zu verstehen, warum HetRoute eine große Sache ist, müssen wir zuerst das „Mixture-of-Experts“ (MoE)-Modell verstehen. Stellen Sie sich eine riesige Bibliothek vor, in der jedes Buch ein „Experte“ für ein bestimmtes Thema ist. Wenn Sie eine Frage stellen, liest die Bibliothek nicht jedes einzelne Buch; sie zieht nur die obersten paar Bücher (die „Top-k“-Experten) heraus, die am relevantesten sind. Das ist effizient, weil man keine Zeit damit verschwendet, Bücher über Kochen zu lesen, wenn man eigentlich nach Mathematik fragt.

In der realen Welt sind diese Bibliotheken jedoch oft auf viele verschiedene Server (Computer) verteilt, die an verschiedenen Orten liegen, wie zum Beispiel an Edge-Servern in Ihrer Nähe. Wenn eine Frage eingeht, könnten die benötigten „Top-k“-Experten über drei verschiedene Server verstreut sein. Die alte Art, dies zu handhaben, war so, als würde man einen Freund bitten, zu drei verschiedenen Häusern zu laufen, um drei verschiedene Bücher zu holen. Wenn der Freund zuerst zum nächsten Haus läuft, stellt er vielleicht fest, dass das Buch in einem Keller gesperrt ist (auf einer langsamen CPU gespeichert) und er auf den Schlüssel warten muss. Oder er läuft zu einem weit entfernten Haus, das das Buch in einem Hochgeschwindigkeitsregal hat (im schnellen GPU-Speicher), aber der Weg dorthin ist durch einen Verkehrsstau blockiert.

Frühere Methoden versuchten, dies zu lösen, indem sie entweder:

1. Lokal blieben: Immer versuchten, die Experten auf dem nächstgelegenen Server zu nutzen, selbst wenn dieser Server langsam oder beschäftigt war.
2. Gierige Auswahl trafen: Den „besten“ Server für jeden Experten einzeln auswählten, ohne zu realisieren, dass die Wahl des besten Servers für Experte A dazu führen könnte, dass Experte B auf einen schrecklichen Pfad gezwungen wird, was die gesamte Gruppe verlangsamt.

Das Paper argumentiert, dass diese alten Methoden fehlerhaft sind, weil sie die Experten als unabhängige Reisende behandeln. In Wirklichkeit sind sie ein Team. Wenn ein Teammitglied langsam ist, ist das ganze Team langsam.

Die Lösung: HetRoutes „Teamkapitän“

HetRoute fungt wie ein brillanter Teamkapitän, der die gesamte Mission plant, bevor überhaupt jemand die Startlinie überquert. Es nutzt ein „einheitliches Kostenmodell“, was eine schicke Art zu sagen ist, dass es eine einzige Bewertungstabelle besitzt, die vier verschiedene Dinge gleichzeitig gewichtet:

1. Übertragungskosten: Wie lange es dauert, die Frage über das Internet an einen Server zu senden.
2. Ladekosten: Wie lange es dauert, den Experten von einer langsamen Festplatte (CPU) in einen schnellen Speicherbank (GPU) zu bewegen, falls er nicht bereits dort ist.
3. Berechnung & Warteschlange: Wie schnell der Server denken kann und wie lange die Frage hinter anderen Fragen in der Schlange warten muss.
4. Qualitätsstrafe: Wenn der Server eine „komprimierte“ Version des Experten verwendet, um Platz zu sparen, wie sehr leidet die Antwort darunter?

HetRoute arbeitet in zwei Phasen: Offline und Online.

Die Offline-Phase (Der Kartenzeichner):
Bevor überhaupt Fragen gestellt werden, schaut sich HetRoute das Netzwerk an und entscheidet, wo Kopien der Experten platziert werden sollen. Es geht nicht nur darum, sie auf den nächstgelegenen Server zu legen. Es fragt: „Wenn wir eine Kopie dieses Experten auf Server B platzieren, spart das später Zeit?“ Es entscheidet auch, welche Experten im schnellen „GPU“-Speicher leben sollten und welche in dem langsameren „CPU“-Speicher bleiben können. Entscheidend ist, dass es „redundante“ Kopien erstellt. Genau wie man einen Ersatzreifen in seinem Auto hat, platziert HetRoute zusätzliche Kopien populärer Experten auf verschiedenen Servern. Dies stellt sicher, dass, falls ein Server beschäftigt oder defekt ist, der Teamkapitän andere Optionen hat.

Die Online-Phase (Der Echtzeit-Navigator):
Wenn eine echte Frage eintrifft, wählt HetRoute nicht einfach den nächsten Server. Es betrachtet die gesamte Gruppe der Experten, die für diese Frage benötigt werden. Es fragt: „Wenn wir Experte A zu Server X und Experte B zu Server Y senden, wie hoch ist die Gesamtzeit?“ Es berechnet den „Flaschenhals“ – den langsamsten Teil des Teams. Wenn Server X zwar schnell ist, aber Server Y in einem Verkehrsstau steckt, könnte HetRoute entscheiden, beide Experten zu Server Z zu senden, selbst wenn Server Z etwas weiter entfernt ist, weil das gesamte Team gemeinsam schneller fertig wird.

Es nutzt einen cleveren Trick namens „Beam Search“ (wie eine Taschenlampe, die gleichzeitig einige der besten Pfade scannt), um die perfekte Kombination von Servern zu finden, ohne in einem Labyrinth von Möglichkeiten stecken zu bleiben.

Die Ergebnisse: Schneller, intelligenter und sicherer

Die Autoren testeten HetRoute in einem simulierten Netzwerk aus 10 verschiedenen Edge-Servern mit unterschiedlichen Geschwindigkeiten und Verbindungen. Sie verwendeten drei verschiedene große KI-Modelle, um die Leistung zu testen.

Die Ergebnisse waren beeindruckend:

• Geschwindigkeit: HetRoute reduzierte die durchschnittliche Zeit bis zum Erhalt einer Antwort im Vergleich zu den besten bestehenden Methoden um 59,0 %. Es senkte auch die „Tail Latency“ (die extremen Verzögerungen, die auftreten, wenn etwas schiefgeht) um 58,0 %.
• Verkehr: Es reduzierte die Menge der zwischen den Servern wandernden Daten um 72,1 %. Das ist enorm wichtig, da das Senden von Daten über das Internet langsam und teuer ist.
• Durchsatz: Das System konnte 2,13 Mal mehr Fragen pro Sekunde bearbeiten als die anderen Methoden.
• Qualität: Trotz der höheren Geschwindigkeit blieb die Qualität der Antworten sehr hoch. Die „Qualitätsverschlechterung“ (wie sehr die Antwort schlechter wurde) wurde innerhalb eines winzigen, vordefinierten Budgets von 2 % gehalten.

Das Paper bewies auch mathematisch, dass ihr System „qualitätssicher“ ist. Selbst wenn das Netzwerk extrem beschäftigt ist und die normalen schnellen Pfade blockiert sind, hat HetRoute einen „Fallback“-Plan. Es wird die Frage immer zu einem „Full-Precision“-Experten (der qualitativ hochwertigsten Version) routen, der garantiert irgendwo existiert, um sicherzustellen, dass die Antwort niemals schlecht ist, auch wenn sie etwas länger dauert.

Warum das wichtig ist

Dieses Paper zeigt, dass wir uns nicht zwischen Geschwindigkeit und Qualität oder zwischen lokaler und entfernter Berechnung entscheiden müssen. Indem wir die KI-Experten als koordiniertes Team statt als einzelne Läufer behandeln und die gesamte Route basierend auf Echtzeit-Verkehr und dem Gesundheitszustand der Computer planen, können wir leistungsstarke KI selbst an der „Edge“ des Netzwerks (wie auf Ihrem Telefon oder einem lokalen Server) reibungslos laufen lassen. HetRoute legt nahe, dass die Zukunft der KI nicht nur darin besteht, größere Modelle zu bauen, sondern darin, intelligenter damit umzugehen, wie wir sie bewegen. Es verwandelt ein chaotisches, verstopftes Netzwerk in eine gut geölte Maschine, in der jeder Experte genau weiß, wohin er gehen muss, um die Aufgabe am schnellsten zu erledigen.