HetRoute Heterogeneous and Cost-aware Collaborative Routing Framework for Distributed Edge MoE Inference

Stel je voor dat je probeert een gigantische, complexe puzzel op te lossen, maar de stukjes liggen verspreid over de verschillende huizen in een buurt. Sommige huizen hebben supercomputers, andere zijn traag, en sommige huizen zijn verbonden door razendsnelle glasvezelkabels terwijl andere verbonden zijn door hobbelige, trage zandwegen. In de wereld van kunstmatige intelligentie is dit precies wat er gebeurt wanneer we enorme "Mixture-of-Experts" (MoE) modellen proberen te draaien. Dit zijn enorme AI-hersenen die niet elk deel van zichzelf gebruiken voor elke vraag; in plaats daarvan worden er slechts een paar specifieke "expert"-delen wakker om een probleem op te lossen. De uitdaging is om uit te vogelen welke experts wakker gemaakt moeten worden en waar de vraag naartoe gestuurd moet worden zodat het antwoord snel terugkomt, zonder dat je vastloopt in de file of nauwkeurigheid verliest. Als we de vraag gewoon naar het dichtstbijzijnde huis sturen, kan dat traag zijn omdat de computer in dat huis moe is of de harde schijf vol zit. Als we het naar een ver weg gelegen huis sturen, kan het vast komen te zitten in een file op een trage weg. Wetenschappers proberen al een tijdje een perfecte manier te vinden om deze vragen te routeren, maar de meeste eerdere methoden waren als verkeersregelaars die alleen naar één auto tegelijk keken of alleen gaven om hoe dicht een huisbij was, waarbij ze de snelheid van de weg of de conditie van de computer binnenin negeerden.

Dit artikel introduceert een nieuw, slimmer systeem genaamd HetRoute. Denk aan HetRoute als een supergeorganiseerde bezorgdienst die niet alleen naar één huis of één weg kij. Kijk in plaats daarvan naar de volledige route voor een enkel puzzelstukje tegelijk. Het houdt rekening met alles: hoe snel de wegen tussen de huizen zijn, hoe krachtig de computers binnenin zijn, of de computer momenteel druk is (zoals een rij mensen die staat te wachten) en zelfs of de computer een "gecomprimeerde" versie van het puzzelstukje gebruikt om ruimte te besparen (wat de antwoorden er iets minder perfect uit kan laten zien). HetRoute maakt een verenigd plan voor de hele groep experts die nodig is voor een enkele vraag, in plaats van voor elke expert afzonderlijk een "greedy" (hebzuchtige) beslissing te nemen. Door dit te doen, heeft het ontdekt dat het AI-antwoorden tot wel 59,0% sneller kan laten arriveren en de slechtste vertragingen met 58,0% kan verminderen. Het vermindert ook de hoeveelheid data die tussen huizen reist met 72,1%, terwijl de kwaliteit van de antwoorden bijna net zo goed blijft als die van de originele, ongecomprimeerde versie.

Het Probleem: De "Slimme" AI die de weg kwijtraakt

Om te begrijpen waarom HetRoute een grote zaak is, moeten we eerst begrijpen wat het "Mixture-of-Experts" (MoE) model is. Stel je een enorme bibliotheek voor waar elk boek een "expert" is op een specifiek onderwerp. Wanneer je een vraag stelt, leest de bibliotheek niet elk boek; het haalt alleen de top paar boeken ("Top-k" experts) tevoorschijn die het meest relevant zijn. Dit is efficiënt omdat je geen tijd verspilt aan het lezen van boeken over koken wanneer je een vraag stelt over wiskunde.

Echter, in de echte wereld zijn deze bibliotheken vaak verdeeld over veel verschillende servers (computers) op verschillende locaties, zoals edge-servers bij jou in de buurt. Wanneer er een vraag binnenkomt, kunnen de benodigde "Top-k" experts verspreid zijn over drie verschillende servers. De oude manier om dit af te handelen was als het vragen aan een vriend om naar drie verschillende huizen te rennen om drie verschillende boeken te halen. Als de vriend eerst naar het dichtstbijzijnde huis rent, kan hij merken dat het boek in een kelder ligt (opgeslagen op een trage CPU) en dat hij moet wachten op de sleutel. Of hij rent naar een ver weg gelegen huis dat het boek op een snelle plank heeft staan (in het snelle GPU-geheugen), maar de weg daarheen zit verstopt met verkeer.

Eerdere methoden probeerden dit op te lossen door ofwel:

1. Lokaal te blijven: Altijd proberen de experts op de dichtstbijzijnde server te gebruiken, zelfs als die server traag of druk is.
2. Greedy Selectie: De "beste" server voor elke expert individueel kiezen, zonder te beseffen dat het kiezen van de beste voor Expert A ervoor kan zorgen dat Expert B op een verschrikkelijk pad terechtkomt, waardoor de hele groep wordt vertraagd.

Het artikel betoogt dat deze oude methoden gebrekkig zijn omdat ze de experts behandelen als onafhankelijke reizigers. In werkelijkheid zijn ze een team. Als één teamlid traag is, is het hele team traag.

De Oplossing: HetRoutes "Teamkapitein"

HetRoute fungeert als een briljante teamkapitein die de hele missie plant voordat iemand ook maar de startlijn verlaat. Het gebruikt een "unified cost model" (een verenigd kostenmodel), wat een chique manier is om te zeggen dat het een enkele scorekaart heeft die vier verschillende dingen tegelijkertijd weegt:

1. Transmissiekosten: Hoe lang het duurt om de vraag via het internet naar een server te sturen.
2. Laadkosten: Hoe lang het duurt om de expert van een trage harde schijf (CPU) naar een snel geheugenbankje (GPU) te verplaatsen als het er niet al is.
3. Computatie & Wachtrijen: Hoe snel de server kan nadenken, en hoe lang de vraag moet wachten in de rij achter andere vragen.
4. Kwaliteitsstraf: Als de server een "gecomprimeerde" versie van de expert gebruikt om ruimte te besparen, hoeveel lijdt het antwoord daar dan onder?

HetRoute werkt in twee fasen: Offline en Online.

De Offline Fase (De Kaartenmaker):
Voordat er vragen worden gesteld, kijkt HetRoute naar het netwerk en beslist waar kopieën van de experts geplaatst moeten worden. Het gaat er niet alleen om ze op de dichtstbijzijnde server te plaatsen. Het vraagt: "Als we een kopie van deze expert op Server B plaatsen, bespaart dat dan later tijd?" Het beslist ook welke experts in het snelle "GPU"-geheugen moeten leven en welke in het tragere "CPU"-geheugen kunnen blijven. Cruciaal is dat het "redundante" kopieën creëert. Net zoals je een reserveband in je auto hebt, plaatst HetRoute extra kopieën van populaire experts op verschillende servers. Dit zorgt ervoor dat als een server druk of kapot is, de teamkapitein andere opties heeft.

De Online Fase (De Real-time Navigator):
Wanneer een echte vraag binnenkomt, kiest HetRoute niet zomaar de dichtstbijzijnde server. Het kijkt naar de volledige groep experts die voor die vraag nodig zijn. Het vraagt: "Als we Expert A naar Server X sturen en Expert B naar Server Y, wat is de totale tijd?" Het berekent de "bottleneck" (de flessenhals)—het traagste deel van het team. Als Server X snel is maar Server Y in een file staat, kan HetRoute besluiten om beide experts naar Server Z te sturen, zelfs als Server Z een beetje verder weg is, omdat het hele team samen sneller klaar zal zijn.

Het gebruikt een slimme truc genaamd "beam search" (zoals een zaklamp die een paar beste paden tegelijk scant) om de perfecte combinatie van servers te vinden zonder vast te lopen in een doolhof van mogelijkheden.

De Resultaten: Sneller, Slimmer en Veiliger

De auteurs hebben HetRoute getest op een gesimuleerd netwerk van 10 verschillende edge-servers met variërende snelheden en verbindingen. Ze gebruikten drie verschillende grote AI-modellen om te zien hoe het presteerde.

De resultaten waren indrukwekkend:

• Snelheid: HetRoute verminderde de gemiddelde tijd om een antwoord te krijgen met 59,0% vergeleken met de beste bestaande methoden. Het verminderde ook de "tail latency" (de slechtste vertragingen die optreden wanneer er dingen misgaan) met 58,0%.
• Verkeer: Het verminderde de hoeveelheid data die tussen servers reist met 72,1%. Dit is enorm, omdat het versturen van data over het internet traag en duur is.
• Doorvoersnelheid: Het systeem kon 2,13 keer meer vragen per seconde verwerken dan de andere methoden.
• Kwaliteit: Ondanks dat het sneller was, bleef de kwaliteit van de antwoorden zeer hoog. De "kwaliteitsdegradatie" (hoeveel het antwoord slechter werd) werd binnen een piepkleine, vooraf ingestelde marge van 2% gehouden.

Het artikel bewees ook wiskundig dat hun systeem "kwaliteitsveilig" is. Zelfs als het netwerk extreem druk wordt en de normale snelle paden geblokkeerd zijn, heeft HetRoute een "fallback"-plan. Het zal de vraag altijd routeren naar een "full-precision" expert (de hoogwaardigste versie) die gegarandeerd ergens bestaat, wat ervoor zorgt dat het antwoord nooit slecht is, ook al duurt het iets langer.

Waarom dit ertoe doet

Dit artikel laat zien dat we niet hoeven te kiezen tussen snelheid en kwaliteit, of tussen lokale en remote computing. Door de AI-experts te behandelen als een gecoördineerd team in plaats van individuele hardlopers, en door het hele traject te plannen op basis van real-time verkeer en de gezondheid van de computers, kunnen we krachtige AI soepel laten draaien, zelfs aan de "rand" van het netwerk (zoals op je telefoon of een lokale server). HetRoute suggereert dat de toekomst van AI niet alleen gaat over het bouwen van grotere modellen, maar over het slimmer verplaatsen ervan. Het verandert een chaotisch, filevormend netwerk in een goed geoliede machine waar elke expert precies weet waar hij heen moet om de klus zo snel mogelijk te klaren.