OrderMoE: An expert similarity driven distributed edge MoE inference
OrderMoE is een nieuw framework dat gedistribueerde edge MoE-inferentie versnelt door gebruik te maken van expert-gelijkenis om lokale substitutie voor remote experts mogelijk te maken, waardoor de latentie en communicatieoverhead aanzienlijk worden verminderd terwijl de inferentiekwaliteit controleerbaar blijft.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorme, bruisende stad waar superintelligente computers (Large Language Models genoemd) wonen. Deze computers zijn als briljante bibliothecarissen die elke vraag kunnen beantwoorden, verhalen kunnen schrijven of wiskundige problemen kunnen oplossen. Echter, deze bibliothecarissen zijn zo groot en zwaar dat ze niet in je telefoon of de computer van je lokale koffiebar passen. Meestal moet je telefoon een vraag door de stad naar een enorme datacenter schreeuwen om een antwoord te krijgen, wachten tot de reusachtige bibliothecaris heeft nagedacht, en dan wachten tot het antwoord teruggeschreeuwd wordt. Dit kost tijd en verbruikt veel van de "wegruimte" (bandbreedte) van de stad.
Om dit sneller te maken, hebben wetenschappers een nieuw soort bibliothecaris uitgevonden, genaamd een "Mixture of Experts" (MoE). In plaats van één gigantisch brein, is deze bibliothecaris eigenlijk een team van veel kleinere specialisten. Wanneer je een vraag stelt, kiest een slimme manager (een router) snel de twee of drie specialisten die nodig zijn voor die specifieke taak en negeert de rest. Dit maakt de bibliothecaris veel sneller en lichter. Maar hier komt het lastige deel bij: in een gedistribueerd edge-systeem zijn deze specialisten verspreid over verschillende lokale servers (zoals verschillende koffiebars of buurtknooppunten) in plaats van in één groot gebouw. Als de router een specialist kiest die in een koffiebar drie steden verderop werkt, moet je telefoon de vraag helemaal daarheen sturen en wachten op het antwoord, wat net zo lang kan duren als het praten met de gigantische datacenter in de stad.
Dit is waar een nieuwe studie genaamd OrderMoE om de hoek komt kijken. De onderzoekers, die werkten met een echt testbed van acht fysieke servers, stelden een eenvoudige maar slimme vraag: Wat als, in plaats van de vraag altijd naar de exacte specialist te sturen die de router koos, we een andere specialist zouden gebruiken die vlakbij is en bijna hetzelfde werk doet?
Het artikel suggereert dat veel van deze specialisten, ook al hebben ze verschillende namen, eigenlijk op een zeer vergelijkbare manier denken. De auteurs ontdekten dat ze, door te meten hoe vergelijkbaar hun "denkpatronen" zijn (met behulp van iets dat router-induced logits wordt genoemd), deze specialisten in families konden groeperen. Als de router een specialist kiest die ver weg is, controleert OrderMoE of er een "neef"-specialist in de buurt is die vergelijkbaar genoeg is om het werk te doen. Als dat het geval is, wordt de vraag lokaal afgehandeld, wat de lange, trage reis door de stad bespaart.
De onderzoekers wisten echter dat dit een delicaat evenwicht was. Het gebruiken van een neef in plaats van de exacte specialist kan tijd besparen, maar het kan ook betekenen dat het antwoord niet precies zo perfect is. Om dit op te lossen, bouwden ze een slimme verkeersregelaar die voor elke vraag beslist of het veilig is om een lokale neef te gebruiken of dat het de moeite waard is om te wachten tot de exacte specialist in de verte de vraag krijgt. Deze regelaar kijkt ook vooruit, denkend aan waar de volgende vraag naartoe moet gaan, zodat hij niet per ongelig een vraag naar een server stuurt die een slechte plek zal zijn voor de volgende stap.
Toen ze OrderMoE testten op een echt netwerk van acht servers met verschillende snelheden en geheugengroottes, waren de resultaten indrukwekkend. Het systeem slaagde erin om de gemiddelde wachttijd (latentie) met ongeveer 40% tot 51% te verminderen vergeleken met andere methoden, en het verminderde de hoeveelheid data die tussen servers reisde met een enorme marge. Misschien wel het belangrijkste: de kwaliteit van de antwoorden daalde nauwelijks, slechts een klein, bijna onmerkbaar beetje. De studie laat zien dat door lokale servers toe te staan om vergelijkbare experts in te wisselen, we AI veel sneller en responsiever kunnen maken zonder de noodzaak om grotere, duurdere datacenters te bouwen. Het is een beetje alsof je beseft dat je niet naar de volgende stad hoeft te rijden voor een specifiek soort broodje; de plek om de hoek heeft een heel vergelijkbaar broodje en het staat binnen enkele seconden klaar.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.