Predatory MoE: Serving Mixture-of-Experts with a Sequence-Local Expert Roster
Dieses Paper schlägt eine sequenzlokale Expert-Roster-Strategie vor, die eine kleine Menge an Experten pro Sequenz festlegt, um den Speicherbedarf und die Expertentransfers während der Serving-Phase von MoE-Modellen drastisch zu reduzieren, wobei durch die konsistente Anwendung dieser Einschränkung sowohl während des Trainings als auch während der Inferenz ein Durchsatz nahe der Vollresident-Kapazität mit signifikant weniger residenten Gewichten erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne Systeme der künstlichen Intelligenz, die Texte generieren, basieren oft auf einem Design namens „Mixture of Experts“ (Mischung von Experten). Stellen Sie sich eine riesige Bibliothek spezialisierter Wissensarbeiter vor, bei denen jeder Arbeiter ein Experte in einem spezifischen, engen Thema ist. Wenn das System eine Frage beantworten muss, aktiviert es nicht alle Experten gleichzeitig. Stattdessen wählt es nur eine winzige Handvoll der relevantesten Experten für diesen speziellen Moment aus. Dieser Ansatz ermöglicht es dem System, unglaublich groß und leistungsfähig zu sein, während es für jedes erzeugte Wort vergleichsweise wenig Rechenleistung benötigt. Es gibt jedoch einen erheblichen Engpass bei der Ausführung dieser Systeme auf Standardcomputern. Obwohl in jedem Moment nur wenige Experten verwendet werden, muss der Speicher des Computers die gesamte Bibliothek der Experten bereithalten, da das System im Voraus nicht weiß, welche als Nächstes benötigt werden. Diese Anforderung erzwingt, dass die gesamte Speichergröße der Größe der gesamten Bibliothek entsprechen muss, statt nur der Größe der kleinen Gruppe, die gerade verwendet wird, was es schwierig macht, diese leistungsstarken Modelle auf Geräten mit begrenztem Speicher zu betreiben.
Forscher haben versucht, dies zu lösen, indem sie die ungenutzten Experten auf einer Festplatte speichern und sie erst laden, wenn sie benötigt werden. Dies schafft jedoch ein neues Problem: Da das System die Experten auf eine verstreute, unvorhersehbare Weise auswählt, muss es ständig neue Experten abrufen, was den Prozess verlangsamt. Ein Team unter der Leitung des unabhängigen Forschers ChaeWoo Son stellte eine andere Frage: Anstatt zu versuchen, den Computer schneller im Abrufen verstreuter Experten zu machen, könnten sie das System so ändern, dass es für die Dauer eines einzelnen Gesprächs natürlich bei einer kleinen, konsistenten Gruppe von Experten bleibt? Sie wollten sehen, ob sie das System so trainieren könnten, dass es „sequenzlokal“ wird, was bedeutet, dass sobald ein Gespräch beginnt, dass dasselbe kleine Expertenteam den gesamten Thread bearbeitet, wodurch der Computer dieses Team für die Dauer halten kann.
Die Forscher versuchten zuerst, dem System dieses Verhalten direkt beizubringen. Sie versuchten, das Modell darauf zu trainieren, jene Experten zu bevorzugen, die es bereits im aktuellen Gespräch verwendet hatte, in der Hoffnung, dass diese Gewohnheit ein fester Bestandteil der Intelligenz des Systems werden würde. Sie fanden heraus, dass dieser Trick zwar während des Trainings funktionierte, das Verhalten sich jedoch nicht festigte. Sobald der Trainingsdruck nachließ, kehrte das System zu seinen alten, verstreuten Gewohnheiten zurück. Selbst als sie versuchten, das Verhalten zu verstärken, indem sie das System aus seinen eigenen voreingenommenen Entscheidungen lernen ließen, wurde der Prozess instabil und die Qualität des Textes litt darunter. Die Studie kam zu dem Schluss, dass das System nicht eine neue Fähigkeit lernte, sondern lediglich auf eine temporäre Regel reagierte. Die Forscher erkannten, dass der Versuch, das System dazu zu bringen, dieses Verhalten zu verinnerlichen, der falsche Ansatz war.
Anstatt zu versuchen, das Gehirn des Systems zu ändern, beschlossen die Forscher, die Regeln des Spiels zu ändern. Sie setzten eine strikte, permanente Regel durch, die sowohl während des Trainings als auch bei der tatsächlichen Nutzung des Systems galt. Unter dieser neuen Regel wird jedem Gespräch basierend auf den ersten Worten des Textes ein kleines, festes Expertenteam zugewiesen. Sobald dieses Team ausgewählt wurde, darf das System für den Rest dieses Gesprächs zu niemand anderem wechseln. Diese Regel fungiert wie ein Budget: Der Computer muss nur dieses spezifische kleine Team in seinem schnellen Speicher halten, während der Rest der Bibliothek auf dem langsameren Speichermedium verbleiben kann. Da das Team für das gesamte Gespräch feststeht, muss der Computer nicht ständig Experten ein- und auswechseln.
Die Ergebnisse dieses Ansatzes waren beeindruckend. Als die Forscher diese Regel auf ein Testmodell anwandten und ihm eine kurze Phase des erneuten Trainings gaben, um es an die neuen Einschränkungen anzupassen, performte das System fast so gut wie ohne die Regel, jedoch mit einer massiven Reduktion des Speicherbedarfs. In ihren Tests konnten sie nur ein Viertel der gesamten Experten im Speicher halten und dennoch nahezu die gleiche Geschwindigkeit erreichen, als hätten sie alle Experten vorgehalten. Das System reduzierte die Anzahl der Male, in denen es Daten vom langsamen Speichermedium abrufen musste, um den Faktor zweiunddreißig im Vergleich zur alten Methode. Während die Textqualität leicht sank – um etwa fünf Prozent im extremsten Speicherersparnis-Szenario –, ermöglichte dieser Kompromiss es, das Modell auf viel kleinerer, zugänglicherer Hardware laufen zu lassen.
Die Studie lieferte auch eine unerwartete Erkenntnis darüber, wie diese Systeme lernen. Die Forscher fanden heraus, dass es für ein Modell umso schwieriger wird, später in dieses effiziente Muster gezwungen zu werden, je länger es ohne diese Speicherbeschränkungen trainiert wurde. Die natürliche Tendenz des Systems, seine Aufmerksamkeit zu verstreuen, scheint mit der Zeit stärker zu werden, was es teurer macht, es nachträglich an Speicherlimits anzupassen. Dies deutet darauf hin, dass wir, wenn wir wollen, dass diese Modelle auf Alltagsgeräten effizient laufen, sie von Anfang an effizient lehren müssen, anstatt zu versuchen, das Problem zu lösen, nachdem sie bereits gelernt haben, unstrukturiert zu agieren.
Diese Arbeit beansprucht nicht, das Problem für jede erdenkliche Situation gelöst zu haben, und die Forscher merkten vorsichtig an, dass ihre Tests mit synthetischen Daten und kleineren Modellen durchgeführt wurden. Sie beobachteten, dass, falls ein Gespräch mitten im Verlauf abrupt das Thema wechselt, das feste Expertenteam Schwierigkeiten haben könnte, wenngleich ihre Tests zeigten, dass das System selbst bei einem Themenwechsel mit einem geringen Qualitätsverlust adaptieren konnte. Die Studie dient als Beweis für das Konzept, dass wir, indem wir die Speicherbeschränkung als eine Regel statt als ein Lernziel behandeln, diese massiven Modelle viel praktikabler machen können. Sie verlagert den Fokus von der Entwicklung schnellerer Hardware hin zum Design klügerer Regeln für die Nutzung der Ressourcen des Systems, was die Tür für leistungsstarke künstliche Intelligenz auf Geräten öffnet, die derzeit zu klein sind, um sie zu beherbergen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.