MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation
MAPLE ist ein Plug-and-Play-Framework, das die Effizienz vortrainierter Mixture-of-Experts-Modelle (MoE) optimiert, indem es Expertenbudgets analytisch und genetisch heterogen über Schichten basierend auf der Sensitivität neu zuweist, wodurch eine überlegene Genauigkeit und signifikante Latenzreduzierungen ohne die Notwendigkeit von Gewichtsmodifikationen oder Retraining erreicht wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne künstliche Intelligenz stützt sich oft auf massive digitale Gehirne, die als Transformer bezeichnet werden und Sprache verarbeiten, indem sie Informationen durch eine lange Kette von Schichten leiten. Man kann sich diese Schichten als eine Reihe von Verarbeitungsstationen vorstellen, in denen das Modell lernt, Kontext, Grammatik und Bedeutung zu verstehen. In den letzten Jahren haben Ingenieure diese Modelle effizienter gemacht, indem sie ein Design namens Mixture-of-Experts verwendeten. Anstatt dass jede Station die gleiche Menge an Rechenleistung nutzt, aktiviert das Modell nur wenige spezialisierte Sub-Netzwerke oder „Experten“ für jedes Stück Text, das es liest. Dies ermöglicht es dem System, sehr groß und leistungsfähig zu sein, ohne dassfür den Betrieb unmöglich hohe Mengen an Energie erforderlich sind. Es galt jedoch eine Standardregel, wie diese Experten verwendet wurden: Jede einzelne Schicht in der Kette wurde gezwungen, exakt dieselbe Anzahl an Experten zu aktivieren, unabhängig davon, ob diese Schicht tatsächlich so viel Hilfe benötigt.
Ein Forscherteam der University of Bristol hat diese einheitliche Regel infrage gestellt und vorgeschlagen, dass verschiedene Schichten eines KI-Modells sehr unterschiedliche Bedürfnisse haben. Einige Schichten sind hochsensibel und erfordern viele Experten, um korrekt zu funktionieren, während andere redundant sind und mit weit weniger Experten arbeiten können, ohne an Genauigkeit zu verlieren. Sie entwickelten eine neue Methode namens MAPLE, die als Plug-and-Play-Werkzeug fungiert. Das bedeutet, dass sie auf bestehende, vortrainierte Modelle angewendet werden kann, ohne dass diese neu trainiert oder ihre internen Gewichte verändert werden müssen. Das System funktioniert, indem es zuerst testet, wie stark die Leistung jeder Schicht sinkt, wenn man die Anzahl der verwendeten Experten reduziert. Es nutzt diese Messungen dann, um eine maßgeschneiderte Karte zu erstellen, die das Rechenbudget von den Schichten weg verschiebt, die es entbehren können, und diese Ressourcen direkt zu den Schichten lenkt, die sie am dringendsten benötigen.
Die Ergebnisse dieses Ansatzes sind beeindruckend. Als die Forscher MAPLE an vier verschiedenen großen Sprachmodellen testeten, stellten sie fest, dass die bloße Umverteilung der vorhandenen Ressourcen effektiver war, als diese gleichmäßig zu verwenden. In einem spezifischen Test mit einem Modell namens DeepSeek-MoE-16B gelang es der neuen Methode, das ursprüngliche, voll ausgelastete Modell zu übertreffen, obwohl sie nur 75 % der verfügbaren Experten nutzte. Bei mehreren Benchmarks für logisches Denken verbesserte sich die Genauigkeit signifikant; so sprang beispielsweise bei einer Aufgabe zur Beantwortung wissenschaftlicher Fragen der Wert von 65,09 auf 71,40, und bei einem Test für logisches Schlussfolgern stieg er von 48,49 auf 51,50. Dies zeigt, dass die alte Annahme der Gleichförmigkeit die Modelle zurückhielt und dass eine intelligentere, ungleichmäßige Verteilung der Anstrengung bessere Ergebnisse liefert.
Über das Bekommen klügerer Antworten hinaus macht diese Methode die Modelle auch schneller und kostengünstiger im Betrieb. Da weniger Experten aktiviert werden, hat der Computer weniger Arbeit für jede Frage, die er beantwortet. Als die Forscher MAPLE in einem realen Anwendungssystem implementierten, maßen sie eine Reduktion der Zeit, die für die Generierung einer Antwort auf einer einzelnen Grafikkarte benötigt wurde, um 32,2 %. Gleichzeitig konnte das System 47,4 % mehr Anfragen pro Sekunde bearbeiten. Diese Gewinne wurden erzielt, ohne die Kernstruktur des Modells zu verändern oder dessen gelerntes Wissen zu verwerfen; das System hat lediglich gelernt, seine vorhandenen Teile effizienter zu nutzen. Die Forscher bestätigten, dass diese Verbesserung kein Zufall eines spezifischen Tests war, sondern ein robustes Ergebnis, das sich über verschiedene Arten von Denkaufgaben hinweg sowie beim Skalieren des Modells nach oben oder unten bewährte.
Die Studie untersuchte auch, wie diese Methode mit der komplexen Aufgabe des mehrstufigen Denkens umgeht, bei dem das Modell eine lange Kette von Gedanken generieren muss, um ein Problem zu lösen. Selbst in diesen anspruchsvollen Szenarien behielt das umverteilte Modell seine Genauigkeit bei, während es die gesamte benötigte Zeit zur Lösung der Probleme in einigen Fällen um mehr als die Hälfte reduzierte. Die Forscher zeigten, dass die Methode flexibel genug ist, um mit verschiedenen Modellen zu arbeiten, und dass der erstellte Zuweisungsplan für verschiedene Aufgaben wiederverwendet werden kann, ohne jedes Mal neu berechnet werden zu müssen. Indem sie bewiesen, dass ein Einheitsansatz suboptimal ist, bietet diese Arbeit einen praktischen und fundierten Weg, um große Systeme der künstlichen Intelligenz effizienter, leistungsfähiger und bereit für den realen Einsatz zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.