Dense vs Sparse Pretraining at Tiny Scale: Active-Parameter vs Total-Parameter Matching
In einem Pretraining-Regime mit kleinem Maßstab unter 25 Millionen Parametern übertreffen Mixture-of-Experts-Modelle dichte Basismodelle, wenn sie nach aktiven Parametern abgeglichen werden, versagen jedoch darin, diese zu übertreffen, wenn sie nach der gesamten Parameterkapazität abgeglichen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem kleinen Roboter beizubringen, Geschichten zu erzählen. Sie haben eine begrenzte Menge an „Gehirnkraft" (Rechenressourcen), die Sie für dieses Projekt ausgeben können. Die Arbeit stellt eine einfache Frage: Ist es besser, dem Roboter ein einziges großes, leistungsfähiges Gehirn zu geben oder eine Sammlung kleinerer, spezialisierter Gehirne, zwischen denen er wechseln kann?
Dies ist der Unterschied zwischen einem Dichten Modell (ein großes Gehirn) und einem Mixture-of-Experts (MoE)-Modell (viele kleine Experten).
Hier ist das, was der Forscher Abdalrahman Wael herausfand, indem er diese Experimente auf einem einzigen Computerchip mit einem winzigen Datensatz namens „TinyStories" durchführte.
Die zwei Arten, „fair" zu vergleichen
Der knifflige Teil besteht darin zu entscheiden, was „fair" bedeutet, wenn man diese beiden Arten von Gehirnen vergleicht. Die Arbeit testet zwei verschiedene Definitionen von Fairness, wie zwei verschiedene Arten, ein Rennen zu bewerten:
1. Der „Aktive" Match (Die „Was Sie nutzen"-Regel)
Stellen Sie sich ein Team von 4 Köchen vor (das MoE-Modell). Für jedes Gericht, das sie kochen, lassen sie nur 2 Köche tatsächlich arbeiten, während die anderen 2 ruhen.
- Der Fairness-Test: Wir vergleichen dieses Team mit einem einzelnen Koch (dem Dichten Modell), der genauso hart arbeitet wie die zwei aktiven Köche im Team.
- Das Ergebnis: Das Team von 4 Köchen (MoE) gewinnt leicht. Obwohl sie zu jedem Zeitpunkt nur die Hälfte ihres Personals einsetzen, ermöglicht es ihnen das Vorhandensein dieses zusätzlichen „Reserve"-Personals, besser zu lernen und bessere Geschichten zu erzählen als der einzelne Koch, der allein arbeitet.
- Die Analogie: Es ist wie ein Werkzeugkasten mit 10 Werkzeugen, von denen Sie jedoch nur 2 gleichzeitig verwenden. Wenn Sie sich mit jemandem vergleichen, der nur 2 Werkzeuge besitzt, werden Sie eine bessere Arbeit leisten, weil Sie die Möglichkeit haben, das perfekte Werkzeug für den spezifischen Job zu greifen, auch wenn Sie nicht jede Sekunde alle 10 verwenden.
2. Der „Gesamte" Match (Die „Was Sie besitzen"-Regel)
Ändern wir nun die Regeln. Wir vergleichen das Team von 4 Köchen (MoE) mit einem einzelnen Koch (Dicht), der ein Gehirn hat, das der Größe aller vier Köche zusammen entspricht.
- Der Fairness-Test: Wir geben dem einzelnen Koch genau die gleiche Gesamtmenge an „Gehirnspeicher" wie dem gesamten Team.
- Das Ergebnis: Der einzelne Koch (Dicht) gewinnt, aber nur mit einem winzigen, winzigen Vorsprung. Das Team von Köchen ist immer noch sehr gut, aber das einzelne riesige Gehirn ist am Ende des Trainings leicht besser.
- Die Analogie: Wenn Sie dem einzelnen Koch eine massive Bibliothek von Büchern (Gesamtspeicher) geben, die den kombinierten Bibliotheken der 4 Köche entspricht, kann dieser einzelne Koch alles lesen und auswendig lernen. Das Team von Köchen hat dieselbe Gesamtbibliothek, muss sie sich aber aufteilen. In diesem spezifischen winzigen Test gewinnt die eine Person mit der ganzen Bibliothek leicht.
Die große Entdeckung
Der Hauptpunkt der Arbeit ist, dass wie Sie „fair" definieren, den Gewinner verändert.
- Wenn es Ihnen um Effizienz geht (wie viel Arbeit pro Sekunde erledigt wird), ist das MoE (Team von Experten) der klare Gewinner. Es lernt schneller und besser, wenn man es mit einem Modell vergleicht, das die gleiche Menge an aktiver Arbeit leistet.
- Wenn es Ihnen um die Gesamtspeicherkapazität geht (wie viel Daten das Modell in seinem Speicher halten kann), ist das Dichte (einzelne Riesen)-Modell immer noch leicht besser, obwohl die Lücke sehr klein ist.
Wie sie das „Team" reparierten
Der Forscher stellte auch fest, dass man ein Team von Experten nicht einfach zusammenwerfen und erwarten kann, dass es funktioniert.
- Das Problem: Anfangs waren die Experten faul. Sie versuchten alle, die gleiche Arbeit zu verrichten, oder ein Experte übernahm alle Aufgaben, während die anderen nichts taten. Dies wird als „Zusammenbruch" (collapsing) bezeichnet.
- Die Lösung: Der Forscher fügte einen „Manager" (ein Routing-System) hinzu, der die Experten zwang, die Arbeit gleichmäßig zu teilen.
- Top-1 vs. Top-2: Es reichte nicht aus, dem Manager zu erlauben, nur einen Experten auszuwählen. Dem Manager zu erlauben, die Top-2-Experten für jede Aufgabe auszuwählen, war der geheime Trick, der das Team gut funktionieren ließ.
- Der „Z-Verlust": Dies war eine kleine Anpassung der Regeln des Managers, um zu verhindern, dass die Experten zu aufgeregt oder zu gelangweilt werden. Es half der Stabilität, war aber nicht der Hauptgrund für den Erfolg.
Das Fazit
In diesem winzigen, kontrollierten Experiment (unter Verwendung eines kleinen Datensatzes und eines einzelnen Computers):
- MoE-Modelle sind leistungsstark, wenn man sie danach beurteilt, wie viel Arbeit sie tatsächlich pro Sekunde leisten. Sie übertreffen dichte Modelle derselben aktiven Größe.
- Dichte Modelle sind immer noch leicht stärker, wenn man sie nach der Gesamtmenge an Speicher beurteilt, die sie halten, aber die Lücke schließt sich, je länger sie trainieren.
- Stabilität ist wichtig: Sie benötigen ein gutes „Management" (Ausgleich und Routing), damit die Experten zusammenarbeiten; andernfalls bricht das System zusammen.
Die Arbeit kommt zu dem Schluss, dass bedingte Berechnung (Wechsel zwischen Experten) auch bei sehr kleinen Maßstäben nützlich ist, sofern sie fair gegen die richtige Basislinie verglichen wird. Sie beweist nicht, dass MoE die ultimative Zukunft für alle KI ist, aber sie zeigt, dass der Ansatz des „Teams von Experten" überraschend gut funktioniert, wenn die Regeln korrekt gesetzt sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.