DarwinLM: Evolutionary Structured Pruning of Large Language Models
DarwinLM ist eine trainingsbewusste strukturierte Pruning-Methode, die einen evolutionären Suchprozess mit leichtgewichtigem mehrstufigem Training einsetzt, um optimale nicht-uniforme Modell-Substrukturen zu identifizieren, wobei sie eine State-of-the-Art-Leistung bei verschiedenen großen Sprachmodellen erzielt und gleichzeitig die Anforderungen an die Trainingsdaten nach der Kompression signifikant reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hättest ein riesiges, superintelligentes Robotergehirn, das Geschichten schreiben, Matheaufgaben lösen und wie ein Mensch chatten kann. Das ist das, was Wissenschaftler als Large Language Model (LLM) bezeichnen. Diese Gehirne sind erstaunlich, aber sie sind auch unglaublich schwer und hungrig nach Elektrizität, wie ein Drache, der die ganze Goldmenge einer ganzen Burg braucht, nur um aufzuwachen. Weil sie so groß sind, sind sie schwer zu transportieren oder auf normalen Computern laufen zu lassen. Um das zu beheben, versuchen Forscher, diese Gehirne zu „schrumpfen“. Eine beliebte Methode dafür ist das „Pruning“ (Beschneiden). Stell dir das Pruning wie das Beschneiden eines Bonsai-Baumes vor: Du schneidest Äste ab, die du nicht brauchst, um den Baum kleiner und schneller zu machen, in der Hoffnung, dass er trotzdem noch gleich aussieht und sich gleich verhält. Aber hier liegt der knifflige Teil: Nicht alle Äste sind gleich. Einige sind entscheidend für die Form des Baumes, während andere nur zusätzliche Blätter sind. Wenn du die falschen abschneidest, stirbt der Baum. Wenn du die richtigen abschneidest, erhältst du einen winzigen, schnellen Baum, der immer noch Früchte trägt. Die große Frage ist: Woher weißt du genau, welche Äste du abschneiden musst, ohne versehentlich das Genie im Inneren zu töten?
Hier kommt DarwinLM ins Spiel, eine neue Methode, die wie ein digitaler Naturforscher agiert, der das perfekte kleine Gehirn entwickelt. Anstatt einfach nur zu raten, welche Teile man wegschneiden muss, lassen die Forscher das Modell durch einen Prozess „evolvieren“, der davon inspiriert ist, wie die Natur die fittesten Tiere auswählt. Sie beginnen mit einem großen Modell und erschaffen viele leicht unterschiedliche „Nachkommen“-Versionen, von denen jede ein einzigartiges Muster an Schnitten besitzt. Dann lassen sie diese Nachkommen einen schnellen, leichten Trainingstest durchlaufen – wie einen Sprint –, um zu sehen, welche von ihnen immer noch schnell rennen und klar denken können. Die Gewinner überleben, um die nächste Generation zu bilden, während die Verlierer aussortiert werden. Dieser Zyklus wiederholt sich und verfeinert das Modell langsam, bis es das perfekte Gleichgewicht zwischen Größe und Intelligenz findet. Die Arbeit zeigt, dass dieser evolutionäre Ansatz viel besser ist als das bloße gleichmäßige Abschneiden (wie etwa das Abschneiden der gleichen Menge von jeder Schicht). Tatsächlich kann DarwinLM Modelle wie Llama-2 und Llama-3.1 auf die Hälfte ihrer Größe schrumpfen und dabei ihre Intelligenz fast vollständig erhalten, und das mit viel weniger Trainingsdaten als bisherige Methoden. Zum Beispiel benötigte eine andere berühmte Methode 50 Milliarden Wörter, um ihr kleines Modell zu trainieren, während DarwinLM selbst mit nur 10 Milliarden sogar bessere Ergebnisse erzielte. Es funktioniert sogar bei komplexen „Mixture of Experts“-Modellen und beweist, dass man das Fett wegschneiden kann, ohne die Muskeln zu verlieren, was leistungsstarke KI auf alltäglichen Geräten zugänglich macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.