OPTIMA: Optimal One-shot Pruning for LLMs via Quadratic Programming Reconstruction
OPTIMA ist eine skalierbare One-Shot-Post-Training-Pruning-Methode für große Sprachmodelle, die die schichtweise Gewichterekonstruktion als unabhängige spaltenweise quadratische Programme mit einer gemeinsamen Hesse-Matrix formuliert und dabei eine überlegene Genauigkeit gegenüber heuristischen Ansätzen erreicht, während sie gleichzeitig eine hohe Recheneffizienz auf modernen Beschleunigern beibehält.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle sind leistungsstarke Computerprogramme, die gelernt haben, menschliche Sprache zu verstehen und zu erzeugen, indem sie riesige Mengen an Text studiert haben. Sie können Geschichten schreiben, komplexe Fragen beantworten und Probleme lösen, aber sie bringen einen erheblichen Nachteil mit sich: Sie sind enorm. Diese Modelle enthalten Milliarden von Parametern, das sind die internen Zahlen, die das System anpasst, um Sprache sinnvoll zu interpretieren. Aufgrund ihrer Größe erfordert der Betrieb dieser Modelle teure, leistungsstarke Hardware, was sie für alltägliche Aufgaben oder auf kleineren Geräten schwierig nutzbar macht. Um diese Modelle praktikabler zu machen, suchen Forscher nach Wegen, sie zu verkleinern, ohne ihre Fähigkeit zu verlieren, klar zu denken. Eine beliebte Methode ist das sogenannte Pruning (Beschneiden), bei dem die unwichtigsten Zahlen aus dem Modell entfernt werden, um seine Größe zu reduzieren. Dieser Prozess ist jedoch knifflig. Wenn man die Zahlen einfach nur löscht, wird das Modell oft wesentlich schlechter in seiner Aufgabe. Wenn man versucht, das Modell zu reparieren, indem man alle Zahlen gleichzeitig neu berechnet, um den Verlust auszugleichen, wird die Mathematik so schwerfällig, dass dies auf modernen Computern unmöglich ist.
Ein Forschungsteam hat einen neuen Ansatz namens OPTIMA entwickelt, um genau dieses Problem zu lösen. Ihr Ziel war es, einen Mittelweg zwischen der schnellen, aber ungenauen Methode des einfachen Löschens von Zahlen und der zu langsamen Methode des Versuchs, alles auf einmal zu korrigieren, zu finden. Sie erkannten, dass die Aufgabe, die verbleibenden Zahlen nach der Entscheidung, welche Zahlen entfernt werden sollen, zu korrigieren, in viele kleine, unabhängige Probleme zerlegt werden konnte. Anstatt zu versuchen, die gesamte Mathematik des Modells in einem einzigen riesigen, unmöglichen Schritt zu lösen, behandelten sie jede Spalte der Zahlen im Modell separat. Sie entdeckten, dass jede Spalte zwar ihre eigenen spezifischen Einschränkungen hatte, die auf den entfernten Zahlen basierten, sie aber alle eine gemeinsame zugrunde liegende Struktur teilten. Dies ermöglichte es ihnen, ein spezialisiertes mathematisches Werkzeug, bekannt als quadratisches Programm, zu verwenden, um die perfekten Ersatzwerte für jede Spalte zu finden. Da die Struktur für jede Spalte dieselbe war, konnten sie tausende dieser winzigen Probleme gleichzeitig auf einem einzigen Computerchip lösen, anstatt sie nacheinander abzuarbeiten.
Die Forscher testeten diese Methode an verschiedenen Familien großer Sprachmodelle, darunter populäre wie LLaMA und Gemma. Sie wandten ihre Technik auf Modelle an, die bereits durch andere bestehende Methoden beschnitten worden waren, was im Wesentlichen als letzter Schliff diente, um die Ergebnisse zu verbessern. In den meisten Fällen verbesserte dieser zusätzliche Schritt die Genauigkeit der Modelle erheblich. Beispielsweise verbesserten sie bei Tests der Modelle auf einer Vielzahl von Standardaufgaben den Durchschnittswert in einigen schwierigen Szenarien um bis zu fast vier Punkte, insbesondere wenn die Modelle sehr klein gemacht wurden. Die Methode funktionierte gut über verschiedene Arten von Pruning-Mustern und Modellgrößen hinweg, von kleineren Modellen mit einer Milliarde Parametern bis hin zu sehr großen Modellen mit Milliarden von Parametern. Es ist erwähnenswert, dass die Methode zwar die Genauigkeit verbesserte, aber länger zur Ausführung benötigte als die schnellsten existierenden Methoden; sie benötigte etwa vierzig Stunden, um ein Acht-Milliarden-Parameter-Modell auf einer einzigen High-End-Grafikkarte zu verarbeiten. Die Forscher betonten jedoch, dass dies eine einmalige Kostenstelle ist, die vor der Nutzung des Modells anfällt, und dass das resultierende Modell genauso schnell läuft wie die ursprüngliche beschnittene Version.
Die Studie hob auch hervor, dass dieser Ansatz keine Wunderheilung für jede Situation ist. In einigen spezifischen Fällen verbesserte die neue Methode die Leistung des Modells nicht und verschlechterte sie gelegentlich sogar leicht, was darauf hindeutet, dass die Wechselwirkung zwischen der Pruning-Methode und dem Korrekturschritt komplex sein kann. Darüber hinaus fanden die Forscher heraus, dass die Methode am besten funktioniert, wenn das ursprüngliche Pruning viel Raum für Verbesserungen lässt, wie zum Beispiel wenn das Modell sehr „sparse“ (dünnbesetzt) gemacht wird. Sie beobachteten auch, dass der Erfolg der Methode vom spezifischen Typ des Modells und davon abhängt, wie das Pruning ursprünglich durchgeführt wurde. Trotz dieser Einschränkungen zeigt die Arbeit, dass es möglich ist, beschnittene Modelle durch rigorose mathematische Optimierung zu reparieren, und zwar auf eine Weise, die sowohl praktisch als auch skalierbar ist. Indem sie ein massives, unmögliches Problem in tausende kleine, parallele Aufgaben zerlegten, zeigten die Forscher, dass wir große Sprachmodelle klein und effizient halten können, ohne ihre Intelligenz zu opfern. Dies öffnet die Tür für leistungsfähigere künstliche Intelligenz, die auf Hardware laufen kann, die derzeit noch zu schwach ist, um sie zu unterstützen, und bringt mächtige Sprachwerkzeuge näher an den alltäglichen Gebrauch.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.