🤖 Maschinelles Lernen

SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs

SLOPE ist eine neuartige Pretraining-Methode für Large Language Models, die doppelt geprunte N:M-sparse Gewichte mit einer „faulen“ Low-Rank-Adapter-Strategie kombiniert, die nur in den letzten 1 % der Trainingsiterationen angewendet wird, wodurch sowohl während des Trainings als auch während der Inferenz signifikante Beschleunigungen (bis zu 1,54×) und Speicherreduzierungen (bis zu 0,63×) bei gleichbleibender Modellgenauigkeit im Vergleich zu dichten Modellen erreicht werden.

Ursprüngliche Autoren: Mohammad Mozaffari, Amir Yazdanbakhsh, Zhao Zhang, Maryam Mehri Dehnavi

Veröffentlicht 2025-01-25✓ Author reviewed ⓘ

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Ursprüngliche Autoren: Mohammad Mozaffari, Amir Yazdanbakhsh, Zhao Zhang, Maryam Mehri Dehnavi

✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die moderne Welt der künstlichen Intelligenz wird zunehmend durch große Sprachmodelle definiert, riesige digitale Gehirne, die auf enormen Textbibliotheken trainiert wurden, um die menschliche Sprache zu verstehen und zu generieren. Diese Systeme sind leistungsstark, aber sie sind mit einem hohen Preis verbunden: Sie benötigen immense Mengen an Rechenleistung für das Training und riesige Mengen an Speicher, um zu laufen. Um diese Modelle schneller und kostengünstiger nutzbar zu machen, haben Forscher schon lange versucht, sie zu vereinfachen, indem sie Teile ihrer internen Struktur entfernen, die weniger wichtig erscheinen – ein Prozess, der als Pruning bekannt ist. Stellen Sie sich eine massive Bibliothek vor, in der Sie beschließen, jedes Buch zu entfernen, das nicht oft gelesen wird; das Gebäude wird kleiner und leichter zu navigieren, aber wenn Sie zu viele oder die falschen Bücher entfernen, verliert die Bibliothek ihre Fähigkeit, Fragen zu beantworten. Im digitalen Bereich führt diese Vereinfachung oft zu einem Genauigkeitsverlust, wobei das Modell weniger zuverlässig wird. Darüber hinaus spart das Entfernen von Daten zwar Platz, aber der Computer muss dennoch die komplexe Arbeit leisten, bei jedem Schritt seines Lernens zu prüfen, welche Teile beibehalten und welche verworfen werden sollen, was oft die Geschwindigkeitsvorteile zunichtemacht.

Ein Forscherteam hat einen neuen Ansatz namens SLOPE entwickelt, um diesen hartnäckigen Kompromiss zwischen Geschwindigkeit, Speicher und Genauigkeit zu lösen. Ihre Methode ermöglicht es, diese massiven Sprachmodelle mit deutlich weniger Ressourcen zu trainieren und zu nutzen, ohne deren Fähigkeit zum Sprachverständnis zu opfern. Der Kern ihrer Innovation liegt darin, wie sie den Lernprozess des Modells handhaben. Anstatt zu versuchen, das Modell von Anfang an einfach zu halten, lassen sie es fast über den gesamten Trainingszeitraum hinweg unter Verwendung einer standardmäßigen, vereinfachten Struktur lernen. In dem letzten, winzigen Bruchteil der Trainingszeit führen sie dann eine kleine, flexible Ergänzung ein, die dem Modell hilft, jegliche verlorene Präzision wiederherzustellen. Diese Ergänzung ist keine schwere, vollumfängliche Komponente, sondern eine leichte, effiziente Schicht, die wie ein Feinabstimmungswerkzeug wirkt und es dem Modell ermöglicht, seine Schärfe zurückzugewinnen, ohne eine massive Menge an zusätzlichen Daten speichern oder verarbeiten zu müssen.

Die Forscher befassten sich auch mit einem spezifischen Engpass, der bisherige Versuche zur Vereinfachung dieser Modelle verlangsamt hat. Bei Standard-Computeroperationen muss das Modell seine internen Daten in zwei verschiedenen Richtungen betrachten: einmal, um das nächste Wort vorherzusagen, und ein weiteres Mal, um seine Fehler zu korrigieren. Frühere Vereinfachtungsmethoden funktionierten gut für die erste Richtung, zwangen den Computer jedoch zu zusätzlicher, langsamer Arbeit, wenn er die Daten in der zweiten Richtung betrachtete. Die neue Methode ändert die Reihenfolge der Operationen, sodass die Vereinfachung in beiden Richtungen gleichzeitig effizient funktioniert. Dies ermöglicht es dem Computer, die Daten viel schneller zu verarbeiten, indem er spezialisierte Hardware nutzt, die für den Umgang mit diesen spezifischen Mustern aus Nullen und Nicht-Nullen ausgelegt ist. Durch die Neugestaltung der Art und Weise, wie die Daten vor der Verarbeitung in der Korrekturphase gepruned werden, stellten die Forscher sicher, dass das Modell ebenso effektiv lernen kann, während es sich mit einer viel höheren Geschwindigkeit durch die Daten bewegt.

Bei Tests an Modellen, die von Hunderten Millionen bis zu Zehnbillarden von Parametern reichten, waren die Ergebnisse substanziell. Die neue Methode beschleunigte den Trainingsprozess um bis zu das 1,25-fache und ließ das fertige Modell während des Gebrauchs bis zu 1,54-mal schneller laufen. Vielleicht noch wichtiger ist, dass sie die für den Betrieb dieser Modelle benötigte Menge an Computerspeicher in einigen Fällen um mehr als die Hälfte reduzierte. Die Forscher fanden heraus, dass das Modell durch das Hinzufügen ihrer leichten, flexiblen Schicht erst ganz am Ende des Trainings Genauigkeitswerte erreichen konnte, die sehr nah an denen der viel größeren, unvereinfachten Versionen liegen. Dieser Ansatz vermeidet die häufige Falle, bei der vereinfachte Modelle eine abschließende, teure Phase des erneuten Trainings mit vollumfänglichen Daten benötigen, um wieder nützlich zu werden. Stattdessen bleibt das Modell über seinen gesamten Lebenszyklus hinweg effizient, vom Moment des Lernbeginns bis zu dem Moment, in dem es die Frage eines Nutzers beantwortet.

Die Studie zeigt, dass es möglich ist, sowohl Effizienz als auch hohe Leistung in der künstlichen Intelligenz zu erreichen, vorausgesetzt, die Vereinfachung wird mit einer spezifischen Strategie angewandt. Die Forscher zeigten, dass der Zeitpunkt, zu dem zusätzliche Kapazität hinzugefügt wird, eine große Rolle spielt; das Hinzufügen einer kleinen Menge an Flexibilität ganz am Ende des Lernprozesses liefert bessere Ergebnisse, als zu versuchen, diese Flexibilität während der gesamten Reise beizubehalten. Diese Erkenntnis stellt die Annahme infrage, dass ein Modell entweder vollkommen komplex oder vollkommen einfach sein muss, und legt stattdessen nahe, dass ein hybrider Ansatz, bei dem das Modell größtenteils einfach ist, aber am Ziel entscheidend verstärkt wird, das Beste aus beiden Welten bietet. Die Arbeit bietet einen klaren Weg nach vorn, um fortschrittliche künstliche Intelligenz zugänglicher, schneller und weniger anspruchsvoll für die Hardware zu machen, die sie antreibt.

Technische Zusammenfassung: SLOPE – Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining von LLMs

1. Problemstellung

Große Sprachmodelle (LLMs) benötigen erhebliche Rechenressourcen, Speicher und Kommunikationsbandbreite für das Pretraining und die Inferenz. Während Modell-Sparsity (das Entfernen weniger wichtiger Teile) einen Weg zur Reduzierung dieser Overhead-Kosten bietet, stehen bestehende Ansätze vor erheblichen Kompromissen:

Unstrukturierte Sparsity: Entfernt Elemente aus beliebigen Positionen, verfügt jedoch über keine Hardware-/Software-Unterstützung zur Beschleunigung.
Strukturierte Sparsity (N:M): Legt Beschränkungen fest (z. B. höchstens $N$ Nullen von $M$ aufeinanderfolgenden Elementen), um Hardware wie die NVIDIA sparse Tensor Cores zu nutzen. Die begrenzte Auswahl an Sparsity-Mustern führt jedoch oft zu einer Verschlechterung der Genauigkeit im Vergleich zu dichten Modellen.
Adaptive Methoden: Die dynamische Anpassung der Maske verbessert die Genauigkeit, verursacht aber hohen Overhead (Speichern dichter Gewichte, Suche nach Masken) und verschwendet Rechenleistung für Gewichte, die letztlich weggeschnitten werden.
Sparse-Dense Hybrid-Ansätze: Methoden wie Sparse-Dense Pretraining (FST) kompensieren den Genauigkeitsverlust durch den Wechsel zu dichtem Fine-Tuning. Dies hebt jedoch die Speicher- und Rechenvorteile der Sparsity während der Inferenzphase auf, da das finale Modell dicht bleibt.

Die zentrale Herausforderung besteht darin, ein sparsames Modell zu erreichen, das sowohl während des Trainings als auch während der Inferenz sowohl genau als auch effizient ist, ohne den Overhead der dynamischen Maskensuche oder die Speicherkosten einer finalen dichten Phase.

2. Methodik

Die Autoren schlagen SLOPE (Double-Pruned Sparse Plus Lazy Low-rank Adapter Pretraining) vor, eine Methode, die darauf abzielt, die Genauigkeit von sparsam vortrainierten Modellen zu verbessern und gleichzeitig das Training und die Inferenz zu beschleunigen. Die Methodik besteht aus drei primären Komponenten:

A. Double-Pruned Backward Pass

Standardmäßige N:M Sparsity beschleunigt den Forward Pass, scheitert jedoch im Backward Pass, da die Gewichtsmatrix transponiert wird, was die zeilenweise N:M-Struktur zerstört, die für die Hardware-Beschleunigung erforderlich ist.

Ansatz: Anstatt zu erzwingen, dass die transponierte Gewichtsmatrix N:M-sparsam ist (was die Muster einschränkt und die Genauigkeit reduziert), transponiert SLOPE zuerst die bereits sparsifizierte N:M-Gewichtsmatrix und wendet dann eine zweite Runde der N:M-Sparsity an.
Mechanismus:
- Forward Pass: Verwendet eine zeilenweise beschnittene Gewichtsmatrix ( $W^R_i$ ).
- Backward Pass: Verwendet eine doppelt beschnittene Gewichtsmatrix ( $W^{R,C}_i$ ), bei der sowohl die Zeilen- als auch die Spalten-Dimensionen beschnitten sind.
Theoretische Garantie: Die Autoren beweisen, dass diese „verlustbehaftete“ Materialisierung beschnittener Gewichte (bei der der Backward Pass eine andere Sparsity-Maske als der Forward Pass verwendet) dennoch Konvergenzeigenschaften erfüllt. Theorem 2.2 zeigt, dass die dynamische Änderung der spaltenweisen Maske die Konvergenz des Optimierers nicht negativ beeinflusst, sofern die Maske nach der Initialisierung fixiert wird.

B. Lazy Low-Rank Adapters

Um den mit aggressivem Pruning einhergehenden Genauigkeitsverlust abzumildern, führt SLOPE Low-Rank-Adapter ( $L$ und $R$ ) zur Gewichtsdekomposition ein: $W_{dense} = W_{sparse} + LR$ .

Zeitpunkt: Im Gegensatz zu Standard-LoRA, das oft während des gesamten Trainings verwendet wird, führt SLO_PE diese Adapter nur während der letzten 1 % der Pretraining-Iterationen ein.
Begründung: Empirische Ergebnisse zeigen, dass Low-Rank-Adapter aufgrund ihrer geringeren Parameteranzahl signifikant schneller konvergieren als sparse Gewichte. Das späte Hinzufügen ermöglicht es dem Modell, Kapazität und Genauigkeit wiederherzustellen, ohne die Rechenkosten für die Aufrechterhaltung über die gesamte Pretraining-Dauer zu tragen.
Inferenz: Die Adapter werden während der Inferenz beibehalten, sodass das Modell dichteähnliche Fähigkeiten beibehalten kann, ohne eine vollständige dichte Gewichtsmatrix speichern zu müssen.

C. Optimierte CUDA-Kernel

Um die theoretischen Beschleunigungen zu realisieren, entwickelten die Autoren hochoptimierte CUDA-Kernel:

Tiling: Sie verwenden Tiling für Upsample-Tensoren, um sicherzustellen, dass diese in die Performance-Optima des cuSPARSELt-Backends passen, was eine Degradierung der Beschleunigung bei großen Hidden Dimensions verhindert.
Fused Operations: Sie kombinieren die Multiplikation sparsamer Matrizen (SpMM) mit Low-Rank-Adapter-Berechnungen zu einzelnen Kerneln. Dies reduziert den Kernel-Launch-Overhead und verbessert die arithmetische Intensität durch die Konkatenierung von Downsample-Tensoren mit sparsamen Gewichten und die Verwendung von Fused-Multiply-Add-Operationen.

3. Kernbeiträge

Double-Pruned Backward Pass: Eine neuartige Formulierung, die eine N:M-sparse Matrix transponiert, bevor eine zweite N:M-Sparsity-Maske angewendet wird. Dies ermöglicht beschleunigte sparse Backward Passes ohne die Genauigkeitseinbußen, die mit der Suche nach transponierbaren Masken verbunden sind.
Lazy Low-Rank Adapters: Eine Strategie, um Low-Rank-Adapter erst in den letzten 1 % des Trainings einzuspeisen. Dies verbessert die Modellkapazität und Konvergenzgeschwindigkeit bei minimalem Overhead und vermeidet die Notwendigkeit einer dichten Fine-Tuning-Phase.
Systemoptimierung: Gemeinsame Optimierung von NVIDIA 2:4 sparse Kernels und Low-Rank-Aufrufen durch effizientes Tiling und Scheduling, was zu signifikanten End-to-End-Beschleunigungen führt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten SLOPE auf verschiedenen LLMs (OPT, LLaMA-3, Mistral) und kleineren Modellen (GPT-2, BERT).

Beschleunigung:
- Pretraining: Erreichte bis zu 1,25× Beschleunigung (z. B. OPT-33B).
- Inferenz: Erreichte bis zu 1,54× Beschleunigung (z. B. OPT-66B).
- SLOPE übertraf konsistent die State-of-the-Art FST-Methode, die aufgrund der Anforderung einer dichten finalen Phase eine vernachlässigbare Inferenzbeschleunigung zeigte.
Speicherbedarf:
- Training: Reduzierte den Speicherverbrauch um bis zu 0,63× (ca. 68 % Reduktion) durch das Speichern nur der Nicht-Null-Gewichte, Indizes und reduzierten Optimizer-Zustände.
- Inferenz: Reduzierte den Speicherverbrauch um bis zu 0,61× (ca. 54 % Reduktion).
Genauigkeit:
- Beim GPT-2 (Small/Large) Pretraining erreichte SLOPE eine geringere Perplexität und eine höhere Zero-Shot-Genauigkeit im Vergleich zu Wanda und Extended SR-STE.
- Bei BERT-Large stellte SLOPE mit Low-Rank-Adaptern eine Leistung wieder her, die nahe an dichten Modellen bei SQuAD- und GLUE-Aufgaben liegt, während statische sparse Methoden größere Lücken zeigten.
- Experimente deuteten darauf hin, dass die ersten 12 Blöcke eines Modells empfindlicher auf Sparsity reagieren als die späteren Blöcke, was darauf hindeutet, dass aggressive Sparsity auf die späteren Schichten angewendet werden kann.

5. Bedeutung und Behauptungen

Das Paper behauptt, dass SLOPE erfolgreich die Lücke zwischen der Effizienz von sparsamen Modellen und der Genauigkeit von dichten Modellen schließt. Durch die Kombination eines theoretisch fundierten Double-Pruned Backward Pass mit einer „Lazy“ Low-Rank-Adapter-Strategie eliminiert SLOPE die Notwendigkeit einer dichten Fine-Tuning-Phase, die typischerweise die Vorteile des sparsamen Pretrainings zunichtemacht.

Die Autoren betonen, dass ihre Methode eine praktische Lösung für das Training und den Einsatz von großskaligen LLMs mit Milliarden von Parametern bietet und dabei sowohl die Trainingszeit als auch den Speicherbedarf erheblich reduziert, während eine wettbewerbsfähige Modellqualität beibehalten wird. Die Arbeit zeigt, dass es möglich ist, beschleunigtes sparsames Training und Inferenz gleichzeitig zu erreichen, ohne die finalen Leistungsfähigkeiten des Modells zu opfern.