💻 computer science

Where to Begin: Efficient Pretraining via Subnetwork Selection and Distillation

Dieses Paper präsentiert ein effizientes Framework für das Pretraining von Small Language Models (SLMs), das evolutionäre Suche zur Identifizierung strukturell spärlicher Subnetzwerk-Initialisierungen mit Knowledge Distillation aus größeren Modellen kombiniert und dabei eine Performance erreicht, die mit Standard-Baselines vergleichbar ist, während sie gleichzeitig die Rechenkosten signifikant reduziert.

Ursprüngliche Autoren: Arjun Krishnakumar, Rhea Sanjay Sukthanker, Hannan Javed Mahadik, Gabriela Kadlecová, Vladyslav Moroshan, Timur Carstensen, Frank Hutter, Aaron Klein

Veröffentlicht 2026-01-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Arjun Krishnakumar, Rhea Sanjay Sukthanker, Hannan Javed Mahadik, Gabriela Kadlecová, Vladyslav Moroshan, Timur Carstensen, Frank Hutter, Aaron Klein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Eine riesige Bibliothek aufzubauen ist teuer

Stellen Sie sich vor, Sie möchten eine massive Bibliothek des Wissens (ein Large Language Model, oder LLM) bauen, die jede Frage beantworten kann. Traditionell müssten Sie, um diese Bibliothek zu bauen, Millionen von Menschen (Parameter) einstellen, ihnen alle leere Notizbücher geben und sie das gesamte Internet von Grund auf lesen lassen. Das kostet eine enorme Menge an Zeit, Geld und Elektrizität.

Obwohl „Small Language Models“ (SLMs) billiger in der Herstellung sind, weil sie kleiner sind, sind sie für die meisten regulären Forscher oder kleinen Unternehmen immer noch zu teuer, um sie von Grund auf neu zu bauen. Sie brauchen eine Abkürzung.

Die Lösung: Das „Whittle“-Framework

Die Autoren dieses Papers schlagen einen neuen Weg vor, wie man diese kleineren Bibliotheken baut. Sie nennen ihr Framework Whittle. Anstatt neue Leute einzustellen und mit leeren Notizbüchern zu beginnen, nehmen sie eine bereits existierende, riesige, hochgradig wissende Bibliothek (ein großes „Lehrer“-Modell) und versuchen, das perfekte, kleinere Team innerhalb dieser Bibliothek zu finden, das den Job genauso gut erledigen kann.

Sie machen dies mit drei Haupttricks:

1. Das Finden des „Goldenen Sub-Teams“ (Sub-Network Selection)

Stellen Sie sich die riesige Bibliothek als ein massives Orchester mit tausenden Musikern vor. Sie benötigen nicht das ganze Orchester, um ein bestimmtes Lied zu spielen; Sie brauchen nur die richtige Sektion.

Der alte Weg: Normalerweise, wenn man ein kleines Modell möchte, wählt man einfach zufällig ein paar Musiker aus und hofft, dass sie es schaffen.
Der neue Weg: Die Autoren verwenden ein intelligentes Suchwerkzeug (genannt Evolutionary Search), um das riesige Orchester zu durchsuchen und genau die Gruppe von Musikern zu finden, die das Lied bereits perfekt spielen. Sie wählen nicht einfach wahllos Leute aus; sie suchen nach dem spezifischen „Sub-Netzwerk“ von Neuronen, das bereits die Hauptarbeit leistet.
Das Ergebnis: Sie fanden heraus, dass diese vorselektierten „Sub-Teams“ viel besser im Lernen sind als zufällige Gruppen derselben Größe.

2. Die Methode des „Smarten Nachahmers“ (Knowledge Distillation)

Sobald sie ihr kleines Sub-Team haben, lassen sie es nicht allein vom Internet lernen. Stattdessen setzen sie es in ein Klassenzimmer mit der ursprünglichen, riesigen Bibliothek (dem Lehrer).

Wie es funktioniert: Der Lehrer sagt nicht nur: „Die Antwort ist A.“ Der Lehrer sagt: „Die Antwort ist A, aber es ist sehr wahrscheinlich A, etwas wahrscheinlich B und unwahrscheinlich C.“ Dies gibt dem kleinen Team ein viel reicheres Verständnis der Welt.
Die Analogie: Es ist wie ein Meisterkoch, der einen Lehrling unterrichtet. Anstatt nur das fertige Gericht zu zeigen, erklärt der Meister die subtilen Aromen und Techniken. Der Lehrling lernt schneller und macht weniger Fehler.

3. Der „Suchraum“ (Verschiedene Kombinationen ausprobieren)

Die Autoren erkannten, dass nicht alle „Sub-Teams“ gleich gut sind. Manchmal muss man die Anzahl der Schichten reduzieren (wie das Entfernen von Stockwerken aus einem Gebäude), und manchmal muss man die Breite reduzieren (wie das Entfernen von Säulen).

Sie testeten vier verschiedene Wege, das Modell zu beschneiden:
- Coarse (Grob): Große Stücke abschneiden (wie das Entfernen ganzer Stockwerke).
- Fine-grained (Feingliedrig): Winzige Teile abschneiden (wie das Entfernen spezifischer Ziegelsteine).
- Uniform (Einheitlich): Das gesamte Modell gleichmäßig kleiner machen.
- Layer-wise (Schichtweise): Verschiedene Teile des Modells auf unterschiedliche Weise kleiner machen.
Die Entdeckung: Sie fanden heraus, dass für sehr kleine Modelle das „feingliedrige“ Abschneiden (winzige Teile entfernen) am besten funktionierte. Aber für größere „Small-Models“ war das „grobe“ Abschneiden (große Stücke entfernen) tatsächlich besser.

Die Ergebnisse: Mehr erreichen mit weniger

Das Paper behauptet, dass sie mit dieser Methode kleine Modelle bauen können, die genauso gut performen wie Modelle, die von Grund auf trainiert wurden, aber mit einer massiven Reduktion der Kosten:

Geschwindigkeit: Ihr bestes Modell erreichte das gleiche Intelligenzniveau wie ein Standard-Small-Model, benötigte aber 5,16-mal weniger Berechnungen (FLOPs) für eine spezifische Trainingsgröße.
Effizienz: Es ist, als würde man ein Haus bauen, das genauso stabil ist wie ein Herrenhaus, aber man hat nur 20 % der Ziegel und der Arbeitskraft verwendet.
Open Source: Im Gegensatz zu einigen Methoden, die von großen Tech-Unternehmen genutzt werden und geheim gehalten werden, haben die Autoren den gesamten Code und die Werkzeuge (die „Whittle“-Library) veröffentlicht, damit jeder diese Methode nutzen kann.

Zusammenfassung

Betrachten Sie dieses Paper als einen Leitfaden dazu, wie man ein riesiges, teures KI-Modell zu einem kleineren, billigeren und hocheffizienten Modell recycelt. Anstatt ein neues Auto von Grund auf neu zu bauen, nehmen sie ein Luxusauto, entfernen sorgfältig die Teile, die man nicht braucht, und stimmen den verbleibenden Motor so ab, dass er perfekt mit weniger Kraftstoff läuft – und das alles, während sie ihn mit dem Wissen des ursprünglichen Luxusautos unterrichten.

Technisches Resümee: WO BEGINNEN: EFFIZIENTES PRETRAINING DURCH SUB-NETZWERK-SELEKTION UND DISTILLATION

Problemstellung

Während Large Language Models (LLMs) durch massive Skalierung bahnbrechende Leistungen erzielt haben, sind deren Trainings- und Einsatzkosten für viele Forschungsgruppen und ressourcenbeschränkte Umgebungen prohibitiv hoch. Small Language Models (SLMs) bieten eine zugänglichere Alternative, erfordern jedoch dennoch beträchtliche Rechenressourcen für das Pretraining. Bestehende Strategien zur Reduzierung dieser Kosten, wie etwa Knowledge Distillation aus Open-Weight-LLMs oder Pruning, stützen sich oft auf Closed-Source-Implementierungen (z. B. Llama 3.2-Varianten, Minitron) oder lassen einen systematischen, reproduzierbaren Rahmen für die Entdeckung optimaler Sub-Netzwerk-Initialisierungen vermissen. Darüber hinaus bleiben die Mechanismen, durch die Teacher-Modelle die Effizienz des SLM-Pretrainings verbessern, unzureichend verstanden.

Methodik

Die Autoren schlagen ein dreiteiliges Framework vor, um das Pretraining von SLMs wesentlich effizienter zu gestalten:

Sub-Netzwerk-Initialisierung: Anstatt einer zufälligen Initialisierung extrahiert das Framework strukturell dünnbesetzte Sub-Netzwerke aus einem größeren, vortrainierten Teacher-Modell. Die Autoren definieren vier verschiedene Suchräume, um zu untersuchen, wie Gewichte ausgewählt werden:
- Coarse vs. Fine-grained: Coarse-Selektion nimmt die ersten $n$ Einträge einer Komponente (z. B. die ersten $n$ Attention-Heads), während Fine-grained-Selektion beliebige Indizes sampelt.
- Uniform vs. Layer-wise: Uniform wendet dieselbe Konfiguration auf alle Schichten an, während Layer-wise es jeder Schicht ermöglicht, unabhängige Konfigurationen zu besitzen.
- Dies führt zu vier Suchräumen: Coarse Uniform, Coarse Layer-wise, Fine-grained Uniform und Fine-grained Layer-wise.
Eingeschränkte evolutionäre Suche: Um hochwertige Sub-Netzwerke innerhalb spezifischer Parameterbudgets zu identifizieren, setzen die Autoren einen evolutionären Suchalgorithmus ein.
- Der Parameterraum wird in disjunkte „Bins“ unterteilt (z. B. 385M–426M, 961M–1,06B), um eine ausgewogene Abdeckung der Modellgrößen zu gewährleisten.
- Innerhalb jedes Bins wird eine Population von Kandidaten-Architekturen mittels Mutations- und Crossover-Operatoren entwickelt.
- Einhaltung von Constraints: Rejection Sampling wird verwendet, um sicherzustellen, dass Kandidaten-Architekturen die Parameteranzahl des Ziel-Bins strikt einhalten.
- Fitness-Funktion: Kandidaten werden basierend auf der Validierungs-Perplexität bei einem kleinen Token-Budget (2B Tokens) evaluiert, um die Suche in Richtung optimaler Initialisierungen zu leiten.
Knowledge Distillation: Die ausgewählten Sub-Netzwerke werden mittels Knowledge Distillation aus demselben Teacher-Modell vortrainiert, aus dem sie extrahiert wurden.
- Die Loss-Funktion kombiniert den Standard-Cross-Entropy-Loss mit der Forward-KL-Divergenz zwischen den Logit-Verteilungen von Teacher und Student.
- Zur Verbesserung der Recheneffizienz nutzen die Autoren Top-k Logit Distillation, welche die Teacher-Verteilung auf ihre $k$ salientesten Ausgaben beschneidet (z. B. $k=1024$ ).

Zentrale Beiträge

Systematisches Open-Source-Framework: Die Autoren führen Whicle, eine vollständig quelloffene Bibliothek ein, die die Extraktion von Sub-Netzwerken aus Hugging Face-Modellen ermöglicht, ein flexibles Design von Suchräumen unterstützt und die gesamte Pipeline von der Suche bis hin zum Pretraining und der Distillation erleichtert.
Strategie zur Sub-Netzwerk-Initialisierung: Sie zeigen, dass die Extraktion von Sub-Netzwerken aus vortrainierten Teachern signifikant bessere Startpunkte liefert als eine zufällige Initialisierung. Beispielsweise benötigen kleinere Varianten (~410M Parameter) 1,71-mal weniger FLOPs, um die Validierungs-Perplexität eines vergleichbaren Pythia-Modells zu erreichen, das von Grund auf trainiert wurde.
Umfassende Analyse: Die Arbeit liefert den ersten systematischen Vergleich der Sub-Netzwerk-Initialisierung unter Knowledge Distillation gegenüber dem Standard-Cross-Entropy-Training und analysiert den Einfluss der Teacher-Größe, der Granularität des Suchraums und der Distillations-Hyperparameter.
Empirische Validierung: Experimente mit der Pythia-Familie (6,9B und 12B Teacher) zeigen, dass die besten Modelle, die via evolutionärer Suche entdeckt und mit Teacher-Gewichten initialisiert wurden, die Leistung vergleichbarer Pythia-SLMs erreichen, während sie signifikant weniger Floating-Point Operations (FLOPs) erfordern.

Ergebnisse

Effizienzgewinne:
- Für ein 410M-Parameter-Modell (Bin 1) erreicht die Methode die gleiche Validierungs-Perplexität mit 1,71-mal weniger FLOPs im Vergleich zu einem Standard-Pythia-410M-Pretraining.
- Für ein 1B-Parameter-Modell (Bin 2) steigt die Ersparnis auf 1,75-mal.
- Für ein 2,8B-Parameter-Modell (Bin 3) benötigt die Methode 5,16-mal weniger FLOPs, um die Validierungs-Perplexität eines vergleichbaren Pythia-2,8B-Modells zu erreichen, das mit einem 10B-Token-Budget trainiert wurde.
- Bei einem 100B-Token-Budget erzielt die 2,8B-Variante immer noch eine Reduktion der FLOPs um den Faktor 1,26, während sie eine niedrigere finale Validierungs-Perplexität als das Baseline-Modell erreicht.
Erkenntnisse zum Suchraum:
- Granularität: Der optimale Suchraum hängt von der Modellgröße ab. Für größere Varianten (Bin 3) liefert der am wenigsten granulare Raum (Coarse Uniform) die besten Ergebnisse. Für kleinere Varianten (Bin 1) funktionieren granularere Räume wie Fine-grained Uniform besser.
- Distillation: Distillation verbessert die Perplexität konsistent gegenüber dem Standard-Pretraining. Die Verwendung der vollen Logit-Verteilung liefert im Allgemeinen eine niedrigere Perplexität als die Top-k-Abschneidung, wobei Top-k in den Hauptexperimenten zur Effizienzsteigerung eingesetzt wird.
- Suchmetrik: Die direkte Optimierung auf Perplexität während der Suchphase übertrifft Proxy-Metriken wie Gewichtsmagnitüde oder aktivierungsbasierte Wichtigkeitswerte.
Downstream-Performance: Sub-Netzwerke, die aus dem Supernetz initialisiert wurden, übertreffen konsistent sowohl zufällig initialisierte Versionen derselben Architektur als auch die ursprünglichen Pythia-Modelle vergleichbarer Größe in gängigen Benchmarks für Common Sense und Question Answering (COPA, MMLU, HellaSwag etc.). Bemerkenswerterweise übertrafen die aus dem kleineren 6,9B-Teacher extrahierten Sub-Netzwerke oft jene aus dem 12B-Teacher.

Bedeutung und Behauptungen

Das Paper behauptet, die erste systematische Open-Source-Studie zur Warm-Start-Initialisierung von Student-Modellen aus größeren Teachern für das Pretraining zu präsentieren. Die Bedeutung liegt in der Bereitstellung eines praktischen und reproduzierbaren Weges zur kosteneffizienten SLM-Entwicklung. Durch die Kombination von evolutionärer Suche zur Entdeckung von Sub-Netzwerken mit Knowledge Distillation zeigen die Autoren, dass das SLM-Pretraining um bis zu das 9,2-fache (wenn man die Suchkosten ausschließt) bzw. um das 5,16-fache (einschließlich der Suchkosten) gegenüber Baseline-SLMs ähnlicher Größe beschleunigt werden kann.

Die Autoren betonen, dass ihr Ansatz das teure Supernetz-Pretraining umgeht, das für traditionelle Neural Architecture Search (NAS)-Methoden erforderlich ist, indem er bestehende Open-Weight-LLMs nutzt. Sie kommen zu dem Schluss, dass ihre Methode zwar hochwirksam ist, aber zukünftige Arbeiten notwendig sind, um Scaling Laws für diese Initialisierungsstrategien abzuleiten und den Einfluss der Wahl des Teacher-Modells (z. B. multilingual vs. monolingual) auf die Student-Performance zu untersuchen. Die Autoren geben explizit an, dass ihre Ergebnisse Leitlinien für ein rechenoptimales SLM-Pretraining über verschiedene Skalen hinweg bieten.