🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

Dieser Beitrag stellt Fine-grained Parameter Sharing (FiPS) vor, ein einheitliches Framework, das Transformer-MLPs durch die gemeinsame Optimierung von blockübergreifender Parameterteilung, Low-Rank-Faktorisierung und Sparsität komprimiert und dabei sowohl bei Vision Transformern als auch bei Large Language Models eine signifikante Reduktion der Modellgröße bei minimalem Genauigkeitsverlust erreicht.

Ursprüngliche Autoren: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige Bibliothek von Büchern (ein großes KI-Modell), die unglaublich intelligent ist, aber so viel Platz einnimmt, dass sie nicht in ein normales Bücherregal (ein Telefon oder ein kleiner Computer) passt. Sie möchten die Bibliothek verkleinern, ohne die Geschichten im Inneren zu verlieren.

Lange Zeit versuchten Wissenschaftler, diese Bibliotheken zu komprimieren, indem sie einfach Seiten entfernten (Pruning) oder die Bücher in einer kleineren Schriftart schrieben (Quantisierung). Doch dieser Artikel stellt eine neue, clevere Strategie namens FiPS (Fine-grained Parameter Sharing) vor.

So funktioniert FiPS, erklärt durch einfache Analogien:

1. Das Problem: Zu viele identische Räume

Stellen Sie sich ein Transformer-Modell (wie die, die moderne KI antreiben) als ein riesiges Hotel mit vielen identischen Etagen vor. Auf jeder Etage gibt es eine „Küche" (eine sogenannte MLP-Schicht), in der das Kochen stattfindet.

Der alte Weg: Normalerweise hat jede Etage ihren eigenen einzigartigen Satz von 100 Köchen, jeder mit seinen eigenen einzigartigen Rezepten. Obwohl die Etagen gleich aussehen, sprechen die Köche nicht miteinander. Das verschwendet viel Platz.
Die FiPS-Idee: FiPS sagt: „Warum braucht jede Etage 100 einzigartige Köche? Stellen wir einen gemeinsamen Meisterkoch (eine gemeinsame Basis) ein, der die Kernrezepte kennt, und haben dann ein paar lokale Assistenten (sparse Projektionsmatrizen) auf jeder Etage, die diese Rezepte leicht für diese spezifische Etage anpassen."

2. Die geheime Zutat: Der „gemeinsame Meisterkoch" und die „spärlichen Assistenten"

FiPS macht drei Dinge gleichzeitig, um das Modell zu verkleinern:

Der gemeinsame Meisterkoch (Low-Rank-Faktorisierung): Anstatt 100 einzigartige Köche pro Etage zu haben, erstellt FiPS einen „Meisterkoch", der die grundlegenden Techniken beherrscht. Dieser Koch wird über eine Gruppe von Etagen hinweg geteilt.
Die spärlichen Assistenten (Sparsity): Die lokalen Assistenten auf jeder Etage müssen nicht jedes Rezept kennen, das der Meisterkoch beherrscht. Sie müssen nur einige spezifische kennen, um das Gericht für diese Etage zuzubereiten. FiPS zwingt diese Assistenten dazu, „spärlich" zu sein, was bedeutet, dass sie nur die wesentlichen Verbindungen behalten und den Rest ignorieren. Es ist, als würde man einem Assistenten eine Speisekarte mit nur 3 Artikeln statt 100 geben.
Die Teamarbeit (Cross-Block-Sharing): FiPS gruppiert diese Etagen zusammen. Es betrachtet den Meisterkoch und die Assistenten für eine ganze Gruppe von Etagen und findet den besten Weg, die Arbeitslast zu teilen, damit das gesamte Hotel effizient läuft.

3. Wie sie es gebaut haben (Der Bauprozess)

Die Forscher haben nicht einfach geraten; sie verwendeten ein mathematisches Werkzeug namens SVD (Singulärwertzerlegung), um den „Meisterkoch" automatisch zu finden.

Stellen Sie sich vor, Sie nehmen alle Rezepte einer Gruppe von Etagen, mischen sie zusammen und finden die häufigsten, wesentlichen Zutaten.
Dann ordneten sie diese Zutaten dem Meisterkoch zu.
Schließlich trainierten sie die lokalen Assistenten, nur die spezifischen Zutaten zu verwenden, die sie brauchten, und warfen den Rest weg (Pruning).

4. Die Ergebnisse: Kleiner, schneller und immer noch intelligent

Der Artikel testete dies an zwei Arten von KI:

Vision Transformer (ViTs): Dies sind KIs, die Bilder betrachten.
- Ergebnis: Sie verkleinerten das Modell um bis zu 33% (und um bis zu 57% mit etwas zusätzlicher Abstimmung), ohne dass die KI vergaß, wie man Objekte erkennt. Es ist, als würde man einen Koffer um ein Drittel verkleinern, aber trotzdem alle Ihre Klamotten hineinpacken.
Large Language Models (LLMs): Dies sind KIs, die schreiben und sprechen.
- Ergebnis: Sie verkleinerten diese Modelle um 20% und machten sie intelligenter als andere Verkleinerungsmethoden.
- Der „Magische Trick": Als sie FiPS mit einer Technik namens „Quantisierung" (Schreiben von Zahlen in einem sehr kompakten Code) kombinierten, erreichten sie eine 8-fache Komprimierung (das Modell wurde 8-mal kleiner), während die Sprachfähigkeiten der KI viel besser blieben als wenn sie nur die Komprimierung allein verwendet hätten.

5. Warum das wichtig ist

Der Artikel behauptet, dass FiPS eine praktische, „Plug-and-Play"-Methode ist, um große KI-Modelle klein genug zu machen, damit sie auf Geräten wie Telefonen oder Laptops laufen können, ohne ihre Intelligenz zu verlieren. Es beweist, dass wir durch das Teilen der „Intelligenz" (Parameter) zwischen verschiedenen Teilen der KI und durch eine sehr selektive Auswahl darüber, welche Informationen behalten werden (Sparsity), effiziente KI bauen können, die keinen Supercomputer zum Laufen benötigt.

Kurz gesagt: FiPS ist wie die Erkenntnis, dass nicht jeder Raum in einem Haus einen eigenen vollständigen Werkzeugkasten braucht; man kann stattdessen einen gemeinsamen Werkzeugkasten im Flur haben und nur ein paar spezifische Werkzeuge in jedem Raum. Das Haus funktioniert genauso gut, nimmt aber viel weniger Platz ein.

Technische Zusammenfassung: Feingranulare Parameterfreigabe durch sparse Tensorzerlegung (FiPS)

Problemstellung

Große neuronale Netze, insbesondere Transformer, erreichen State-of-the-Art-Leistungen, stoßen jedoch aufgrund ihrer schieren Größe auf erhebliche Hindernisse bei der Bereitstellung auf ressourcenbeschränkten Geräten. Obwohl verschiedene Komprimierungstechniken existieren (z. B. Quantisierung, Distillation, Tensorzerlegung), bleibt die übergreifende Parameterfreigabe (cross-layer parameter sharing) für Transformer-Modelle relativ unerforscht. Bestehende Methoden teilen oft ganze Blöcke (z. B. ALBERT), was die Darstellungskapazität einschränkt, oder verlassen sich auf dichte Koeffizienten für die Freigabe, was die Komprimierungseffizienz begrenzt. Es besteht ein Bedarf an einer Methode, die die Parameteranzahl erheblich reduziert und gleichzeitig hohe Darstellungsflexibilität und minimale Genauigkeitsverluste gewährleistet.

Methodik: Feingranulare Parameterfreigabe (FiPS)

FiPS ist ein einheitliches Framework, das entwickelt wurde, um Transformer-Multi-Layer-Perceptrons (MLPs) zu komprimieren, indem übergreifende Block-Parameterfreigabe, Niedrigrang-Faktorisierung und Sparsamkeit in einem einzigen Optimierungsprozess kombiniert werden.

Kernmechanismus

Die Methode basiert auf der Beobachtung, dass Transformer-MLPs aus wiederholten, homogenen Blöcken mit identisch geformten Fully Connected (FC)-Schichten bestehen. Anstatt unabhängige Gewichte für jede Schicht zu lernen, führt FiPS folgende Schritte aus:

Verkettung der Gewichtsmatrizen ( $W_1, \dots, W_N$ ) aus einer Gruppe von $N$ Transformer-Blöcken entlang ihrer Ausgabedimension (der „langen Achse").
Faktorisierung dieses verketteten Tensors in eine gemeinsame Basis $U \in \mathbb{R}^{d \times r}$ und schichtspezifische sparse Projektionsmatrizen $V_i \in \mathbb{R}^{r \times p}$ .
Rekonstruktion der ursprünglichen Gewichte als $W'_i = U V_i$ .

Wichtige technische Komponenten

Initialisierung: Die gemeinsame Basis $U$ und die Projektionsmatrizen $V_i$ werden über eine Truncated Singular Value Decomposition (SVD) der verketteten Gewichte initialisiert. Falls der Zielrang $r$ die Modelldimension $d$ überschreitet (aufgrund hoher Parameterbudgets), wird eine „hybride Initialisierung" verwendet: Neue Dimensionen in $U$ werden auf Null gesetzt, und entsprechende Dimensionen in $V$ werden aus den top Singulärvektoren abgeleitet, skaliert mit einem Dämpfungsfaktor $\tau$ , um ein schrittweises Lernen zu ermöglichen.
Sparsamkeitsinduktion: Eine entscheidende Erkenntnis des Papiers ist, dass das Erzwingen von Sparsamkeit in den Projektionsmatrizen $V$ unerlässlich ist. Im Gegensatz zu Methoden, die dichte Koeffizienten verwenden, beschneidet FiPS Werte niedriger Magnitude in $V$ . Das optimale Sparsamkeitsniveau wurde bei etwa 75 % ermittelt, insbesondere wenn es auf die größere Faktormatrix angewendet wird.
Optimierungsstrategie:
1. Gemeinsame Initialisierung: SVD-Zerlegung der verketteten Gewichte.
2. Lokale Fehlerminimierung: Unter Verwendung eines kleinen Kalibrierungsdatensatzes werden $U$ und $V_i$ optimiert, um den $\ell_2$ -Rekonstruktionsfehler zwischen ursprünglichen und komprimierten Aktivierungen zu minimieren. Die Sparsamkeit wird durch Gradual Magnitude Pruning (GMP) erzwungen.
3. Globale Fehlerminimierung (Optional): Eine End-to-End-Feinabstimmung unter Verwendung von dynamischem sparse Training (RigL), um die Leistung bei höheren Kompressionsraten wiederherzustellen.
Gruppierungsstrategie: Das Papier identifiziert, dass benachbarte Schichten die meiste Redundanz teilen. Die optimale Leistung wird durch das Gruppieren aufeinanderfolgender Blöcke erreicht (z. B. Gruppen von 4 für DeiT-B) und die Verwendung einer „verjüngenden" Gruppierungsstrategie für LLMs (kleinere Gruppen an den Netzwerkrändern, größere in der Mitte).

Wichtige Beiträge

Systematische Analyse der übergreifenden Block-Freigabe: Die Autoren untersuchten systematisch die Granularität der Freigabe, Verkettungsschemata und Sparsamkeitsmuster und identifizierten, dass die Verkettung entlang der langen Achse und Sparsamkeit in den Projektionsfaktoren den niedrigsten Rekonstruktionsfehler ergeben.
Der FiPS-Algorithmus: Ein neuartiger Algorithmus, der über SVD initialisiert wird und gemeinsam eine gemeinsame Basis sowie sparse, schichtspezifische Projektionen optimiert. Er kombiniert einzigartig Niedrigrang-Faktorisierung mit Sparsamkeit in den Projektionsfaktoren statt in der Basis.
State-of-the-Art-Komprimierungsergebnisse:
- Vision Transformer (ViTs): Komprimiert DeiT-B und Swin-L um bis zu 33 % mit weniger als 1 % Top-1-Genauigkeitsverlust auf ImageNet-1k. Mit Feinabstimmung erreicht die Komprimierung 57 %.
- Large Language Models (LLMs): Komprimiert Llama-7B und Llama-3.1-8B um bis zu 20 % und übertrifft bestehende SVD-basierte Baselines (ASVD, SVD-LLM, SVD-LLM V2) in Perplexität und Downstream-Benchmarks.
- Synergie mit Quantisierung: In Kombination mit Quantisierungsbewusstem Training (QAT) erreicht 3-Bit-FiPS auf Gemma-2-2B die gleiche 8-fache Komprimierung wie 2-Bit-QAT allein, jedoch mit signifikant niedrigerer Perplexität (35,43 vs. 41,86).
Hardware-Effizienz: Die Methode unterstützt strukturierte Sparsamkeit (z. B. 2:4-Muster), was messbare Inferenzbeschleunigungen (1,31-fach auf NVIDIA A4000) und Speicherreduktionen (0,79-fach Spitzen-VRAM) ohne signifikante Genauigkeitsverschlechterung ermöglicht.

Ergebnisse

ViT-Leistung: Auf ImageNet-1k übertrifft FiPS konsistent Baselines wie Adaptive Atomic Feature Mimicking (AAFM) und Global Feature Mimicking (GFM) über verschiedene Parameterbudgets (10 % bis 75 %). Beispielsweise erreicht FiPS bei einem 40-%-Parameterbudget eine Genauigkeit von 81,69 % auf DeiT-B und übertrifft GFM (81,28 %), trotz des höheren Rechenaufwands von GFM.
LLM-Leistung: Auf den Datensätzen WikiText-2 und C4 erzielt FiPS bei 20 % Komprimierung die niedrigste Perplexität unter faktorisierungsbasierten Methoden. Es zeigt zudem überlegene Transferlernfähigkeiten auf CIFAR-100, Flowers102 und anderen Vision-Benchmarks im Vergleich zu GFM.
Ablationsstudien: Das Papier bestätigt, dass:
- Sparsamkeit in der Projektionsmatrix $V$ kritisch ist; dichte Baselines kollabieren bei niedrigen Parameterbudgets.
- SVD-Initialisierung randomisierte Initialisierung übertrifft.
- Globales Beschneiden (adaptive Zuweisung von Parametern über Schichten hinweg) bessere Ergebnisse liefert als lokales Beschneiden.
- Ein Sparsamkeitsniveau von 75 % für die Projektionsmatrizen optimal ist.

Bedeutung und Behauptungen

Das Papier etabliert die feingranulare Parameterfreigabe als praktischen und effektiven Ansatz für die Komprimierung von Transformer-MLPs. Die Autoren behaupten, dass FiPS zu anderen Komprimierungstechniken wie Quantisierungsbewusstem Training (QAT) und LoRA orthogonal ist, was bedeutet, dass es mit ihnen kombiniert werden kann, um weitere Gewinne zu erzielen.

Die Bedeutung liegt darin, zu demonstrieren, dass das Teilen von Parametern über Schichten hinweg die Darstellungskapazität nicht opfern muss, wenn dies mit einer gemeinsamen Basis und sparen, lernbaren Projektionen erfolgt. Dieser Ansatz bietet eine konkurrenzfähige Alternative zu bestehenden Strategien, erreicht erhebliche Komprimierung (bis zu 57 % bei ViTs und 20 % bei LLMs) mit minimalem Leistungsverlust und erleichtert somit die Bereitstellung großer Modelle auf ressourcenbeschränkten Geräten. Die Methode ist insbesondere bemerkenswert, weil sie nicht auf Distillation oder zusätzliche Überwachungssignale angewiesen ist, sondern stattdessen auf die Minimierung des Rekonstruktionsfehlers blockweise.