💻 computer science

Elastic ViTs from Pretrained Models without Retraining

Dieses Paper stellt SnapViT vor, eine retraining-freie, Post-Pretraining-basierte strukturierte Pruning-Methode, die Gradienteninformationen und einen evolutionären Algorithmus nutzt, um Korrelationen zwischen Netzwerken zu approximieren, wodurch vortrainierte Vision Transformer eine elastische Inferenz über ein Kontinuum von Rechenbudgets hinweg ermöglichen, ohne dass gelabelte Daten erforderlich sind.

Ursprüngliche Autoren: Walter Simoncini, Michael Dorkenwald, Tijmen Blankevoort, Cees G. M. Snoek, Yuki M. Asano

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Walter Simoncini, Michael Dorkenwald, Tijmen Blankevoort, Cees G. M. Snoek, Yuki M. Asano

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, unglaublich intelligente Bibliothek (einen Vision Transformer oder „ViT“), die fast alles auf einem Bild erkennen kann. Diese Bibliothek ist so gewaltig, dass sie ein ganzes Gebäude einnimmt und einen riesigen, teuren Generator benötigt, um sie zu betreiben.

Das Problem ist: Die meisten realen Geräte (wie Ihr Smartphone, eine Drohne oder eine intelligente Kamera) sind klein und haben eine begrenzte Batterielaufzeit. Sie können nicht die ganze Bibliothek beherbergen und können sich den Stromverbrauch nicht leisten.

Normalerweise muss man, wenn man eine kleinere Bibliothek möchte, eine neue, kleinere Bibliothek von Grund auf neu bauen. Aber die Autoren dieser Arbeit, SnapViT, sagen: „Warum bauen wir eine neue? Lassen Sie uns einfach die große Bibliothek auf jede Größe schrumpfen, die Sie gerade brauchen, ohne dabei ihre Intelligenz zu verlieren.“

So haben sie es gemacht, einfach erklärt:

1. Das Problem: Eine Größe passt nicht für alle

Betrachten Sie diese KI-Modelle wie ein Set russischer Matroschka-Puppen. Normalerweise erhalten Sie nur einige spezifische Größen: Klein, Mittel und Groß. Wenn Ihr Gerät etwas benötigt, das etwas kleiner als „Mittel“, aber größer als „Klein“ ist, haben Sie Pech gehabt. Sie müssen entweder die riesige, langsame Version nutzen oder eine winzige, dumme.

2. Die Lösung: „Snap“ zu jeder Größe

Die Autoren haben eine Methode namens SnapViT entwickelt. Es ist wie eine magische Schere, mit der man die große Bibliothek auf jede gewünschte Größe zuschneiden kann (10 % kleiner, 50 % kleiner usw.) – mit einem einzigen „Snap“.

Kein Nachtraining: Normalerweise, wenn man ein Stück von einer Maschine abschneidet, hört sie auf zu funktionieren und muss stundenlang oder tagelang repariert werden (nachtrainiert werden). SnapViT schneidet das Modell und es funktioniert sofort. Kein Reparieren nötig.
Keine Labels nötig: Die meisten Methoden benötigen einen Lehrer, der ihnen sagt, was wichtig ist (wie das Zeigen von tausenden Bildern von Katzen und Hunden an die KI). SnapViT ist selbstlernend; es findet durch das bloße Betrachten der Muster in den Daten selbst heraus, was es behalten soll.

3. Wie es funktioniert: Die „intelligente Schere“

Um zu wissen, welche Teile der KI man schneiden und welche man behalten soll, nutzen die Autoren ein zweistufiges Bewertungssystem:

Schritt 1: Die lokale Prüfung (Der „Schmerz“-Test)
Stellen Sie sich vor, man sticht die KI mit einem Stock. Wenn das Stechen in einen bestimmten Teil die KI ins Straucheln bringt, ist dieser Teil wichtig. Wenn sie nicht reagiert, ist dieser Teil wahrscheinlich nutzlos. Sie verwenden einen „selbstüberwachten“ Trick (das Betrachten desselben Bildes aus verschiedenen Blickwinkeln), um zu sehen, welche Teile des Gehirns empfindlich reagieren. Dies liefert ihnen eine grundlegende Liste dessen, was geschnitten werden kann.
Schritt 2: Die globale Prüfung (Der „Teamwork“-Test)
Das ist der clevere Teil. Manchmal sieht ein Teil für sich allein betrachtet nutzlos aus, ist aber eigentlich ein entscheidender Teamkollege eines anderen Teils. Wenn man einen schneidet, wird der andere verwirrt.
Um diese verborgenen Teams zu finden, nutzen sie einen genetischen Algorithmus (denken Sie an einen digitalen Evolutionssimulator). Anstatt jede einzelne Verbindung zu berechnen (was ewig dauern würde), simulieren sie tausende Male in wenigen Minuten: „Was wäre, wenn wir dies schneiden?“ und „Was wäre, wenn wir das schneiden?“. Sie entwickeln so eine Karte davon, wie verschiedene Teile der KI aufeinander angewiesen sind.

4. Das Ergebnis: Elastische Inferenz

Sobald sie diese Karte erstellt haben, können sie ein „Kontinuum“ von Modellen generieren.

Brauchen Sie ein Modell für eine superschnelle Drohne? SnapViT liefert Ihnen eine winzige Version.
Brauchen Sie ein Modell für einen leistungsstarken Server? SnapViT gibt Ihnen eine größere Version.
Brauchen Sie etwas dazwischen? SnapViT bietet Ihnen das auch.

Sie haben dies an mehreren berühmten KI-Modellen (wie DINO und SigLIPv2) getestet. Sie fanden heraus, dass sie das Modell um 40 % kürzen konnten (es also fast halbieren), und es immer noch fast so gut funktionierte wie das Original, mit fast keinem Verlust an Genauigkeit.

5. Warum es schnell ist

Die Autoren behaupten, dass sie diesen gesamten Prozess in weniger als fünf Minuten auf einem einzigen leistungsstarken Computerchip (einem A100 GPU) durchführen können. Das ist unglaublich schnell im Vergleich zu anderen Methoden, die Tage dauern könnten.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie haben eine riesige, 100-seitige Bedienungsanleitung für den Bau eines Hauses.

Der alte Weg: Wenn Sie nur Zeit haben, 50 Seiten zu lesen, müssen Sie die gesamte Anleitung von Grund auf neu schreiben, um eine 50-seitige Version zu erstellen, die immer noch Sinn ergibt.
Der SnapViT-Weg: Sie markieren sofort die 50 wichtigsten Seiten. Sie reißen den Rest heraus. Die verbleibenden 50 Seiten sagen Ihnen immer noch genau, wie Sie das Haus perfekt bauen können, und Sie haben dies in fünf Minuten erledigt, ohne einen neuen Architekten zu benötigen.

Diese Methode ermöglicht es jedem, eine massive, leistungsstarke KI zu nehmen und sie sofort zu verkleinern, damit sie genau zu seinen spezifischen Bedürfnissen passt. Das spart Zeit, Geld und Energie, ohne die KI neu trainieren zu müssen oder einen Lehrer zu benötigen, der ihr etwas beibringt.

Technisches Resümee: SnapViT – Elastische Vision Transformer aus vortrainierten Modellen ohne Retraining

Problemstellung

Vision-Foundation-Modelle haben eine State-of-the-Art-Performance über diverse Aufgaben hinweg erreicht, werden jedoch typischerweise in einer begrenzten Auswahl vordefinierter Größen veröffentlicht (z. B. spezifische Parameterzahlen für die DINOv3- oder DeIT-Familien). Diese Starrheit zwingt Praktiker dazu, suboptimale Deployment-Entscheidungen zu treffen, wenn sie mit realen Einschränkungen hinsichtlich Rechenleistung, Latenz und Kosten konfrontiert sind. Bestehende Lösungen für Modellflexibilität stehen vor signifikanten Einschränkungen:

Wissensdestillation (Knowledge Distillation): Erfordert eine vordefinierte Zielarchitektur und stützt sich oft auf nicht-öffentliche Vortrainierungs-Datensätze, was die Robustheit untergräbt.
Elastische Inferenz (Elastic Inference): Methoden wie Matryoshka-Repräsentationen oder Slimmable Networks erfordern, dass Modelle bereits während des Vortrainings mit spezifischen geschachtelten Strukturen entworft werden, was sie für bestehende, fertige vortrainierte Modelle unanwendbar macht.
Strukturiertes Pruning: Während es effektiv zur Reduzierung von Speicher und Rechenaufwand beiträgt, sind die meisten aktuellen Pruning-Techniken auf spezifische Aufgaben oder Constraints zugeschnitten und erfordern typischerweise ein Retraining, wodurch eine Lücke für universell anpassbare Modelle entsteht, die keine gelabelten Daten oder einen Klassifikations-Head benötigen.

Methodik: SnapViT

Die Autoren schlagen SnapViT (Single-shot network approximation for pruned Vision Transformers) vor, eine Post-Pretraining-Methode für strukturiertes Pruning, die eine Kontinuum von elastischen Sub-Netzwerken aus einem einzigen vortrainierten Modell generiert, ohne Retraining oder gelabelte Daten zu benötigen. Der Kern der Methode ist ein Prunability-Score ( $P$ ), der Parameter für die Entfernung basierend auf zwei Komponenten rankt:

1. Lokale Hessian-Approximation (Selbstüberwachte Gradienten)

Um die lokale Parametersensitivität ohne Klassifikations-Head zu erfassen, approximiert die Methode die Diagonale der Hessian-Matrix unter Verwendung selbstüberwachter Gradienten. Konkret verwendet sie die DINO-Zielsetzung, um Gradienten über einen Datensatz von Bildern zu berechnen. Die lokale Krümmung $H^{(l)}$ wird als die durchschnittliche quadratische Norm der Gradienten geschätzt:
$H^{(l)} \approx \frac{1}{N_D} \sum_{i=1}^{N_D} \|\nabla_\theta L_i\|^2$
Dies liefert ein Basismaß dafür, wie kritisch einzelne Parameter innerhalb ihrer spezifischen Blöcke (z. B. Feed-Forward-Neuronen oder Attention-Heads) sind.

2. Globale Hessian-Schätzung (Evolutionärer Algorithmus)

Um die Einschränkung zu adressieren, die durch das Ignorieren von Inter-Block-Abhängigkeiten (Off-Diagonal-Hessian-Elemente) entsteht, führt SnapViT eine neuartige Approximation mittels der Exponential Natural Evolution Strategy (xNES) ein.

Anstatt die unpraktikabel komplexe volle Hessian explizit zu berechnen, lernt xNES einen Satz von strukturweisen Skalierungsfaktoren ( $c$ ), die die lokalen Sensitivitäten umgewichten.
Der Algorithmus optimiert eine multivariate Gauß-Verteilung über diese Skalierungsfaktoren. Die Fitnessfunktion ist label-frei und misst die Kosinus-Ähnlichkeit zwischen den Embeddings des Originalmodells und des geprunten Modells (nach PCA-Kompression).
Durch Natural-Gradient-Updates entwickelt sich die Kovarianzmatrix ( $\Sigma$ ) der evolutionären Strategie, um die Inverse der wahren Inter-Block-Hessian zu approximieren ( $H^{(g)} \approx \alpha \Sigma^{-1}$ ). Dies ermöglicht es der Methode, zu identifizieren, welche Blöcke gemeinsam gepruned werden können, ohne die Repräsentationsqualität zu verschlechtern.

3. Einheitlicher Prunability-Score und elastische Generierung

Der finale Prunability-Score ist das elementweise Produkt der lokalen Sensitivität und der globalen Skalierungsfaktoren:
$P = \text{diag}(H^{(l)}) \odot (M c)$
wobei $M$ eine Membership-Matrix ist, die Block-Level-Faktoren auf einzelne Parameter expandiert.

Single-Shot Generierung: Sobald $P$ berechnet wurde, werden alle Parameter global gerankt. Dieses einzige Ranking ermöglicht die Extraktion von Sub-Netzwerken für jedes gewünschte Sparsity-Niveau ( $S \in [0, 1]$ ) ohne weitere Optimierung.
Umfang: Die Methode prunt sowohl Zeilen-Spalten-Kombinationen innerhalb von Feed-Forward-Blöcken als auch gesamte Attention-Heads.

Zentrale Beiträge

Elastische Pruning-Strategie: Eine effiziente, schnelle Pruning-Strategie für vortrainierte Vision Transformer, die elastische Modelle liefert, die an jede gewünschte Rechenbeschränkung anpassbar sind, ohne Retraining zu erfordern.
Evolutionäre Hessian-Approximation: Eine neuartige Strategie unter Verwendung eines genetischen Algorithmus (xNES) zur Approximation der Off-Diagonal-Komponenten der Hessian für Netzwerkstrukturen, welche die Korrelationen zwischen den Blöcken erfasst, die traditionelle diagonale Approximationen übersehen.
Label-freie, Head-agnostische Performance: Die Methode erreicht eine State-of-the-Art-Performance unter signifikanter Pruning-Belastung, ohne gelabelte Daten oder einen Klassifikations-Head zu benötigen, und generalisiert über diverse überwachte und selbstüberwachte Foundation-Modelle hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten SnapViT auf acht Datensätzen (einschließlich ImageNet-1k, Pascal VOC und verschiedenen feingranularen Benchmarks) mittels k-Nearest-Neighbor (k-NN) Klassifikation, Linear Probing und linearer semantischer Segmentierung.

Performance vs. SOTA: SnapViT erreicht konsistent die State-of-the-Art-Methoden (LAMP, LLM Surgeon, FPTP, SparseGPT, SNIP Magnitude, NViT) oder übertrifft sie bei verschiedenen Sparsity-Leveln.
- Für DINOv1 ViT-B/16 prunt die Methode auf 40% Sparsity mit weniger als 5% Genauigkeitsverlust und erzielt eine 1,58-fache Beschleunigung der Inferenz.
- Bei 50% Sparsity auf überwachten AugReg-Modellen übertrifft es SNIP um 7% und FPTP um 12,3% in der linearen Klassifikation.
- Für SigLIPv2 und DINOv3 (großskalige Foundation-Modelle) übertrifft die Methode die Baselines signifikant, mit Verbesserungen von bis zu 34,3% in der linearen Klassifikation gegenüber der zweitbesten Methode.
Effizienz: Der gesamte Pruning-Prozess für eine Modellfamilie (z. B. DeIT-III) dauert weniger als fünf Minuten auf einer einzelnen A100 GPU.
Post-Processing: Die Methode ist kompatibel mit Post-Pruning-Gewichtskorrektur (SparseGPT-Stil) und Full Fine-Tuning. Mit einem einzigen Schritt der Gewichtskorrektur bleibt die Performance bei extremer Sparsity (z. B. 50% bei SigLIPv2) weitgehend erhalten.
Skalierbarkeit: Obwohl großskaliges Vortraining (z. B. DINOv3, SigLIPv2) das Pruning aufgrund verteilter Repräsentations-Kenntnisse schwieriger macht, bleibt SnapViT effektiv, insbesondere in Kombination mit Gewichtskorrektur oder längeren Optimierungshorizonten (500 xNES Iterationen).

Bedeutung und Ansprüche

Das Paper behauptet, dass SnapViT die Lücke zwischen der Starrheit aktueller Foundation-Model-Deployments und dem Bedarf an flexibler, ressourcenadaptiver Inferenz schließt. Durch die Ermöglichung der Extraktion eines Kontinuums von Sub-Netzwerken aus einem einzigen vortrainierten Modell in einem einzigen Schritt, erlaubt es Nutzern, State-of-the-Art-Modelle präzise auf ihre spezifischen Rechenbudgets zuzuschneiden.

Die Autoren betonen, dass ihr Ansatz:

Den Bedarf an Retraining eliminiert, was signifikante Rechenressourcen und Zeit spart.
Die Abhängigkeit von gelabelten Daten entfernt, was die Anwendung auf selbstüberwachte Foundation-Modelle ermöglicht, die keinen Klassifikations-Head besitzen.
Globale strukturelle Korrelationen via evolutionärer Approximation erfasst, wodurch die Limitationen rein lokaler Pruning-Metriken überwunden werden.
Die Umweltbelastung reduziert, indem er die Rechenanforderungen und den Energieverbrauch von Vision Transformern senkt, was potenziell die CO2-Emissionen bei der Inferenz reduziert.

Die Arbeit wird als praktische Lösung für den Einsatz großer Vision-Modelle in ressourcenbeschränkten Umgebungen präsentiert, während gleichzeitig eine hohe Performance über diverse Downstream-Aufgaben hinweg beibehalten wird.