🤖 AI

Rethinking Depth Pruning for Vision Transformers: A Heterogeneity-Aware Perspective

Dieses Paper führt HetDPT ein, eine heterogenitätsbewusste Tiefenpruning-Methode, die die Herausforderungen der Genauigkeitswiederherstellung bestehender Ansätze durch die Adressierung von Inter-Layer-Heterogenität überwindet und dadurch signifikante Beschleunigungen bei minimalem Genauigkeitsverlust bei Vision Transformern über mehrere Benchmarks hinweg erreicht.

Ursprüngliche Autoren: Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Veröffentlicht 2026-07-07

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenfeng Su, Kang Zhao, Han Bao, Tao Yuan, Zhongzhe Hu, Xianzhi Yu, Wenxuan Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Vision Transformer (ViT) als eine hoch entwickelte, mehrstöckige Fabrik vor, die darauf spezialisiert ist, Bilder zu erkennen. Jede Etage dieser Fabrik stellt eine „Schicht“ (Layer) dar, in der das Bild verarbeitet wird. Einige Etagen sind für die Attention (das Scannen des gesamten Bildes, um zu sehen, wie verschiedene Teile zusammenhängen) zuständig, andere für die Activation (das Anwenden eines spezifischen Filters oder einer „Nichtlinearität“, um Details zu schärfen).

Jahrelang versuchten Ingenieure, diese Fabriken schneller zu machen, damit sie auf kleineren Geräten laufen können, und konzentrierten sich dabei hauptsächlich auf Width Pruning (Breiten-Pruning). Das ist so, als würde man weniger Arbeiter auf jeder Etage einstellen. Man erhält eine kleinere Fabrik, aber das Produkt muss immer noch durch jede einzelne Ebene reisen, da die Anzahl der Etagen gleich bleibt.

Das Paper argumentiert, dass ein besserer Weg, die Geschwindigkeit zu erhöhen, das Depth Pruning (Tiefen-Pruning) ist: einfach ganze Etagen zu entfernen. Wenn man 50 % der Etagen entfernt, erreicht das Produkt das Ende doppelt so schnell. Bisherige Versuche, dies zu tun, scheiterten jedoch kläglich. Die Fabrik brach zusammen und die Qualität des Ergebnisses (der Bilderkennung) brach ein.

Die Autoren dieses Papers, HetDPT, haben herausgefunden, warum die Fabrik zusammenbrach, und entwickelten eine neue Methode, um dies zu beheben. Hier ist die Aufschlüsselung in einfachen Worten:

Das Problem: Der „Mismatch“ und die „unterschiedlichen Persönlichkeiten“

Das Paper identifiziert zwei Hauptgründe, warum das einfache Löschen von Etagen nicht funktioniert:

Der Dimensions-Mismatch (Das kaputte Förderband):
Stellen Sie sich vor, die Fabrik hat ein Förderbandsystem. Die „Attention“-Etagen und die „Activation“-Etagen sind auf eine bestimmte Weise miteinander verbunden. Wenn man einfach eine „Activation“-Etage herausreißt, kommt das Förderband der vorherigen Etage bei einer Maschine an, die nicht mehr existiert, oder die Maschine, die doch existiert, erwartet ein Paket einer anderen Größe. Das Paper nennt dies einen „Dimension Mismatch“. Es ist, als würde man versuchen, einen quadratischen Steckzapfen in ein rundes Loch zu stecken, weil man den dazwischenliegenden Adapter entfernt hat.
- Die Lösung: Die Autoren erkannten, dass sie die „Activation“-Etagen komplett entfernen und einfach die beiden „Linear“-Maschinen (die auf beiden Seiten davon liegen) zusammenführen können. Dies schafft eine neue, nahtlose Maschine, die perfekt zum Förderband passt und den reibungslosen Betrieb der Fabrik auch mit weniger Etagen gewährleistet.
Die Heterogenität (Die unterschiedlichen Persönlichkeiten):
Dies ist die wichtigste Erkenntnis des Papers. Die Autoren erkannten, dass Attention-Etagen und Activation-Etagen nicht gleich sind; sie haben unterschiedliche „Persönlichkeiten“.
- Attention-Etagen sind wie die leitenden Manager. Wenn man ein paar Manager entlässt, läuft die Fabrik anfangs etwas langsamer, aber es dauert sehr lange, neue auszubilden, um wieder die volle Geschwindigkeit zu erreichen. Sie sind schwer schnell zu ersetzen.
- Activation-Etagen sind wie die Junior-Praktikanten. Wenn man sie entlässt, stürzt die Fabrik sofort ab (die Genauigkeit sinkt gegen Null). Jedoch, wenn man ihnen eine kurze 10-minütige Schulung gibt (Fine-Tuning), erreichen sie fast augenblicklich wieder die volle Leistung.
- Der Fehler alter Methoden: Frühere Methoden behandelten alle Etagen gleich. Sie betrachteten die „Gradienten“ (ein Maß dafür, wie sehr eine Etage beiträgt) und entließen diejenigen mit den niedrigsten Werten. Da die Senior-Manager (Attention) von Natur aus eine andere „Spannung“ haben als die Praktikanten (Activation), entließen die alten Methoden ständig die falschen Leute, was zum Zusammenbruch führte.

Die Lösung: HetDPT (Der smarte Fabrikmanager)

Die Autoren entwickelten einen zweistufigen Prozess namens HetDMT (Heterogeneity-Aware Depth Pruning), um diese Fabrik zu managen:

Schritt 1: Die Budgetallokation (Die Strategie)
Bevor jemand entlassen wird, nutzt der Manager einen „Model Accuracy Predictor“ (einen smarten Rechner). Anstatt zu fragen: „Welche spezifische Etage ist die schlechteste?“, fragt er: „Wenn wir 3 Senior-Manager und 5 Praktikanten entlassen, wird die Fabrik dann noch funktionieren?“

Es werden verschiedene Kombinationen beim Entlassen von Managern vs. Praktikanten getestet.
Es findet das perfekte Gleichgewicht (z. B. „Wir können 10 Etagen insgesamt entlassen, aber wir müssen 6 Praktikanten und nur 4 Manager entlassen, um die Qualität hoch zu halten“).
Dies vermeidet den Fehler, Manager und Praktikanten direkt miteinander zu vergleichen, was so ist, als würde man Äpfel mit Birnen vergleichen.

Schritt 2: Die Ausführung (Die Bereinigung)
Sobاح der Budget festgelegt ist (z. B. „Entlasse 6 Praktikanten“), geht die Methode separat in jede Gruppe.

Sie betrachtet alle Praktikanten und entlässt diejenigen, die am wenigsten benötigt werden.
Sie betrachtet alle Manager und entlässt diejenigen, die am wenigsten benötigt werden.
Entscheidend: Es führt die Linear-Maschinen um die entlassenen Praktikanten herum zusammen, damit das Förderband perfekt passt (löst den Mismatch).
Schließlich gibt sie dem verbleibenden Personal eine kurze „Auffrischungsschulung“ (Fine-Tuning), um sie wieder auf 100 % Leistung zu bringen.

Die Ergebnisse: Schneller, ohne an Qualität zu verlieren

Die Autoren testeten dies an mehreren Standard-Bilddatensätzen (wie ImageNet, das wie ein riesiges Fotoalbum mit 1 Million Bildern ist).

Geschwindigkeit: Sie erreichten eine 1,58-mal schnellere Verarbeitung für ein Standardmodell (DeiT-B), während sie die Genauigkeit exakt auf dem Niveau des Originalmodells hielten.
Extreme Kompression: Wenn sie diese Methode mit anderen Techniken (Width Pruning) kombinierten, erschufen sie ein superleichtgewichtiges Modell, das 5,19-mal schneller als das Original ist, bei fast keinem Verlust an Genauigkeit.
Vielseitigkeit: Es funktionierte nicht nur bei Standardmodellen, sondern auch bei komplexeren Modellen (Swin Transformer) und sogar massiven Modellen mit Milliarden von Parametern (DINO-V2-Giant).

Zusammenfassende Analogie

Stellen Sie sich eine lange Montagelinie vor, die Autos fertigt.

Der alte Weg: Sie versuchen, sie zu beschleunigen, indem Sie die Arbeiter auf der Linie schneller arbeiten lassen (Width Pruning), oder indem Sie zufällig Arbeiter von verschiedenen Stationen entlassen, wodurch das Fahrgestell der Autos von der Linie fällt, weil die nächste Station nicht bereit ist (Fehlgeschlagenes Depth Pruning).
Der HetDPT-Weg: Sie erkennen, dass einige Stationen (Praktikanten) komplett entfernt werden können, wenn Sie die beiden Maschinen auf beiden Seiten zusammen verschweißen. Sie erkennen auch, dass das Entlassen der Stationsleiter (Attention) die Linie für lange Zeit beeinträchtigt, während das Entlassen der Praktikanten die Linie nur kurzzeitig belastet und sie schnell wieder genesen. Also berechnen Sie sorgfältig, wie viele von jeder Art Sie entlassen, schweißen die Maschinen zusammen und geben der verbleibenden Crew eine kurze Motivationsrede. Das Ergebnis? Das Auto kommt doppelt so schnell am Ende der Linie an und ist immer noch ein perfektes Auto.

Das Paper kommt zu dem Schluss, dass, indem wir die unterschiedlichen „Persönlichkeiten“ der Schichten respektieren und den mechanischen Mismatch beheben, wir diese leistungsstarken KI-Modelle signifikant schneller auf alltäglichen Geräten laufen lassen können, ohne ihre Intelligenz zu verlieren.

Technisches Resümee: Überdenken der Tiefen-Pruning-Verfahren für Vision Transformer: Eine Heterogenitäts-bewusste Perspektive

1. Problemstellung

Vision Transformer (ViTs) haben in verschiedenen Domänen State-of-the-Art-Leistungen erzielt, leiden jedoch unter hohen Rechenkosten und großen Parameterzahlen, was zu verlängerten Inferenz-Latenzen führt. Während strukturiertes Pruning eine effektive Kompressionsstrategie darstellt, stehen bestehende Methoden vor signifikanten Einschränkungen:

Breiten-Pruning (Width Pruning): Reduziert Kanäle oder Attention-Heads innerhalb von Schichten, liefert aber auf gängiger Hardware oft nur begrenzte Beschleunigungen.
Tiefen-Pruning (Depth Pruning): Entfernt ganze Schichten und bietet damit ein wesentlich höheres Potenzial für die Beschleunigung (wie in Abbildung 2a gezeigt). Es ist jedoch notorisch schwierig, die Genauigkeit wiederherzustellen, insbesondere bei aggressivem Entfernen von Schichten.
Der Kern-Engpass: Das Paper argumentiert, dass das Scheitern bestehender Tiefen-Pruning-Methoden auf zwei übersehenen Problemen beruht:
1. Vernachlässigung der Heterogenität: ViTs enthalten unterschiedliche Schichttypen (z. B. Attention-Schichten vs. Aktivierungsfunktions-Schichten innerhalb von Feed-Forward-Networks). Bestehende Methoden behandeln diese Schichten oft einheitlich oder verlassen sich auf gradientenbasierte Metriken, die aufgrund der signifikanten Disparität der Gradientenskalen zwischen diesen Typen versagen.
2. Dimensions-Mismatch: Das gleichzeitige Pruning von Attention-Schichten und den Linearen Schichten im FFN erzeugt strukturelle Inkompatibilitäten. Da FFNs einen Expansions-Kontraktions-Mechanismus nutzen (z. B. $D \to 4D \to D$ ), bricht das Entfernen einer Linearen Schicht die für nachfolgende Schichten erforderliche Tensorform-Kontinuität (illustriert in Abbildung 3).

2. Methodik: HetDPT

Die Autoren schlagen HetDPT (Heterogeneity-aware DePTh pruning) vor, ein zweistufiges Framework, das darauf ausgelegt ist, Heterogenität zu adressieren und Dimensions-Mismatches zu vermeiden.

Zentrale Erkenntnisse

Die Methode basiert auf zwei kritischen Beobachtungen bezüglich der Schicht-Heterogenität:

Gradienten-Disparität: Attention-Schichten und Aktivierungs-Schichten weisen während der Backpropagation sehr unterschiedliche Gradientengrößen auf. Die Verwendung von Standard-Gradienten-Metriken zur Wichtigkeit führt zu verzerrten Pruning-Entscheidungen, die konsequent einen Typ gegenüber dem anderen bevorzugen.
Asymmetrie der Wiederherstellung (Recovery Asymmetry):
- Das Pruning von Attention-Schichten verursacht moderate anfängliche Genauigkeitsverluste, erfordert aber ein umfangreiches Retraining zur Wiederherstellung.
- Das Pruning von Aktivierungs-Schichten verursacht eine schwere anfängliche Degradierung (oft $\ge 90\%$ Genauigkeitsverlust), ermöglicht aber eine schnelle Wiederherstellung während des Fine-Tunings.
- Implikation: Kurzsichtige Metriken, die die unmittelbare Genauigkeit nach dem Pruning bewerten, sind ineffektiv.

Die zweistufige Pipeline

Stufe 1: Identifizierung redundanter Schichten
Diese Stufe bestimmt, wie viele und welche spezifischen Schichten zu prunen sind, ohne heterogene Schichttypen direkt miteinander zu vergleichen.

Schritt 1: Budget-Allokation für das Pruning (Model Accuracy Predictor - MAP): Anstatt Schichten direkt zu vergleichen, nutzt die Methode einen leichtgewichtigen Datenerfassungsprozess (iteratives Prune $\to$ schnelles Fine-Tune $\to$ Evaluierung), um einen Datensatz aufzubauen. Eine polynomische Funktion approximiert den Model Accuracy Predictor (MAP), der die endgültige Genauigkeit eines geprunten Modells in Abhängigkeit von den Pruning-Raten der Attention-Schichten ( $\tilde{m}_a$ ) und der Aktivierungs-Schichten ( $\tilde{m}_g$ ) vorhersagt. Dies ermöglicht es dem System, die optimale Allokation des Pruning-Budgets zwischen den beiden Schichttypen zu finden.
Schritt 2: Spezifische Entfernung redundanter Schichten: Sobald das Budget alloziert ist, identifiziert die Methode spezifische Schichten, die innerhalb jeder homogenen Gruppe (z. B. nur unter den Attention-Schichten) zu entfernen sind. Sie verwendet lernbare Wichtigkeitsparameter und Gradientenpropagation zur Rangfolge, um sicherzustellen, dass kein Cross-Type-Vergleich stattfindet.

Stufe 2: Optimierung des geprunten Modells

Fine-tuning: Das geprunte Modell wird feinjustiert, optional unter Verwendung von Self-Distillation, die vom ursprünglichen, ungeprunten ViT geleitet wird, um die Genauigkeit wiederherzustellen.
Merging: Um den Dimensions-Mismatch zu lösen und die Inferenz zu beschleunigen, werden benachbarte Lineare Schichten, die durch eine entfernte Aktivierungs-Schicht getrennt wurden, zusammengeführt (merged). Wenn beispielsweise eine Aktivierungs-Schicht entfernt wird, werden $L_{l,1}$ und $L_{l,2}$ zu einer einzigen Linearen Schicht $L_l$ verschmolzen. Dies reduziert die Tiefe des Modells bei gleichzeitiger Wahrung der strikten Dimensions-Ausrichtung.

HetDPT+: Die Autoren integrieren HetDPT weiter mit etablierten Breite-Pruning-Methoden, um HetDPT+ zu schaffen, eine Pipeline für extreme ViT-Kompression, die sowohl die Tiefe als auch die Breite adressiert.

3. Zentrale Beiträge

Pruning von Aktivierungsfunktionen: Das Paper schlägt die erste Strategie vor, um Aktivierungsfunktions-Schichten (GELU) in ViTs zu entfernen. Durch das Entfernen dieser Nicht-Linearitäten können benachbarte Lineare Schichten natürlich zusammengeführt werden, was das Dimensions-Mismatch-Problem löst, das der heterogenen Tiefen-Pruning inhärent ist.
Analyse und Lösung der Heterogenität: Die Autoren decken die Gradienten-Disparität und die Asymmetrie der Wiederherstellung auf und adressieren diese. Sie führen ein zweistufiges Framework (HetDPT) ein, das mit einem Model Accuracy Predictor (MAP) ausgestattet ist, um diese Heterogenitäten zu verwalten, unterstützt durch eine theoretische Analyse, die die Existenz einer optimalen Konfiguration und die Konsistenz des Prädiktors unter verrauschtem Fast-Finetuning garantiert.
State-of-the-Art Rekorde:
- Tiefen-Pruning: HetDPT erreicht eine 1,58 $\times$ Beschleunigung für DeiT-B und 1,39 $\times$ für DeiT-S mit nahezu verlustfreier Genauigkeit und übertrifft damit bestehende Tiefen-Pruning-Arbeiten.
- Extreme Kompression: HetDPT+ setzt einen neuen Benchmark für extreme ViT-Kompression. Für die Isomorphic-Pruning-2.6G-Konfiguration erhöht es das Beschleunigungsverhältnis von 4,24 $\times$ auf 5,19 $\times$ , während eine nahezu verlustfreie Genauigkeit beibehalten wird.

4. Experimentelle Ergebnisse

Die Methode wurde auf ImageNet-1K, CIFAR-100, COCO und ADE20K evaluiert.

Genauigkeit-Beschleunigungs-Trade-off: Auf ImageNet-1K übertrifft HetDPT konsistent das isolierte Pruning von Attention- oder Aktivierungs-Schichten. Für DeiT-B erreicht es 81,8 % Top-1 Genauigkeit (entspricht dem Baseline-Modell) bei einer 1,58 $\times$ Beschleunigung.
Vergleich mit SOTA: HetDPT+ übertrifft bestehende extreme Kompressionsmethoden (z. B. Isomorphic Pruning, NViT). Bei ~81 % Genauigkeit erreicht HetDPT+ eine 5,19 $\times$ Beschleunigung im Vergleich zu 4,24 $\times$ bei Isomorphic Pruning. In ultra-extremen Settings (1,1G MACs) wird eine 9,19 $\times$ Beschleunigung erreicht.
Transferierbarkeit: Die Methode zeigt eine robuste Transferleistung auf CIFAR-100 und behält die Leistung bei dichten Vorhersageaufgaben (COCO Object Detection und ADE20K Semantic Segmentation) mit minimaler Genauigkeitsdegradierung bei.
Skalierbarkeit: Der Ansatz skaliert auf Milliarden-Parameter-Modelle, demonstriert an DINO-V2-Giant, wo er 15 Schichten mit nur 0,06 % Genauigkeitsverlust prunt.
Orthogonalität: HetDPT ist orthogonal zu Token-Pruning-Methoden (z. B. GTP-ViT, ToMe) und bietet zusätzliche Beschleunigungen, wenn es kombiniert wird.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der primäre Beitrag in der Ermöglichung eines effizienteren Einsatzes von Vision Transformern besteht, indem die spezifischen strukturellen und dynamischen Herausforderungen des Tiefen-Prunings adressiert werden.

Demokratisierung: Durch die erhebliche Reduzierung der Rechenanforderungen (bis zu 9,19 $\times$ Beschleunigung) macht die Methode State-of-the-Art-Vision-Modelle für Forscher und Praktiker mit begrenzten Ressourcen zugänglich.
Nachhaltigkeit: Der reduzierte Energieverbrauch in komprimierten Modellen trägt zu einer ökologisch nachhaltigeren KI-Entwicklung bei.
Edge-Deployment: Die Effizienzgewinne erleichtern den Echtzeit-Einsatz auf Edge-Geräten für Anwendungen, die eine niedrige Latenz erfordern, wie z. B. medizinische Diagnostik und autonome Systeme.

Die Autoren merken eine Einschränkung an: Der Model Accuracy Predictor (MAP) wird derzeit für jede Architekturfamilie neu angepasst (refitted), und die Erweiterung der Methode auf Sprachmodelle oder andere Modalitäten bleibt eine zukünftige Aufgabe. Dennoch etabliert die Arbeit ein neues theoretisches und praktisches Fundament für heterogenes Tiefen-Pruning, das über die „One-Size-Fits-All“-Ansätze der bisherigen Literatur hinausgeht.