Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

Technisches Resümee: Entropie offenbart die Wichtigkeit von Blöcken in Masked Self-Supervised Vision Transformern

Problemstellung
Maskierte selbstüberwachte Vision Transformer (z. B. MAE, VideoMAE) haben ein dominantes Paradigma für das Pretraining etabliert, indem sie reiche visuelle Repräsentationen aus unbeschrifteten Daten lernen. Die beträchtliche Modellgröße dieser Modelle schafft jedoch erhebliche Barrieren für den Einsatz in ressourcenbeschränkten Umgebungen (z. B. Edge-Geräte) und für effizientes Transfer Learning. Eine grundlegende Frage bleibt: Sind alle Transformer-Blöcke gleichermaßen wichtig für die Downstream-Performance?

Bestehende Lösungen stehen vor kritischen Einschränkungen. Sensitivitätsbasiertes Pruning ist zwar effektiv, erfordert jedoch iteratives Block-Entfernen und vollständiges Finetuning, was einen prohibitiven Rechenaufwand verursacht. Datengetriebene Pruning-Methoden verlassen sich auf Downstream-Daten oder Aktivierungsstatistiken, was eine Datensatz-Bias einführt und die Anwendbarkeit einschränkt, wenn Daten nicht verfügbar oder eingeschränkt sind. Unstrukturiertes Pruning führt oft zu unregelmäßigen Sparsity-Mustern, die auf moderner Hardware nur schwer effizient zu implementieren sind. Folglich besteht ein Bedarf an einer prinzipienbasierten, datenfreien und recheneffizienten Methode zur Schätzung der Block-Wichtigkeit und zur Identifizierung von Redundanz, ohne Zugriff auf Trainingsdaten oder Gradienten zu benötigen.

Methodik: Gardener und Gewicht-Anzahl-Entropie
Die Autoren schlagen Gardener vor, einen datenfreien One-Shot-Algorithmus zur Block-Level-Pruning von maskierten selbstüberwachten Vision Transformern. Die zentrale Erkenntnis ist, dass die Wichtigkeit eines Blocks innerhalb der vortrainierten Parameter kodiert ist, spezifisch in der strukturellen Verteilung der Gewichte.

Die Methode stützt sich auf eine neuartige Metrik namens Gewicht-Anzahl-Entropie (weight-number entropy). Im Gegensatz zu konventionellen Entropie-Definitionen, die auf Gewichtsmagnituden oder Aktivierungen operieren, charakterisiert diese Formulierung die Verteilung der Parameter-Anzahlen über Werteintervalle innerhalb eines Transformer-Blocks.

1. Formulierung: Für einen Block $B_l$ mit $N_l$ skalaren Gewichten wird der Wertebereich der Gewichte in $K$ disjunkte Intervalle unterteilt. Die empirische Wahrscheinlichkeitsmasse $p_l(i)$ wird als das Verhältnis der Gewichte berechnet, die in das Intervall $i$ fallen, zur Gesamtzahl der Gewichte im Block.
2. Entropie-Berechnung: Die Gewicht-Anzahl-Entropie $H(B_l)$ wird als $-\sum p_l(i) \log p_l(i)$ berechnet. Diese Metrik erfasst die strukturelle Diversität der Gewichte innerhalb eines Blocks und bleibt dabei invariant gegenüber der Gewichtsskalierung.
3. Pruning-Strategie: Gardener berechnet diese Entropie für jeden Block in einem einzigen Durchlauf über die vortrainierten Parameter. Die Blöcke werden in aufsteigender Reihenfolge der Entropie sortiert. Eine niedrigere Entropie deutet auf eine konzentriertere Verteilung der Parameter hin, was laut den Autoren mit einer geringeren Wichtigkeit für das Transfer Learning korrespondiert. Der Algorithmus entfernt die am niedrigsten eingestuften Blöcke basierend auf einem Ziel-Pruning-Verhältnis in einem einzigen Schritt (one-shot), ohne dass Vorwärts-/Rückwärts-Propagierung, Datenzugriff oder iteratives Finetuning erforderlich sind.

Zentrale Beiträge

• Problemformulierung: Die Arbeit definiert die Herausforderung der datenfreien Schätzung der Block-Wichtigkeit für maskierte selbstüberwachte Vision Transformer unter ressourcenbeschränkten Bedingungen.
• Theoretische Erkenntnis: Sie führt die Gewicht-Anzahl-Entropie als informationstheoretisches Kriterium ein, das ausschließlich aus den vortrainierten Parametern berechnet wird, und demonstriert eine starke Korrelation mit der Oracle-Sensitivität (abgeleitet aus iterativem Block-Entfernen und Finetuning).
• Algorithmus-Vorschlag: Die Autoren schlagen Gardener vor, einen Pruning-Algorithmus mit linearer Zeitkomplexität und vernachlässigbarem Speicherbedarf, der vollständig ohne Daten operiert.
• Empirische Validierung: Umfangreiche Experimente an VideoMAE-B über mehrere Pruning-Verhältnisse und Downstream-Videoerkennungs-Benchmarks (UCF101) zeigen, dass Gardener bestehende datenfreie Baselines konsistent erreicht oder übertrifft und sich eng an die Performance von Sensitivitäts-basiertem (Oracle-) Pruning annähert.
• Strukturelle Analyse: Die Arbeit liefert empirische Belege für eine systematische strukturelle Heterogenität in maskierten selbstüberwachten Modellen und zeigt auf, dass frühe und intermediäre Blöcke dazu neigen, eine höhere Entropie aufzuweisen (indem sie diverse Low/Mid-Level-Muster erfassen), während tiefere Blöcke eine niedrigere Entropie zeigen (was die Spezialisierung auf semantische Abstraktion widerspiegelt).

Ergebnisse
Experimente mit VideoMAE-B (vortrainiert auf Kinetics-400) und finetuned auf UCF101 führen zu folgenden Erkenntnissen:

• Block-Heterogenität: Das Entfernen verschiedener Transformer-Blöcke führt zu drastisch unterschiedlicher Downstream-Performance, was bestätigt, dass Blöcke nicht gleichermaßen wichtig sind. Beispielsweise verursachte das Entfernen von Block 1 einen massiven Einbruch der Weighted Average Recall (WAR) auf 46,73 %, während das Entfernen von Block 12 zu einer WAR von 91,29 % führte (im Vergleich zum Original von 91,78 %).
• Korrelation mit dem Oracle: Die durch die Gewicht-Anzahl-Entropie ermittelte Rangfolge der Blöcke stimmt stark mit der sensitivitätsbasierten Oracle-Rangfolge überein. Blöcke mit höherer Entropie entsprechen konsistent größeren Leistungseinbußen bei ihrer Entfernung.
• Pruning-Performance: Gardener übertrifft andere datenfreie Kriterien (einschließlich magnitudenbasierter, varianzbasierter und zufälliger Auswahl) über alle Pruning-Verhältnisse hinweg. Bemerkenswerterweise behält das geprunte Modell selbst nach dem Entfernen von bis zu 91,7 % der Blöke eine wettbewerbsfähige Transferleistung (WAR von 68,81 %) bei, was eng an das Ergebnis des Sensitivitäts-basierten Prunings bei demselben Verhältnis liegt.
• Effizienz: Die Methode verursacht einen vernachlässigbaren Rechenaufwand, da sie in einem einzigen Durchlauf über die Parameter operiert, was sie um Größenordnungen effizienter macht als iterative Sensitivitäts-basierte Methoden.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass die informationstheoretische Analyse vortrainierter Gewichte einen prinzipienbasierten und effizienten Weg für die Modellkompression und das ressourceneffiziente Transfer Learning bietet. Indem die Autoren zeigen, dass die Wichtigkeit von Blöcken ohne jeglichen Datenzugriff genau geschätzt werden kann, stellen sie die Notwendigkeit von datengestütztem oder iterativem Pruning für maskierte selbstüberwachte Transformer infrage.

Die Arbeit hebt hervor, dass in diesen Modellen eine erhebliche Redundanz auf Block-Ebene existiert und dass die Gewicht-Anzahl-Entropie intrinsische repräsentative Eigenschaften erfasst, die während des Pretrainings gelernt wurden. Dies ermöglicht die Identifizierung redundanter Blöcke durch einfache Messungen, was eine schnelle Modelladaption ermöglicht. Die Autoren positionieren Gardener nicht als perfekten Ersatz für alle Pruning-Szenarien, sondern als robusten, kostengünstigen Surrogat, der das Verhalten des Oracles unter strengen Zero-Data-Beschränkungen approximiert und so den Einsatz großskaliger Foundation Models in Umgebungen erleichtert, in denen Daten und Rechenleistung begrenzt sind.

Limitierungen
Die Autoren räumen ein, dass die Gewicht-Anzahl-Entropie ein grobkörniges, statisches Maß ist, das nicht auf eingangsabhängiges Verhalten oder aufgabenspezifische Aktivierungsmuster reagiert, was die Anpassungsfähigkeit an hochspezialisierte Downstream-Aufgaben einschränken kann. Darüber hinaus konzentriert sich die aktuelle Studie auf das Block-Level-Pruning in ViT-basierten Masked Autoencodern; die Erweiterung dieser Kriterien auf feingranularere Strukturen (z. B. Attention Heads) bleibt eine offene Frage. Schließlich ist die Korrelation mit der Sensitivität zwar stark, aber über alle Architekturen oder Trainingsregime hinweg nicht garantiert perfekt.