Technische Zusammenfassung: CORP – Strukturiertes Beschneiden von Transformern in geschlossener Form als Ein-Schritt-Repräsentationserhaltung

1. Problemstellung

Transformer-basierte Modelle erreichen State-of-the-Art-Leistung, verursachen jedoch prohibitiv hohe Rechen- und Speicherkosten, was den Einsatz auf ressourcenbeschränkter Hardware behindert. Während strukturiertes Beschneiden (Entfernen ganzer Dimensionen oder Teilstrukturen) praktische Geschwindigkeitssteigerungen bietet, verlassen sich die meisten bestehenden Methoden auf Nachtraining, iterative Optimierung oder Zugriff auf gelabelte Daten und Gradienten. In strengen Szenarien für den Einsatz nach dem Training sind diese Ressourcen oft nicht verfügbar.

Naives Ein-Schritt-strukturiertes Beschneiden versagt unter diesen Einschränkungen, da das Entfernen von Kanälen oder Aufmerksamkeitsdimensionen systematische Repräsentationsfehler einführt, die sich über die Schichten hinweg akkumulieren und selbst bei moderaten Sparsitätsniveaus zu einem raschen Genauigkeitskollaps führen. Die Autoren argumentieren, dass dieses Versagen nicht allein durch die Qualität des Wichtigkeits-Rankings bedingt ist, sondern durch das Fehlen einer expliziten Fehlerwiederherstellung für die entfernten Komponenten.

2. Methodik: CORP

Die Autoren schlagen CORP (Closed-Form One-Shot Representation-Preserving Structured Pruning) vor, ein Framework, das Beschneiden als Repräsentationswiederherstellungsproblem neu fasst. CORP arbeitet ohne Labels, Gradienten oder Feinabstimmung und nutzt lediglich einen kleinen Satz ungelabelter Kalibrierungsdaten.

Grundlegende Philosophie

Anstatt Beschneiden ausschließlich als Auswahlproblem zu betrachten, modelliert CORP die entfernten Komponenten als affine Funktionen der beibehaltenen Komponenten. Es leitet geschlossene Lösungen der Ridge-Regression her, um die fehlenden Beiträge zu schätzen, und integriert diese Kompensationen direkt in die Gewichte der verbleibenden Schichten. Dies erhält die Ausgabeverteilung der Schicht, ohne iterative Optimierung oder zusätzliche Inferenzmodule zu erfordern.

Technische Komponenten

Die Methode zielt auf zwei primäre Strukturen in Transformern ab:

A. Beschneiden von MLP-Kanälen

Für eine MLP-Schicht definiert durch $y = Wx + b$, wobei der Input $x$ in beibehaltene ($x_S$) und beschnittene ($x_P$) Kanäle partitioniert ist:

1. Modellierung: Die beschnittenen Aktivierungen $x_P$ werden als affine Funktion der beibehaltenen Aktivierungen approximiert: $x_P \approx Bx_S + c$.
2. Geschlossene Lösung: Die Parameter $(B, c)$ werden mittels Ridge-Regression auf dem Kalibrierungsdatensatz $D$ hergeleitet:
   $$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$$
   wobei $\Sigma$ die Kovarianzmatrizen der Aktivierungen darstellt.
3. Gewichtsfaltung: Die Kompensation wird in die verbleibenden Gewichte gefaltet:
   $$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$$
   Dies ergibt eine Standard-Linearschicht mit reduzierten Dimensionen, die den Rekonstruktionsfehler des ursprünglichen Outputs minimiert.

B. Beschneiden von Aufmerksamkeitsdimensionen (Query/Key)

Für die Selbstattention beschneidet CORP Dimensionen in den Query ($Q$) und Key ($K$) Projektionen, lässt die Value ($V$) Projektion jedoch intakt, um komplexe Kopplungsprobleme zu vermeiden.

1. Logit-Wiederherstellung: Die ursprünglichen Attention-Logits sind $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$. Der Term $Q_P K_P^\top$ (fehlende Logits) wird unter Verwendung der beibehaltenen Unterräume approximiert: $Q_P K_P^\top \approx Q_S M K_S^\top$, wobei $M$ eine kleine Kompensationsmatrix ist.
2. Geschlossene Lösung: $M$ wird durch Lösen eines Ridge-Regressionsproblems über den Kalibrierungsdatensatz geschätzt, formuliert als Sylvester-Gleichung oder ein vektorisiertes lineares System:
   $$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$$
3. Gewichtsfaltung: Die Matrix $I + M$ wird via SVD faktorisiert ($U\Sigma V^\top$) und in die Query- und Key-Projektionen gefaltet:
   $$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$$

Ranking-Strategie

Vor der Kompensation rankt CORP Kanäle/Dimensionen für die Entfernung anhand einfacher, datengesteuerter Metriken:

• MLP: Eine kombinierte Metrik aus Aktivierungsenergie ($E_i = E[x_i^2]$) und Gewichtsmagnitude ($|W_{:,i}|^2$).
• Attention: Erwartete Logit-Energie ($s_j = E[\|q_j\|^2 \|k_j\|^2]$).
  Kanäle mit den niedrigsten Scores werden beschnitten.

3. Hauptbeiträge

1. Neufassung des Beschneidens: Die Autoren verlagern den Fokus des Ein-Schritt-Beschneidens von reinem „Ranking" auf „Repräsentationswiederherstellung" und zeigen, dass Kompensation entscheidend für den Erhalt der Genauigkeit ist.
2. Geschlossenes Framework: CORP bietet eine einheitliche, geschlossene Lösung sowohl für das Beschneiden von MLP-Kanälen als auch für Q/K-Aufmerksamkeitsdimensionen, die keine Gradienten, Labels oder Feinabstimmung erfordert.
3. Einheitliche Kompensation: Im Gegensatz zu früheren Arbeiten, die möglicherweise nur den Output eines Blocks kompensieren, führt CORP eine schichtweise Repräsentationswiederherstellung durch und führt eine spezifische Logit-Raum-Kompensation für Aufmerksamkeitsdimensionen ein, wobei alle Korrekturen direkt in die reduzierten Projektionen gefaltet werden.

4. Experimentelle Ergebnisse

Experimente wurden auf ImageNet (DeiT- und ViT-Modelle), WikiText-2 (OPT-1.3B) und nachgelagerten Aufgaben (DINOv2 auf NYU Depth V2 und ADE20k) durchgeführt.

• Erhalt der Genauigkeit:

  • DeiT-Huge: Erzielt 83,27 % Top-1-Genauigkeit nach Beschneiden von 50 % sowohl der MLP- als auch der Aufmerksamkeitsstrukturen (ein Rückgang von nur ~1,7 % gegenüber dem Basiswert von 84,97 %).
  • Skalierbarkeit: Größere Modelle (z. B. DeiT-Huge) zeigen stärkere Redundanz und einen besseren Genauigkeitserhalt unter aggressiver Sparsität im Vergleich zu kleineren Modellen (z. B. DeiT-Tiny).
  • Vergleich: CORP übertrifft oder gleicht State-of-the-Art-Methoden wie GRAIL, SNOWS und VBP aus. Beispielsweise erzielt CORP bei DeiT-Base mit 50 % MLP-Sparsität 72,0 % Top-1, verglichen mit 68,6 % für GRAIL und 66,4 % für VBP.
  • Kein Feinabstimmung: CORP erreicht die Leistung von DC-ViT (welches Few-Shot-Feature-Mimicking-Feinabstimmung verwendet) ohne jegliche Gradientenupdates.

• Effizienzgewinne:

  • DeiT-Huge: Bei 50 % Sparsität werden Parameter und FLOPs um ~40–45 % reduziert, was zu einer 1,6-fachen Durchsatzbeschleunigung auf einer NVIDIA RTX 3090 führt.
  • OPT-1.3B: Das Beschneiden von 30 % sowohl der MLP- als auch der Aufmerksamkeitsstrukturen reduziert FLOPs um 27,2 % und Parameter um 25,0 %, wobei die Perplexität nur moderat ansteigt (von 14,60 auf 25,41 beim gemeinsamen Beschneiden).
  • Nachgelagerte Aufgaben: Bei DINOv2 erhält ein 50%iges Beschneiden des Backbones die nachgelagerte Leistung bei der Tiefenschätzung (RMSE verbessert sich von 0,3308 auf 0,3167 für DINOv2-Huge) und Segmentierung.

• Kalibrierungseffizienz:

  • Die Methode ist robust gegenüber der Größe des Kalibrierungsdatensatzes; größere Modelle bleiben auch mit kleinen Kalibrierungssätzen (z. B. 1000 Proben) stabil.
  • Die Laufzeitanalyse zeigt, dass die Kalibrierung die Kosten dominiert, während Ranking und geschlossene Kompensation vernachlässigbare Overheads hinzufügen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CORP zeigt, dass strukturiertes Beschneiden effektiv in einem strengen Ein-Schritt-Setting nach dem Training durchgeführt werden kann, indem es als Repräsentationswiederherstellungsproblem behandelt wird. Die wesentliche Bedeutung liegt in:

• Praktischer Einsatzfähigkeit: Es ermöglicht Kompression auf Hardware, wo Nachtraining aufgrund fehlender Labels oder Gradienten unmöglich ist.
• Theoretische Einsicht: Sie hebt hervor, dass der „systematische Fehler", der durch das Entfernen additiver Komponenten eingeführt wird, die Hauptursache für Genauigkeitskollaps ist, und dass einfache affine/Logit-Kompensation diesen Fehler ohne komplexe Optimierung wiederherstellen kann.
• Breite Anwendbarkeit: Die Methode zeigt starke Ergebnisse bei Vision-Modellen (DeiT, ViT, DINOv2) und Sprachmodellen (OPT), was auf eine starke Redundanz sowohl in MLP- als auch in Aufmerksamkeitsrepräsentationen über Modalitäten hinweg hindeutet.

Die Autoren vermerken bescheiden Einschränkungen, einschließlich der Annahme unabhängiger Modul-Kompensation (Ignorieren von Interaktionen zwischen Modulen), der Verwendung einheitlicher Sparsitätsverhältnisse und des Fehlens einer Optimierung für die Kombination aus Quantisierung und Beschneiden. Sie stellen fest, dass die Leistung unter starken Verteilungsverschiebungen zwischen Kalibrierungs- und Einsatzdaten abnehmen kann.