Technische Samenvatting: CORP - Gesloten-vormige One-Shot Representatiebehoudende Gestructureerde Pruning voor Transformers

1. Probleemstelling

Op transformers gebaseerde modellen bereiken state-of-the-art prestaties, maar brengen prohibitieve rekenkundige en geheugenkosten met zich mee, wat de implementatie op hardware met beperkte middelen belemmert. Hoewel gestructureerde pruning (het verwijderen van volledige dimensies of substructuren) praktische snelheidswinst biedt, vertrouwen de meeste bestaande methoden op hertraining, iteratieve optimalisatie of toegang tot gelabelde data en gradiënten. In strikte post-training implementatiescenario's zijn deze middelen vaak niet beschikbaar.

Naieve one-shot gestructureerde pruning faalt onder deze beperkingen, omdat het verwijderen van kanalen of attention-dimensies systematische representatiefouten introduceert die zich over de lagen opstapelen, wat leidt tot een snelle ineenstorting van de nauwkeurigheid, zelfs bij matige sparsiteitsniveaus. De auteurs betogen dat dit falen niet enkel wordt gedreven door de kwaliteit van de belangrijkheidsranking, maar door het ontbreken van expliciete foutherstel voor de verwijderde componenten.

2. Methodologie: CORP

De auteurs stellen CORP (Closed-Form One-Shot Representation-Preserving Structured Pruning) voor, een raamwerk dat pruning herformuleert als een representatieherstelprobleem. CORP werkt zonder labels, gradiënten of fine-tuning, en maakt gebruik van slechts een kleine set ongelabelde kalibratiedata.

Kernfilosofie

In plaats van pruning uitsluitend te zien als een selectietask, modelleert CORP de verwijderde componenten als affiene functies van de behouden componenten. Het leidt gesloten-vormige ridge-regressieoplossingen af om de ontbrekende bijdragen te schatten en vouwt deze compensaties direct in de gewichten van de overgebleven lagen. Dit behoudt de outputverdeling van de laag zonder iteratieve optimalisatie of extra inferentiemodules te vereisen.

Technische Componenten

De methode richt zich op twee primaire structuren in Transformers:

A. MLP-kanaalpruning

Voor een MLP-laag gedefinieerd als $y = Wx + b$, waarbij de input $x$ is opgedeeld in behouden ($x_S$) en gepreinde ($x_P$) kanalen:

1. Modellering: De gepreinde activaties $x_P$ worden benaderd als een affiene functie van de behouden activaties: $x_P \approx Bx_S + c$.
2. Gesloten-vormige oplossing: De parameters $(B, c)$ worden afgeleid via ridge-regressie op de kalibratieset $D$:
   $$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$$
   waarbij $\Sigma$ de covariantiematrices van de activaties voorstelt.
3. Gewichtsinvoeging: De compensatie wordt ingevoegd in de overgebleven gewichten:
   $$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$$
   Dit resulteert in een standaard lineaire laag met gereduceerde dimensies die de reconstructiefout van de oorspronkelijke output minimaliseert.

B. Attention-dimensiepruning (Query/Key)

Voor self-attention preint CORP dimensies in de Query ($Q$) en Key ($K$) projecties, en laat de Value ($V$) projectie intact om complexe koppelingsproblemen te vermijden.

1. Logit-herstel: De oorspronkelijke attention-logits zijn $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$. De term $Q_P K_P^\top$ (ontbrekende logits) wordt benaderd met behulp van de behouden subruimtes: $Q_P K_P^\top \approx Q_S M K_S^\top$, waarbij $M$ een kleine compensatiematrix is.
2. Gesloten-vormige oplossing: $M$ wordt geschat door een ridge-regressieprobleem op te lossen over de kalibratieset, geformuleerd als een Sylvester-vergelijking of een vectoriseerbaar lineair systeem:
   $$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$$
3. Gewichtsinvoeging: De matrix $I + M$ wordt gefactoriseerd via SVD ($U\Sigma V^\top$) en ingevoegd in de Query- en Key-projecties:
   $$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$$

Rankingstrategie

Voordat compensatie plaatsvindt, rangschikt CORP kanalen/dimensies voor verwijdering met behulp van eenvoudige, datagedreven metrieken:

• MLP: Een gecombineerde metriek van activatie-energie ($E_i = E[x_i^2]$) en gewichtsgrootte ($|W_{:,i}|^2$).
• Attention: Verwachte logit-energie ($s_j = E[\|q_j\|^2 \|k_j\|^2]$).
  Kanalen met de laagste scores worden gepreind.

3. Belangrijkste Bijdragen

1. Herformulering van Pruning: De auteurs verschuiven de focus van one-shot pruning van puur "ranking" naar "representatieherstel", en tonen aan dat compensatie cruciaal is voor het behoud van nauwkeurigheid.
2. Gesloten-vormig Raamwerk: CORP biedt een unificerend, gesloten-vormige oplossing voor zowel MLP-kanaal- als Q/K-attention-dimensiepruning die geen gradiënten, labels of fine-tuning vereist.
3. Unificerende Compensatie: In tegenstelling tot eerder werk dat mogelijk alleen de output van een blok compenseert, voert CORP laag-voor-laag representatieherstel uit en introduceert het specifieke compensatie in de logit-ruimte voor attention-dimensies, waarbij alle correcties direct in de gereduceerde projecties worden ingevoegd.

4. Experimentele Resultaten

Experimenten zijn uitgevoerd op ImageNet (DeiT- en ViT-modellen), WikiText-2 (OPT-1.3B) en downstream-taken (DINOv2 op NYU Depth V2 en ADE20k).

• Behoud van Nauwkeurigheid:

  • DeiT-Huge: Bereikt 83,27% Top-1-nauwkeurigheid na het preinen van 50% van zowel de MLP- als de attention-structuren (een daling van slechts ~1,7% ten opzichte van de baseline van 84,97%).
  • Schaalbaarheid: Grotere modellen (bijv. DeiT-Huge) tonen sterkere redundantie en beter behoud van nauwkeurigheid onder agressieve sparsiteit in vergelijking met kleinere modellen (bijv. DeiT-Tiny).
  • Vergelijking: CORP presteert beter dan of gelijk aan state-of-the-art methoden zoals GRAIL, SNOWS en VBP. Bijvoorbeeld, op DeiT-Base met 50% MLP-sparsiteit bereikt CORP 72,0% Top-1, vergeleken met 68,6% voor GRAIL en 66,4% voor VBP.
  • Geen Fine-tuning: CORP komt overeen met de prestaties van DC-ViT (dat few-shot feature-mimicking fine-tuning gebruikt) zonder enige gradiëntupdates.

• Efficiëntiewinst:

  • DeiT-Huge: Bij 50% sparsiteit worden parameters en FLOPs met ~40–45% gereduceerd, wat resulteert in een 1,6× doorvoersnelheidswinst op een NVIDIA RTX 3090.
  • OPT-1.3B: Het preinen van 30% van zowel MLP- als attention-structuren reduceert FLOPs met 27,2% en parameters met 25,0%, waarbij de perplexiteit bescheiden stijgt (van 14,60 naar 25,41 voor gezamenlijke pruning).
  • Downstream-taken: Op DINOv2 behoudt 50% backbone-pruning de downstream-prestaties voor dieptebepaling (RMSE verbetert van 0,3308 naar 0,3167 voor DINOv2-Huge) en segmentatie.

• Kalibratie-efficiëntie:

  • De methode is robuust ten opzichte van de grootte van de kalibratieset; grotere modellen blijven stabiel zelfs met kleine kalibratiesets (bijv. 1000 samples).
  • Runtime-analyse toont aan dat kalibratie de kosten domineert, terwijl ranking en gesloten-vormige compensatie verwaarloosbare overhead toevoegen.

5. Betekenis en Claims

Het artikel claimt dat CORP aantoont dat gestructureerde pruning effectief kan worden uitgevoerd in een strikte one-shot, post-training setting door het te behandelen als een representatieherstelprobleem. De belangrijkste betekenis ligt in:

• Praktische Implementeerbaarheid: Het maakt compressie mogelijk op hardware waar hertraining onmogelijk is vanwege het ontbreken van labels of gradiënten.
• Theoretisch Inzicht: Het benadrukt dat de "systematische fout" die wordt geïntroduceerd door het verwijderen van additieve componenten de primaire oorzaak is van ineenstorting van de nauwkeurigheid, en dat eenvoudige affiene/logit-compensatie deze fout kan herstellen zonder complexe optimalisatie.
• Brede Toepasbaarheid: De methode toont sterke resultaten over visiemodellen (DeiT, ViT, DINOv2) en taalmodellen (OPT), wat wijst op sterke redundantie in zowel MLP- als attention-representaties over modaliteiten heen.

De auteurs merken bescheiden beperkingen op, waaronder de aanname van onafhankelijke modulecompensatie (het negeren van cross-module interacties), het gebruik van uniforme sparsiteitsratio's, en het ontbreken van optimalisatie voor de samenstelling van quantisatie en pruning. Zij stellen dat prestaties kunnen verslechteren onder sterke distributieveranderingen tussen kalibratie- en implementatiedata.