Structural Sensitivity in Compressed Transformers: Error Propagation, Lyapunov Stability, and Formally Verified Bounds

Probleemstelling

De inferentie van grote taalmodellen (LLMs) wordt steeds vaker beperkt door memory bandwidth in plaats van rekenkracht, wat heeft geleid tot een groeiende interesse in modelcompressie (zoals pruning, quantisatie en low-rank factorisatie). Hoewel deze methoden praktische resultaten hebben opgeleverd, blijft een fundamentele vraag onbeantwoord: hoe propageren compressiefouten zich door de lagen van een transformer, en welke structurele eigenschappen van de architectuur reguleren deze propagatie?

Praktijkproblemen zijn:

1. Het ontbreken van inzicht over welke componenten veilig te comprimeren zijn zonder uitgebreide empirische tests voor elk nieuw model.
2. Het gebrek aan formele garanties voor outputkwaliteit, wat noodzakelijk is voor verantwoorde afwegingen tussen kosten en kwaliteit.
3. Het onbegrip van waarom bepaalde componenten catastrofaal gevoelig zijn voor compressie, terwijl andere bijna "gratis" te comprimeren zijn.

Methodologie

De auteurs introduceren een raamwerk genaamd "Living Inference" en combineren drie disciplines: structurele gevoeligheidsanalyse, Lyapunov-stabiliteitstheorie en formele verificatie.

1. Living Inference Framework:

   • Het model benadert elke matrixvermenigvuldiging in een transformerlaag als een begrensd lineair kaart.
   • Drie samenstellende benaderingsstappen worden toegepast:
     • Semantische Caching: Hergebruik van opgeslagen output voor vergelijkbare inputs.
     • Sparse Activatie: Behoud van alleen de top-k% gewichten (pruning).
     • Low-Rank Benadering: Truncatie van de SVD (Singular Value Decomposition) naar rang $r$.
   • Voor elke stap worden foutgrenzen afgeleid en gecombineerd in een totale foutbound.

2. Formele Verificatie (Lean 4):

   • De auteurs hebben 10 theorema's machine-gecontroleerd in Lean 4 (met de Mathlib bibliotheek).
   • Deze theorema's bewijzen foutgrenzen voor individuele matrixvermenigvuldiging en de compositie daarvan, zonder gebruik van "sorry" markers (ongedefinieerde bewijzen).
   • De theorema's bevestigen dat de lineaire foutgrenzen conservatief zijn, zelfs wanneer ze worden toegepast in de volledige niet-lineaire forward pass.

3. Lyapunov-stabiliteitsanalyse:

   • In plaats van alleen te kijken naar LayerNorm, analyseren de auteurs de propagatie van fouten via Lyapunov-stabiliteit.
   • Ze definiëren een relatieve fout-energie $V(t) = \|e_t\|^2 / \|h_t\|^2$.
   • De kernhypothese is dat residulinkages (residual connections) fouten contracteren omdat de verborgen toestand ($h_t$) sneller groeit dan de fout ($e_t$), wat leidt tot een contractiefactor $\rho < 1$.

4. Experimenteel Opzet:

   • Analyse van vijf architecturen (117M tot 8B parameters): GPT-2 Small/Medium, LFM2-2.6B, Mistral-7B en Qwen3-8B.
   • Evaluatie op diverse datasets (WikiText-103, C4) en schalen (2K tot 51K tokens).
   • Per-matrix gevoeligheidsmapping (bijv. 468 matrices in GPT-2 Small).

Belangrijkste Bijdragen

1. Structuur Gevoeligheidskaart:

   • De auteurs mapping de gevoeligheid per matrix en ontdekken een consistente hiërarchie die vijf ordes van grootte beslaat:
     • Catastrofaal gevoelig: MLP up-projections in vroege lagen (vooral laag 0).
     • Middelmatig: Q en K projecties.
     • Veel minder gevoelig: MLP projecties, attention projecties.
     • Bijna gratis te comprimeren: Value (V) projecties.
   • Het comprimeren van alleen de MLP up-projection van laag 0 in GPT-2 Small (1 van de 468 matrices) verhoogt de perplexiteit met een factor 20.000x.

2. Lyapunov-stabiliteit en Foutcontractie:

   • Het bewijs dat residulinkages (en niet alleen LayerNorm) de sleutel zijn tot het beperken van fouten.
   • Voor GPT-2 Small is de maximale contractiefactor $\rho_{max} = 0.96$, wat betekent dat fouten geometrisch afnemen in plaats van lineair op te lopen.
   • Dit verklaart waarom fouten niet catastrofaal accumuleren over 12+ lagen.

3. Cross-Architectuur Validatie (Stabiliteit is noodzakelijk maar niet voldoende):

   • Stabiliteit alleen is niet genoeg: GPT-2 Small is volledig contracterend ($\rho_{max}=0.96$) maar degradeert 120x bij 50% pruning. LFM2-2.6B (hybrid) is minder contracterend ($\rho_{max}=1.12$) maar degradeert slechts 7x.
   • Architectuur-specifieke redundantie: Hybrid architecturen (zoals LFM2) en bredere modellen hebben meer redundantie die fouten absorbeert.
   • Vergelijking: Qwen3-8B ($\rho_{max}=1.33$) crasht bij 42.922x degradatie, terwijl Mistral-7B ($\rho_{max}=1.14$) slechts 11x degradeert. Dit toont aan dat zowel stabiliteit als architecturale redundantie cruciaal zijn.

4. Formeel Geverifieerde Grenzen:

   • Alle 10 Lean 4 theorema's zijn succesvol geverifieerd.
   • Er zijn 0 schendingen gevonden in meer dan 14.040 configuraties (GPT-2 Small), wat bevestigt dat de formele garanties geldig zijn in IEEE 754 aritmetica.

Resultaten

• De "Early-Layer MLP Catastrophe": Er is een scherpe "cliff" (afgrond) in gevoeligheid tussen laag 2 en 3. Laag 0 is tot 260x gevoeliger dan latere lagen. Dit patroon is stabiel over verschillende compressieniveaus, datasets en modelgroottes.
• Compressie Robuustheid:
  • GPT-2 Small: Zeer gevoelig voor uniforme compressie. Een "greedy" strategie (comprimeren van de minst gevoelige componenten eerst) kan 24% FLOPS besparen met slechts +27% perplexiteit, maar uniforme compressie faalt catastrofisch.
  • Mistral-7B: Toont veel hogere tolerantie; zelfs bij 90% sparsity geen catastrofale degradatie.
  • Qwen3-8B: Toont extreme fragiliteit door een combinatie van instabiliteit ($\rho > 1$) en gedeelde embedding-weights (tied embeddings), wat een positieve feedbacklus creëert voor fouten.
• Catastrophe Threshold ($\tau$): De maximale sparsity waarbij laag 0 nog veilig is, varieert per architectuur en wordt niet alleen bepaald door de modelgrootte ($d_{model}$), maar ook door architecturale keuzes (bijv. Mistral-7B heeft $\tau=0.95$, terwijl GPT-2 Small slechts $\tau=0.50$ heeft).
• Downstream Taken: Perplexiteitsdegradatie correleert direct met accuracy-verlies op benchmarks zoals HellaSwag en ARC-Easy.

Betekenis en Conclusie

Dit artikel biedt een fundamenteel nieuw inzicht in hoe compressie werkt in transformers:

1. Structuur boven Methode: De gevoeligheidshiërarchie (MLP > Attention, Laag 0 > Laag N) is een structurele eigenschap van de architectuur en niet afhankelijk van de specifieke compressiemethode (of het nu Wanda, SparseGPT of GPTQ is).
2. Niet-uniforme Allocatie is Cruciaal: Uniform comprimeren is inefficiënt en vaak catastrofaal. Effectieve compressie vereist een niet-uniforme strategie die vroege MLP-lagen beschermt en latere lagen of V-projecties agressiever comprimeert.
3. Formele Garantieën: Het is een van de eerste werken dat machine-gecontroleerde foutgrenzen biedt voor transformer-inferentie, wat de weg vrijmaakt voor betrouwbaardere, veilige compressie in productieomgevingen.
4. Nieuwe Metriek: De introductie van de "Compression Fragility Index" (CFI) helpt bij het voorspellen van de robuustheid van een model op basis van stabiliteit en breedte.

Kortom, de paper concludeert dat compressie-robustheid afhangt van een balans tussen Lyapunov-stabiliteit (hoe fouten zich voortplanten) en architecturale redundantie (hoeveel ruimte er is voor fouten). Dit inzicht stelt onderzoekers en ingenieurs in staat om slimme, niet-uniforme compressiestrategieën te ontwerpen die de prestaties van LLMs behouden terwijl ze aanzienlijk worden verkleind.