From Layers to Submodules: Rethinking Granularity in Replacement-Based LLM Compression

Technisches Resümee: Von Layern zu Submodulen (SUBFIT)

Problemstellung
Die Post-Training-Kompression von Large Language Models (LLMs) zielt darauf ab, die Bereitstellungskosten durch das Entfernen architektonischer Komponenten zu senken. Während Methoden, die ganze Layer oder zusammenhängende Blöcke löschen, effektiv sind, stören sie den Residual Stream, was oft zu einem scharfen Qualitätsverlust führt. Jüngste „ersatzbasierte“ Ansätze adressieren dies, indem sie die entfernten Komponenten durch leichtgewichtige, angepasste Module ersetzen. Bestehende Methoden teilen jedoch zwei restriktive Design-Constraints:

1. Granularität auf Full-Layer-Ebene: Sie behandeln den gesamten Transformer-Layer als die atomare Einheit der Entfernung.
2. Kontinuierliche Auswahl: Sie entfernen Komponenten in aufeinanderfolgenden Tiefenbereichen.

Die Autoren argumentieren, dass diese Einschränkungen zu restriktiv sind. Redundanz in vortrainierten Transformern ist nicht auf zusammenhängende Regionen beschränkt, noch ist sie gleichmäßig zwischen den Attention- und FeedForward (FFN)-Outputs verteilt. Folglich sind unterschiedliche Strategien erforderlich, um verschiedene Submodul-Typen zu approximieren, und entfernbare Komponenten müssen sich nicht innerhalb zusammenhängender Tiefenbereiche häufen.

Methodik: SUBFIT
Das Paper führt SUBFIT (Submodule-level Fitted residual replacement) ein, eine Post-Training-Kompressionmethode, die auf der Granularität einzelner Attention- und FFN-Submodule operiert. Der Prozess umfasst zwei Hauptphasen:

1. Nicht-kontinuierliche Auswahl:

   • SUBFIT wählt eine Zielanzahl an Attention- und FFN-Submodulen unabhängig über die Modelltiefe basierend auf einem Sparsity-Budget $s$ aus.
   • Die Auswahl ist nicht-kontinuierlich; Module werden unabhängig nach Score ausgewählt, ohne einen aufeinanderfolgenden Block zu bilden.
   • Scoring-Strategie:
     • Attention: Module werden nach einem „Impact Score“ gerankt, der auf Kalibrierungsaktivierungen berechnet wird und misst, wie stark ein Submodul den Residual Stream rotiert und dessen relative Magnitude.
     • FFN: Für Basismodelle wird ein ersatzbewusster Score verwendet, der Entfernungseffekte und den Ersatzfehler kombiniert. Für instruktionsgefinete Modelle wird ein reiner Cosinus-Score verwendet, um Rauschen durch schlecht kalibrierte Residual-Magnituden zu vermeiden.
   • Reihenfolge: Attention-Submodule werden zuerst ausgewählt und ersetzt. Danach werden FFN-Submodule auf dem teilweise komprimierten Modell bewertet und ausgewählt, um die durch den Attention-Ersatz induzierte Verschiebung des Residual Streams zu berücksichtigen.

2. Fitted Residual Replacement (Angepasster Residual-Ersatz):

   • Jedes ausgewählte Submodul wird durch einen leichtgewichtigen parametrischen Surrogaten $\hat{F}_\ell$ ersetzt, der den ursprünglichen Residual-Beitrag des Submoduls ($y = F_\ell(x)$) approximiert, anstatt dessen interne Berechnung.
   • Struktur des Surrogaten: Der Surrogat nutzt eine affine Korrektur (elementweise Gate, Bias und Zentrierung) plus einen strukturierten Interaktionsterm, der durch einen Low-Rank-Operator $U_\ell = V_\ell^\top W_\ell$ definiert ist.
   • Asymmetrische Parametrisierung:
     • Attention: Jedes entfernte Attention-Submodul erhält seine eigene unabhängige Low-Rank-Basis ($V_\ell$) und Parameter, was die heterogenen Rollen über die Tiefen hinweg widerspiegelt.
     • FFN: Eine gemeinsame Input-Basis $V$ wird über alle ausgewählten FFN-Layer hinweg verwendet. Nur die Output-Faktoren ($W_\ell$) und die affinen Terme bleiben layerspezifisch. Dieses Cross-Layer-Parameter-Sharing reduziert die Deployment-Kosten signifikant.
   • Fitting: Die Parameter werden analytisch über Closed-Form-Fitting auf Kalibrierungsstatistiken zurückgewonnen (Ridge-regularisierte kleinste Quadrate und Eigenwertzerlegung), was keine gradientenbasierte Optimierung oder Full-Model-Fine-Tuning erfordert.

Wesentliche Beiträge

1. Identifizierung von Constraints: Die Autoren identifizieren die Granularität auf Full-Layer-Ebene und die kontinuierliche Auswahl als limitierende Faktoren für bestehende ersatzbasierte Kompression.
2. SUBFIT-Framework: Eine neuartige Methode, die eine gemeinsame Auswahl und den Ersatz auf der Submodul-Ebene (Attention und FFN) mit nicht-kontinuierlicher Auswahl durchführt.
3. Asymmetrisches Design: Eine spezifische Architektur, bei der Attention-Bypasses unabhängige Basen verwenden, während FFN-Bypasses eine gemeinsame Input-Basis nutzen, um den Parameter-Overhead zu minimieren.
4. Umfassende Evaluierung: Umfangreiche Tests über 10 LLMs (5 Basis, 5 Instruction-tuned) und 5 Sparsity-Level (12,5 % bis 37,5 %), die einen verbesserten Trade-off gegenüber vier Baselines (Streamline, ReplaceMe) demonstrieren.

Experimentelle Ergebnisse

• Perplexity (Basismodelle): SUBFIT erreicht die geringste Perplexity-Degradation in 9 von 10 Modell-Sparsity-Settings. Die Lücke zur stärksten Baseline vergrößert sich signifikant unter aggressiver Kompression (z. B. bei 25 % Sparsity zeigt SUBFIT eine 2,42-fache Perplexity-Degradation vs. 4,34-fache für die beste Baseline).
• Downstream Accuracy (Instruction-tuned): Bei 25 % Sparsity behält SUBFIT im Durchschnitt 84,6 % der dichten Downstream-Genauigkeit bei und übertrifft damit die stärkste Baseline (81,6 %). Es ist die einzige Methode, die bei 25 % Sparsity über 80 % Genauigkeit und bei 37,5 % über 73 % hält.
• Stabilität: SUBFIT weist eine signifikant geringere Varianz in der Perplexity-Degradation im Vergleich zu den Baselines auf, welche bei hoher Sparsity Instabilitäten zeigen (z. B. Wachstum der Standardabweichung um Größenordnungen).
• Effizienz: Die Methode liefert messbare Beschleunigungen bei der Inferenz (1,18×–1,40× in Time-to-First-Token) und KV-Cache-Einsparungen (proportional zur Sparsity), ohne dass Sparse-Kernel oder spezialisierte Hardware erforderlich sind.
• Ablationsstudien:
  • Residual Compensation: Das Ersetzen von FFNs ist der dominierende Faktor für die Stabilität; das Ersetzen sowohl von Attention als auch von FFNs liefert die besten Ergebnisse.
  • Shared Basis: Die gemeinsame FFN-Basis erreicht eine Performance vergleichbar mit per-layer Basen, aber mit signifikant weniger Parametern.
  • Rank Sensitivity: Die FFN-Qualität verbessert sich bis Rank 4096, während Attention bei Rank 256 sättigt, was die asymmetrischen Rank-Einstellungen rechtfertigt.

Bedeutung und Ansprüche
Das Paper behauptet, dass Granularität eine unterexplorierte Achse in der Post-Training-Kompression ist. Durch den Übergang vom Layer-basierten zum Submodul-basierten Ersatz gewinnt SUBFIT mehr vom Verhalten des dichten Modells zurück als kontinuierlicher Full-Layer-Ersatz unter demselben Parameterbudget. Die Ergebnisse legen nahe, dass nicht-kontinuierlicher, submodul-spezifischer Ersatz einen stärkeren aggregierten Qualitäts-Effizienz-Trade-off bietet, insbesondere unter aggressiver Kompression. Die Methode ist so konzipiert, dass sie kostengünstig zu implementieren ist (Closed-Form Fitting) und mit bestehenden Inferenz-Stacks kompatibel ist. Die Autoren schlagen vorsichtig vor, dass dieser Ansatz auch auf andere Entfernungseinheiten wie Attention-Heads oder einzelne Neuronen generalisierbar sein könnte, beanspruchen jedoch keine unmittelbare Generalisierung auf diese spezifischen Einheiten in dieser Arbeit.