Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

1. Problemstellung

Large Language Models (LLMs) verursachen aufgrund ihrer Skalierung erhebliche Bereitstellungskosten. Depth Pruning (Tiefenbeschneidung), bei dem gesamte Transformer-Blöcke entfernt werden, ist eine strukturierte Komprimierungstechnik, die die Inferenzkosten linear mit der Anzahl der beibehaltenen Schichten reduziert.

Die vorherige Forschung im Bereich Depth Pruning operierte weitgehend unter einer „strukturellen Sicht" von Redundanz. Diese Perspektive geht davon aus, dass die Wichtigkeit einer Schicht eine intrinsische Eigenschaft des vortrainierten Netzwerks ist, die unabhängig von der nachgelagerten Aufgabe ist. Folglich konzentrierten sich frühere Arbeiten darauf, eine einzige „universelle" Rangfolge der Schichten zu finden (mittels Wichtigkeitskriterien wie Kosinusähnlichkeit oder Betrag) und ausgefeilte Suchalgorithmen anzuwenden, um die optimale Teilmenge der zu entfernenden Schichten zu identifizieren.

Die Kernfrage: Ist Schichtenredundanz wirklich eine strukturelle Eigenschaft des Modells, oder ist sie eine funktionale Eigenschaft, die gemeinsam durch das Modell und das spezifische Evaluierungsziel (Kalibrierungsverlust) bestimmt wird? Die Autoren hypothesieren, dass eine Schicht, die für Sprachmodellierung (Perplexität) als redundant erachtet wird, für nachgelagertes Schlussfolgern kritisch sein könnte, was darauf hindeutet, dass eine universelle Rangfolge unzureichend ist.

2. Methodik

Um die strukturelle gegen die funktionale Sicht empirisch zu testen, entwarfen die Autoren ein kontrolliertes Experiment, das zwei Schlüsselachsen des Depth Pruning entkoppelt: das Kalibrierungsziel und den Suchalgorithmus.

• Problemformulierung: Depth Pruning wird als Teilmengeauswahlproblem formuliert:
  $$S^* = \arg \min_{|S|=k} \mathcal{L}(D; f_{\theta_0} \odot m_S)$$
  Wobei $S$ die Menge der entfernten Schichten ist, $\mathcal{L}$ die Verlustfunktion und $D$ der Kalibrierungsdatensatz.
• Experimentelle Variablen:
  • Modelle: Drei Open-Weight-LLM-Familien (LLaMA3 8B, LLaMA3.1 8B, Qwen3 8B) mit unterschiedlichen Trainingspipelines, aber vergleichbaren Skalierungen.
  • Kalibrierungsziele ($\mathcal{L}$):
    1. Perplexität (Aufgabenagnostisch): Negativer Log-Likelihood auf dem C4-Datensatz.
    2. Task Likelihood Margin (Aufgabenzentriert): Die Log-Likelihood-Lücke zwischen korrekten und falschen Antworten auf Commonsense 170k.
  • Suchalgorithmen: Sieben verschiedene Algorithmen wurden unter jedem Ziel getestet, um den Einfluss der Suchstrategie zu isolieren:
    1. One-shot top-k-Auswahl
    2. Greedy iterative Löschung
    3. Beam Search
    4. Prior-geführter Genetischer Algorithmus (GA)
    5. Prior-geführte Bayessche Optimierung (BO)
    6. Eingeschränkte Binäroptimierung (CBO)
    7. Fast-block-select
• Evaluation:
  • Modelle, die via Perplexität beschneidet wurden, wurden auf WikiText-2, C4 und LAMBADA evaluiert.
  • Modelle, die via Task Likelihood Margin beschneidet wurden, wurden zero-shot auf Benchmarks für commonsense reasoning (HellaSwag, WinoGrande, ARC, PIQA, BoolQ) evaluiert.
  • Beschneidungsbudgets: Zwei Komprimierungsniveaus ($M=7$ und $M=9$ entfernte Schichten).

3. Hauptbeiträge

1. Funktionale Sicht von Redundanz: Das Papier artikuliert und validiert empirisch, dass Schichtenredundanz keine intrinsische strukturelle Eigenschaft, sondern eine funktionale Eigenschaft ist, die vom Evaluierungsziel abhängt.
2. Entkopplung von Suche und Ziel: Indem die Autoren eine Variable konstant hielten und die andere über drei Modellfamilien variierten, isolierten sie die Quelle von Leistungssteigerungen und adressierten die in der vorherigen Literatur übliche „Metrik-Suche-Verwechslung" (metric-search confound).
3. Systematische Fehlausrichtung: Die Autoren identifizieren eine systematische Diskrepanz zwischen Kalibrierungsperplexität und nachgelagerter Schlussfolgerungsgenauigkeit und zeigen auf, dass die Optimierung für das eine nicht die Optimierung für das andere garantiert.

4. Hauptergebnisse

A. Ziele formen Beschneidungsmuster neu (Abschnitt 5.1)

• Perplexitätskalibrierung: Beschneidungsmuster waren über verschiedene Suchalgorithmen hinweg hochkonsistent. Die Entfernungen konzentrierten sich auf zusammenhängende Cluster in mittleren bis späten Schichten (z. B. Schichten 9–12 und 22–26 in LLaMA3).
• Task-Likelihood-Kalibrierung: Beschneidungsmuster waren über das Netzwerk verstreut und variierten erheblich in Abhängigkeit vom verwendeten Suchalgorithmus.
• Fazit: Die beiden Ziele erzeugen strukturell unterschiedliche Mengen „redundanter" Schichten und widerlegen die Idee einer einzigen universellen Redundanzkarte.

B. Fehlausrichtung von Perplexität und Genauigkeit (Abschnitt 5.2)

• Die Autoren verglichen die Rangfolge der beschneideten Modelle basierend auf der Kalibrierungsperplexität mit ihrer nachgelagerten Schlussfolgerungsgenauigkeit.
• Ergebnis: Die Spearman-Korrelationen reichten von $\rho = -0,78$ bis nahe null. In den meisten Bedingungen war die Korrelation negativ.
• Implikation: Die Modellkonfiguration, die die Perplexität minimiert, ist oft nicht diejenige, die die nachgelagerte Schlussfolgerungsgenauigkeit maximiert.

C. Suchalgorithmen sind sekundär (Abschnitt 5.3)

• Varianz innerhalb des Ziels: Wenn das Kalibrierungsziel festgelegt war, konvergierten verschiedene Suchalgorithmen zu Lösungen mit sehr ähnlicher Leistung.
  • Beim Task-Likelihood-Pruning betrugen die Genauigkeitsunterschiede zwischen dem besten und dem schlechtesten Suchalgorithmus typischerweise 1–3 Prozentpunkte.
  • Selbst komplexe Methoden (wie BO oder GA) boten im Vergleich zu einfacheren Methoden (wie One-shot oder Greedy) abnehmende Grenzerträge, sobald das Ziel festgelegt war.
• Kosten-Nutzen: Einfache Methoden (One-shot, Fast-block-select) erreichten in Minuten nahezu optimale Ergebnisse, während komplexe Methoden Stunden für marginale Gewinne benötigten.
• Fazit: Die Wahl des Kalibrierungsziels hat einen weitaus größeren Einfluss auf die endgültige Modellleistung und -struktur als die Wahl des Suchalgorithmus.

5. Bedeutung und Implikationen

• Paradigmenwechsel: Das Papier stellt die vorherrschende Annahme in Frage, dass Schichtenwichtigkeit statisch ist. Es legt nahe, dass Forscher aufhören sollten, nach einer „universellen" Schichtenrangfolge zu suchen, und sich stattdessen auf zielbedingte Redundanz konzentrieren sollten.
• Praktische Effizienz: Für Praktiker implizieren die Ergebnisse, dass die Investition von Rechenressourcen in komplexe Suchalgorithmen (z. B. evolutionäre Suche, Bayessche Optimierung) nur begrenzte Vorteile bringt, wenn das Kalibrierungsziel suboptimal ist.
• Designpriorität: Die wichtigste Designentscheidung beim Depth Pruning ist das Kalibrierungsziel. Die Auswahl eines Ziels, das mit der beabsichtigten nachgelagerten Aufgabe übereinstimmt (z. B. die Verwendung eines aufgaben spezifischen Margin-Verlusts für Schlussfolgerungsaufgaben anstelle einer generischen Perplexität), ist wirkungsvoller als die Verfeinerung der Suchstrategie.
• Zukünftige Richtungen: Zukünftige Arbeiten sollten die Gestaltung von Kalibrierungszielen und die Untersuchung, wie verschiedene Aufgaben Redundanz definieren, priorisieren, anstatt sich ausschließlich auf die Verbesserung von Suchheuristiken zu konzentrieren.

Zusammenfassend zeigt das Papier, dass beim Depth Pruning von LLMs das Ziel die Landschaft definiert, während der Suchalgorithmus sie lediglich navigiert. Ein schlechtes Ziel kann durch einen ausgefeilten Suchalgorithmus nicht behoben werden, aber ein gut gewähltes Ziel ermöglicht es sogar einfachen Suchmethoden, hochwertige Lösungen zu finden.