Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

1. Probleemstelling

Grote Taalmodellen (LLM's) brengen aanzienlijke implementatiekosten met zich mee vanwege hun schaal. Diepte-pruning, waarbij volledige Transformer-blokken worden verwijderd, is een gestructureerde compressietechniek die de inferentiekosten lineair verlaagt met het aantal behouden lagen.

Vorig onderzoek op het gebied van diepte-pruning heeft grotendeels gewerkt onder een "structureel perspectief" van redundantie. Dit perspectief veronderstelt dat de belangrijkheid van een laag een intrinsieke eigenschap is van het voorgeöefende netwerk, onafhankelijk van de downstream-taak. Bijgevolg richten eerdere werken zich op het vinden van één "universele" rangschikking van lagen (via belangrijkheidscriteria zoals cosinus-ähnelijkheid of magnitude) en het toepassen van geavanceerde zoekalgoritmen om de optimale subset van lagen te verwijderen.

De Kernvraag: Is laagredundantie werkelijk een structurele eigenschap van het model, of is het een functionele eigenschap die gezamenlijk wordt bepaald door het model en het specifieke evaluatiedoel (calibratieverlies)? De auteurs veronderstellen dat een laag die als redundant wordt beschouwd voor taalmodellering (perplekiteit), cruciaal kan zijn voor downstream-redenering, wat suggereert dat een universele rangschikking ontoereikend is.

2. Methodologie

Om empirisch de structurele versus functionele visies te toetsen, hebben de auteurs een gecontroleerd experiment ontworpen dat twee belangrijke assen van diepte-pruning ontkoppelt: het Calibratiedoel en het Zoekalgoritme.

• Probleemformulering: Diepte-pruning wordt geformuleerd als een subselectieprobleem:
  $$S^* = \arg \min_{|S|=k} \mathcal{L}(D; f_{\theta_0} \odot m_S)$$
  Waarbij $S$ de set van verwijderde lagen is, $\mathcal{L}$ de verliesfunctie is, en $D$ de calibratiedataset is.
• Experimentele Variabelen:
  • Modellen: Drie open-weight LLM-families (LLaMA3 8B, LLaMA3.1 8B, Qwen3 8B) met variërende trainingspijplijnen maar vergelijkbare schalen.
  • Calibratiedoelen ($\mathcal{L}$):
    1. Perplekiteit (Taak-agnostisch): Negatieve log-likelihood op de C4-dataset.
    2. Taak-Likelihood Margin (Taak-gericht): De log-likelihood-kloof tussen correcte en incorrecte antwoorden op Commonsense 170k.
  • Zoekalgoritmen: Zeven verschillende algoritmen werden getest onder elk doel om de impact van de zoekstrategie te isoleren:
    1. One-shot top-k selectie
    2. Greedy iteratieve verwijdering
    3. Beam search
    4. Prior-geleid Genetisch Algoritme (GA)
    5. Prior-geleid Bayesiaanse Optimalisatie (BO)
    6. Gecombineerde Binaire Optimalisatie (CBO)
    7. Fast-block-select
• Evaluatie:
  • Modellen gepreurd via Perplekiteit werden geëvalueerd op WikiText-2, C4 en LAMBADA.
  • Modellen gepreurd via Taak-Likelihood Margin werden zero-shot geëvalueerd op benchmarks voor commonsense-redenering (HellaSwag, WinoGrande, ARC, PIQA, BoolQ).
  • Pruning-budgetten: Twee niveaus van compressie ($M=7$ en $M=9$ lagen verwijderd).

3. Belangrijkste Bijdragen

1. Functioneel Perspectief op Redundantie: Het artikel formuleert en valideert empirisch dat laagredundantie geen intrinsieke structurele eigenschap is, maar een functionele die afhankelijk is van het evaluatiedoel.
2. Ontkoppeling van Zoek en Doel: Door één variabele vast te houden terwijl de andere varieert over drie model-families, isoleren de auteurs de bron van prestatiewinsten, waardoor het "metrieke-zoekconfound" uit eerdere literatuur wordt aangepakt.
3. Systematische Misalignering: De auteurs identificeren een systematisch verband tussen calibratieperplekiteit en downstream-redeneringsnauwkeurigheid, en tonen aan dat optimalisatie voor het ene niet garandeert dat het andere wordt geoptimaliseerd.

4. Belangrijkste Resultaten

A. Doelen Herformuleren Pruningpatronen (Sectie 5.1)

• Perplekiteit-calibratie: Pruningpatronen waren zeer consistent over verschillende zoekalgoritmen. Verwijderingen concentreerden zich in aaneengesloten clusters van midden- tot late lagen (bijvoorbeeld lagen 9–12 en 22–26 in LLaMA3).
• Taak-Likelihood-calibratie: Pruningpatronen waren verspreid over het netwerk en varieerden aanzienlijk afhankelijk van het gebruikte zoekalgoritme.
• Conclusie: De twee doelen produceren structureel verschillende sets van "redundante" lagen, wat het idee van één universele redundantiekarte ontkracht.

B. Misalignering tussen Perplekiteit en Nauwkeurigheid (Sectie 5.2)

• De auteurs vergeleken de rangschikking van gepreurd modellen gebaseerd op calibratieperplekiteit met hun downstream-redeneringsnauwkeurigheid.
• Resultaat: Spearman-correlaties varieerden van $\rho = -0,78$ tot bijna nul. In de meeste omstandigheden was de correlatie negatief.
• Implicatie: De modelconfiguratie die de perplekiteit minimaliseert, is vaak niet degene die de downstream-redeneringsnauwkeurigheid maximaliseert.

C. Zoekalgoritmen zijn Secundair (Sectie 5.3)

• Variaties binnen Doel: Wanneer het calibratiedoel vastlag, convergeerden verschillende zoekalgoritmen naar oplossingen met zeer vergelijkbare prestaties.
  • Voor taak-likelihood-pruning waren de nauwkeurigheidsverschillen tussen het beste en slechtste zoekalgoritme doorgaans 1–3 procentpunten.
  • Zelfs complexe methoden (zoals BO of GA) boden afnemende meerwaarde in vergelijking met eenvoudigere methoden (zoals One-shot of Greedy) zodra het doel was vastgesteld.
• Kosten-baten: Eenvoudige methoden (One-shot, Fast-block-select) bereikten in minuten bijna optimale resultaten, terwijl complexe methoden uren nodig hadden voor marginale winsten.
• Conclusie: De keuze van het calibratiedoel heeft een veel grotere invloed op de uiteindelijke modelprestaties en -structuur dan de keuze van het zoekalgoritme.

5. Betekenis en Implicaties

• Paradigmaverschuiving: Het artikel daagt de heersende aanname uit dat laagbelangrijkheid statisch is. Het suggereert dat onderzoekers moeten stoppen met het zoeken naar een "universele" laagrangschikking en zich in plaats daarvan moeten richten op doel-geconditioneerde redundantie.
• Praktische Efficiëntie: Voor practitioners impliceren de resultaten dat het investeren van rekenkracht in complexe zoekalgoritmen (bijvoorbeeld evolutionaire zoekopdrachten, Bayesiaanse optimalisatie) beperkte voordelen oplevert als het calibratiedoel suboptimaal is.
• Ontwerpprioriteit: De meest kritieke ontwerpbeslissing bij diepte-pruning is het calibratiedoel. Het selecteren van een doel dat overeenkomt met de beoogde downstream-taak (bijvoorbeeld het gebruik van een taak-specifieke margin loss voor redeningstaken in plaats van generieke perplekiteit) heeft meer impact dan het verfijnen van de zoekstrategie.
• Toekomstige Richtingen: Toekomstig werk moet prioriteit geven aan het ontwerpen van calibratiedoelen en het bestuderen hoe verschillende taken redundantie definiëren, in plaats van zich uitsluitend te richten op het verbeteren van zoekheuristieken.

Kortom, het artikel demonstreert dat bij diepte-pruning van LLM's het doel het landschap definieert, terwijl het zoekalgoritme het slechts navigeert. Een slecht doel kan niet worden opgelost door een geavanceerde zoekopdracht, maar een goed gekozen doel stelt zelfs eenvoudige zoekmethoden in staat om oplossingen van hoge kwaliteit te vinden.