💬 NLP

High-Layer Attention Pruning with Rescaling

Dieses Paper stellt High-Layer Attention Pruning with Rescaling (HARP) vor, eine neuartige, trainingsfreie Methode, die strategisch Attention-Heads aus den höheren Schichten großer Sprachmodelle entfernt und eine adaptive Reskalierung anwendet, um die Repräsentationsmagnitude zu bewahren, wodurch im Vergleich zu bestehenden strukturierten Pruning-Techniken eine überlegene Leistung bei vielfältigen Generierungs- und Diskriminationsaufgaben erzielt wird.

Ursprüngliche Autoren: Songtao Liu, Peng Liu

Veröffentlicht 2026-08-11

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Songtao Liu, Peng Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn, ein „Large Language Model“ (LLM), das Geschichten schreiben, mathematische Probleme lösen und wie ein Mensch chatten kann. Diese Gehirne sind unglaublich leistungsstark, aber auch massiv – wie der Versuch, eine ganze Bibliothek in einem Rucksack zu tragen. Weil sie so riesig sind, denken sie langsam und nehmen viel Platz ein, was es schwierig macht, sie auf normalen Handys oder Laptops zu verwenden. Um dieses Problem zu lösen, nutzen Wissenschaftler eine Technik namens „Pruning“ (Beschneidung). Denken Sie beim Pruning an das Beschneiden eines Bonsai-Baumes: Man schneidet vorsichtig die Äste ab, die nicht viel Arbeit leisten, damit der Baum gesund bleibt, aber kleiner und schneller wird.

Normalerweise schauen Menschen, wenn sie diese Robotergehirne beschneiden, auf die „Attention Heads“ (Aufmerksamkeitsköpfe) – die winzigen Teile des Gehirns, die dem Modell helfen zu entscheiden, welche Wörter zueinander wichtig sind. Stellen Sie sich diese Köpfe wie ein Team von Detektiven in einem Raum vor, von denen jeder einen anderen Hinweis untersucht. Die alte Methode des Prunings bestand darin, einfach ein paar Detektiven aus jedem einzelnen Raum auszuwählen und sie hinauszuwerfen, in der Hoffnung, dass das Team weiterhin funktioniert. Aber dieser Artikel legt nahe, dass dies nicht die klügste Art und Weise ist. Es stellt sich heraus, dass in den obersten Stockwerken des Gebäudes (den höheren Schichten des Modells) die Detektive oft nur das wiederholen, was die unter ihnen bereits gesagt haben. Sie bringen nicht viel neuen Wert ein. Die Autoren dieser Arbeit, Songtao Liu und Peng Liu von der Penn State University, wollten untersuchen, ob wir ein besseres Ergebnis erzielen könnten, indem wir nur die Detektive aus den oberen Etagen beschneiden und die hart arbeitenden in den unteren Etagen unberührt lassen. Sie fanden auch einen cleveren Trick heraus, um sicherzustellen, dass das Gehirn nicht verwirrt wird, wenn wir diese Detektive aus den oberen Stockwerken entfernen.

Die große Idee: Schneiden von oben, nicht aus der Mitte

Die Forscher schlugen eine neue Methode namens HARP (High-layer Attention Rescaled Pruning) vor. Ihre wichtigste Entdeckung war, dass die „höheren Schichten“ eines Large Language Models tatsächlich weniger wichtig sind als die unteren. Um das zu verstehen, stellen Sie sich ein Staffellauf vor. Die Läufer am Start (die unteren Schichten) leisten die Schwerstarbeit, indem sie die grundleghe Gestalt der Wörter und Sätze bestimmen. Während der Stab an die Läufer weitergereicht wird, wandert er die Strecke hinauf zu den höheren Schichten, wo die Läufer den Stab nur noch weiterreichen. Bis der Stab die oberste Stelle der Strecke erreicht, sind die Läufer so perfekt aufeinander abgestimmt, dass sie alle genau das Gleiche tun. Wenn man einen Läufer am oberen Ende der Strecke entfernt, ändert sich das Rennen nicht wirklich, da er ohnehin nur die Person unter ihm kopiert hat.

Die Autoren fanden heraus, dass das Modell tatsächlich besser funktioniert, wenn man die Attention Heads in diesen oberen Schichten beschneidet (herausschneidet), als wenn man sie zufällig überall herausschneidet. Sie testeten dies an mehreren berühmten Modellen wie LLaMA3.1-8B, Mistral-7B, Qwen2-7B und Gemma2-9B. In ihren Experimenten entfernten sie spezifische Attention Heads aus den obersten 8 Schichten der Modelle.

Der „Lautstärkeregler“-Trick

Es gab jedoch eine Schwierigkeit. Wenn man die Detektiven in den oberen Schichten entfernt, wird das Signal, das das Gehirn aussendet, ein wenig leiser oder lauter als zuvor. Es ist, als würde man einen Lautsprecher aus einer Stereoanlage entfernen; Die Musik spielt vielleicht noch, aber die Lautstärke ist falsch und der Klang könnte verzerrt sein. Um dies zu beheben, führten die Autoren einen „Rescaling Parameter“ (Skalierungsparameter) ein. Denken Sie an diesen als einen Lautstärkeregler oder einen Dimmer. Nachdem sie die oberen Schichten beschnitten hatten, drehten sie an diesem Regler, um die Größe der Signale anzupassen, damit sichergestellt war, dass die verbleibenden Teile des Gehirns einander immer noch klar hören können. Sie haben nicht einfach nur den richtigen Wert geraten; sie nutzten eine intelligente Suchmethode, um das perfekte Lautstärkeniveau für jede Schicht zu finden, indem sie verschiedene Zahlen testeten, bis das Modell am besten klang.

Was sie herausfanden

Die Ergebnisse waren sehr beeindruckend. Wenn sie ihre HARP-Methode an 27 verschiedenen Aufgaben testeten – die von der Beantwortung von Trivia-Fragen über das Lösen komplexer mathematischer Probleme bis hin zur Zusammenfassung langer Dokumente reichten – schnitt sie konsistent besser ab als die anderen populären Pruning-Methoden.

Generationsaufgaben: Dies ist der Bereich, in dem das Modell neue Dinge schreiben muss, wie zum Beispiel eine mathematische Aufgabe Schritt für Schritt zu lösen. Hier glänzte HARP am meisten. Beispielsweise erreichte HARP beim LLaMA3.1-8B-Modell bei Generationsaufgaben einen Durchschnittswert von 31,10 %, während die nächstbeste Methode nur 20,58 % erreichte. Das ist ein riesiger Sprung!
Long Context (Langer Kontext): Der Artikel untersuchte auch, wie gut die Modelle mit sehr langen Geschichten oder Dokumenten (bis zu 65.536 Token) umgehen konnten. Da der Attention-Mechanismus der Teil ist, der bei langem Text am langsamsten wird, machte das Beschneiden der oberen Schichten das Modell signifikant schneller. Sie fanden heraus, dass das modell für eine Sequenz von 65.536 Token 16,7 % schneller war als das ursprüngliche, unbeschnittene Modell, während die Qualität hoch blieb.
Diskriminative Aufgaben: Dies sind Aufgaben, bei denen das Modell einfach die richtige Antwort aus einer Liste auswählt (wie bei einem Multiple-Choice-Quiz). Hier war die Verbesserung kleiner, aber dennoch positiv. HARP schnitt ebenso gut oder sogar besser ab als die anderen Methoden, was zeigt, dass das Beschneiden der oberen Schichten die Fähigkeit des Modells, Fakten zu verstehen, nicht beeinträchtigte.

Warum das wichtig ist

Die Autoren schlagen vor, dass diese Methode ein „Game-Changer“ ist, um KI schneller und kostengünstiger zu machen, ohne das gesamte Modell von Grund auf neu trainieren zu müssen. Durch die Erkenntnis, dass die oberen Stockwerke des KI-Gebäudes am meisten „redundant“ sind (also die wenigsten einzigartigen Arbeiten leisten), können sie das Fett abschneiden, ohne die Muskeln zu verletzen. Der „Rescaling“-Trick stellt sicher, dass das Modell nicht schwindlig wird, wenn man diese Teile entfernt.

Kurz gesagt: Der Artikel argumentt, dass wir nicht alle Teile eines KI-Gehirns gleich behandeln sollten. Genau wie bei einem Wolkenkratzer sind die oberen Stockwerke für die Struktur vielleicht weniger entscheidend als das Fundament. Indem wir die oberen Schichten vorsichtig beschneiden und die Lautstärke anpassen, können wir diese riesigen KI-Gehirne kleiner, schneller und bereit für den alltäglichen Gebrauch machen. Der Code für diese Methode ist für jeden verfügbar, der ihn ausprobieren möchte, und die Autoren hoffen, dass dies helfen wird, Long-Context-KI (wie das Lesen ganzer Bücher in Sekunden) für die reale Welt praktikabler zu machen.

Technisches Resümee: High-Layer Attention Pruning with Rescaling (HARP)

Problemstellung

Große Sprachmodelle (LLMs) erzielen Spitzenleistungen, leiden jedoch unter hoher Inferenzlatenz und hohen Speicherkosten, insbesondere in Szenarien mit langem Kontext. Während strukturiertes Pruning eine trainingsfreie Lösung zur Reduzierung von Parametern bietet, verwenden bestehende Methoden oft heuristische Metriken, die Attention-Heads über alle Netzwerkschichten hinweg wahllos entfernen. Diese Ansätze berücksichtigen nicht die positionale Redundanz der Attention-Heads innerhalb der Architektur. Insbesondere unterscheiden aktuelle Methoden nicht, ob Attention-Heads in niedrigeren Schichten (die diverse Token-Repräsentationen verarbeiten) kritischer sind als jene in höheren Schichten (wo Repräsentationen hochgradig ausgerichtet sein können). Darüber hinaus verändert das Entfernen von Attention-Heads die Größenordnung (Magnitude) der Token-Repräsentationen, da der Aggregationsschritt (gewichtete Mittelwertbildung) umgangen wird, was die Skalierung des Modell-Outputs potenziell destabilisieren kann.

Methodik

Die Autoren schlagen HARP (High-layer Attention Rescaled Pruning) vor, einen trainingsfreien, strukturierten Pruning-Algorithmus, der diese Probleme durch zwei Kernmechanismen adressiert:

1. High-Layer Attention Pruning

HARP basiert auf der theoretischen und empirischen Prämisse, dass Attention-Heads in den oberen Schichten von LLMs weniger wichtig sind als jene in den unteren Schichten.

Theoretische Basis: Während Token durch das Netzwerk propagieren, tendieren ihre verborgenen Repräsentationen dazu, zunehmend ähnlicher zu werden (Over-smoothing). Wenn die durchschnittliche paarweise Kosinus-Ähnlichkeit der Token-Repräsentationen sich dem Wert 1 nähert, werden die Queries und Keys nahezu parallel. Folglich werden die Softmax-Attention-Gewichte gleichmäßig, was dazu führt, dass der Attention-Head zu einem einfachen Mittelwert-Operator degeneriert, der nicht mehr zwischen Token unterscheiden kann.
Empirische Basis: Metriken wie die Block Importance (BI) Scores zeigen, dass Parameter in niedrigeren Schichten im Allgemeinen einen höheren Einfluss auf die Modellleistung haben als Parameter in höheren Schichten.
Implementierung: HARP prunt selektiv die Query ( $Q$ ) und Key ( $K$ ) Parameter der Attention-Heads in den obersten Schichten des Modells. Durch das Entfernen von $Q$ und $K$ wird der Self-Attention-Mechanismus für diese Schichten effektiv umgangen. Die Schicht wendet dann nur noch die Value ( $V$ ) und Output ( $O$ ) Projektionen an, wodurch die Komplexität von $O(N^2d)$ auf $O(Nd)$ für die geprunteten Schichten reduziert wird.

2. Adaptive Rescaling

Das Pruning des Attention-Aggregationsschritts verändert die Skalierung (Größenordnung) der verborgenen Zustände, da die gewichtete Mittelwertbildung entfernt wird.

Problem: Ohre ohne den Aggregationsschritt ändert sich die Frobenius-Norm der verborgenen Zustände, was potenziell zu einer Leistungsdegradation führt.
Lösung: HARP führt einen nicht-differenzierbaren Rescaling-Parameter, $\alpha$ , in die Residualverbindung der geprunteten Schichten ein. Der Output ist formuliert als $H = H + \alpha H W_V W_O$ .
Optimierung: Da $\alpha$ ein nicht-differenzierbarer Hyperparameter und kein trainierbarer Parameter ist, verwenden die Autoren eine gierige (greedy), Top-Down-Suchstrategie. Beginnend bei der obersten geprunteten Schicht suchen sie nach dem optimalen $\alpha$ -Wert (aus einem diskreten Satz $\{0, 0.1, \dots, 1.0\}$ ), indem sie die Perplexity (PPL) auf einem Held-out-Korpus minimieren. Dieser Prozess wird Schicht für Schicht abwärts durch das Netzwerk wiederholt.

Zentrale Beiträge

Neuartige Pruning-Strategie: Die Einführung von HARP, das gezielt Attention-Heads in den höheren Schichten von LLMs adressiert, basierend auf der Beobachtung, dass diese Heads aufgrund von Representation Over-smoothing weniger informativ sind.
Rescaling-Mechanismus: Der Vorschlag eines adaptiven Rescaling-Parameters, um die Größenordnung der Token-Repräsentationen nach dem Pruning zu kalibrieren und so den durch das Umgehen des Attention-Aggregationsschritts verursachten Skalenwechsel zu kompensieren.
Umfassende Evaluierung: Umfangreiche Experimente über vier diverse LLM-Architekturen (LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B) und 27 Downstream-Aufgaben hinweg, die sowohl generative als auch diskriminative Benchmarks abdecken.
Effizienzgewinne: Demonstration signifikanter Beschleunigungen bei der Inferenz, insbesondere bei Aufgaben mit langem Kontext, durch die Reduzierung der quadratischen Komplexität des Attention-Mechanismus in den geprunteten Schichten.

Experimentelle Ergebnisse

Die Autoren evaluierten HARP gegen State-of-the-Art-Baselines einschließlich Magnitude Pruning (Mag-sp), LLM-Pruner, FLAP und Wanda.

Generative Aufgaben: HARP übertraf konsistent alle Baselines. Auf LLaMA3.1-8B erreichte HARP eine durchschnittliche Punktzahl von 31,10 % bei generativen Aufgaben (TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH) und übertraf damit signifikant FLAP (15,05 %) und Wanda-sp (12,61 %). Die Verbesserung war besonders bemerkenswert bei Aufgaben, die lange Antworten erfordern (z. B. GSM8K), wo die Fehlerfortpflanzung eine große Herausforderung für geprunte Modelle darstellt.
Diskriminative Aufgaben: HARP erzielte die höchste durchschnittliche Leistung auf LLaMA3.1-8B, Mistral-7B-v0.3 und Qwen2-7B und zeigte sich auf Gemma2-9B auf Augenhöhe mit der besten Baseline.
Long-Context Modeling: Auf dem LongBench-Benchmark demonstrierte HARP eine überlegene Robustheit in Multi-Dokument-QA- und Zusammenfassungsaufgaben und bewahrte langfristige Abhängigkeiten besser als andere Methoden.
Ablationsstudien:
- Schichtselektion: Das Pruning der obersten 8 Schichten (Top-8) lieferte signifikant bessere Ergebnisse als das Pruning der untersten 8 Schichten (Bottom-8) oder die Verwendung von Hessian- oder Ähnlichkeitsbasierten Metriken zur Auswahl der Schichten.
- Rescaling: Die Einbeziehung des gesuchten $\alpha$ -Parameters führte zu erheblichen Leistungssteigerungen, insbesondere bei generativen Aufgaben, was die Notwendigkeit der Größenordnen-Kalibrierung bestätigt.
Effizienz: Für eine Sequenz von 65.536 Token erreichte HARP eine 16,7 % Beschleunigung in der Inferenzzeit bei nur 3,3 % Parameterreduktion, was die Effizienz des Ziels, Attention-Heads in Langkontext-Szenarien zu adressieren, unterstreicht.

Bedeutung und Ansprüche

Das Paper behauptet, dass HARP eine praktische, trainingsfreie Methode zur Komprimierung von LLMs bereitstellt, die keine architektonischen Änderungen oder ein Training von Grund auf erfordert. Durch das strategische Anvisieren der Redundanz in höheren Schichten und die Korrektur der resultierenden Skalenverschiebungen ermöglicht HARP den Einsatz von LLMs in ressourcenbeschränkten Umgebungen und ermöglicht ein schnelleres Serving für interaktive Anwendungen. Die Autoren betonen, dass ihr Ansatz das Langkontext-Reasoning in realen Systemen erschwinglicher macht.

Die Studie räumt Einschränkungen ein und stellt fest, dass sie sich primär auf das Pruning von Attention-Heads in höheren Schichten konzentriert, während andere Komponenten weniger untersucht wurden. Zukünftige Arbeiten sollen HARP auf größere und multimodale Modelle ausweiten und es mit Quantisierung oder KV-Cache-Kompressions-Techniken kombinieren.