🤖 machine learning

Locality-Aware Redundancy Pruning for LLM Depth Compression

Dieser Artikel stellt LoRP vor, ein trainingsfreies, One-Shot-Pruning-Framework für die Tiefenreduktion, das die Entfernung von Schichten dynamisch basierend auf einem neuartigen Score für die Repräsentationslokalität zuweist, um Redundanzen in großen Sprachmodellen effektiv zu verringern und gleichzeitig die Leistungsfähigkeit zu erhalten.

Ursprüngliche Autoren: Vincent-Daniel Yun, Youngrae Kim, Woosang Lim, YoungJin Heo, Minkyu Kim, Sunwoo Lee

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vincent-Daniel Yun, Youngrae Kim, Woosang Lim, YoungJin Heo, Minkyu Kim, Sunwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine massive, unglaublich tiefe Wissensbibliothek vor (ein Large Language Model). Diese Bibliothek hat hunderte von Etagen (Schichten), und jede Etage beherbergt ein Team von Bibliothekaren (Neuronen), die bei der Informationsverarbeitung helfen. Das Problem ist, dass diese Bibliothek riesig ist, teuer zu betreiben und langsam zu durchsuchen. Sie möchten einige Etagen entfernen, um sie schneller zu machen, haben aber Angst, dass die Bibliothek ihren Sinn verliert, wenn Sie die falschen entfernen.

Dieser Artikel stellt eine neue Methode vor, um zu entscheiden, welche Etagen abgerissen werden sollen, genannt LoRP (Locality-Aware Redundancy Pruning). So funktioniert es, einfach erklärt:

Der alte Weg: Raten und Prüfen

Früher versuchten Menschen, diese Bibliotheken mit zwei Hauptstrategien zu verkleinern:

Der „lokale" Ansatz: Sie betrachteten jede Etage einzeln und sagten: „Diese Etage scheint schwach, lassen Sie uns sie entfernen." Sie gingen davon aus, dass jede Etage einzigartig und unabhängig ist.
Der „zusammenhängende" Ansatz: Sie gingen davon aus, dass Redundanz (unnötige Wiederholung) nur in einem bestimmten Block von Etagen auftritt, wie etwa den Etagen 10 bis 15. Also schnitten sie einfach diesen ganzen Block heraus.

Das Problem: Die Autoren entdeckten, dass verschiedene Bibliotheken (KI-Modelle) unterschiedliche „Architekturen" haben. In manchen Bibliotheken ist die zusätzliche, nutzlose Arbeit in einem bestimmten Block konzentriert. In anderen ist die zusätzliche Arbeit gleichmäßig über das gesamte Gebäude verteilt. Die alten Methoden verwendeten eine „Einheitslösung", was oft dazu führte, dass wichtige Etagen entfernt oder nutzlose zurückgelassen wurden.

Der neue Weg: LoRP (Der intelligente Architekt)

LoRP ist wie ein intelligenter Architekt, der durch die Bibliothek geht, bevor er irgendwelche Schnitte vornimmt, um zu sehen, wie die Etagen tatsächlich miteinander zusammenhängen. Er muss die Bibliothek nicht neu trainieren (es ist „training-free"); er beobachtet einfach, wie die Bibliothekare miteinander sprechen.

Hier ist der schrittweise Prozess:

1. Der „Echo"-Test (Messung der Ähnlichkeit)

Der Architekt sendet einige Beispielsätze durch die Bibliothek und hört zu, wie sich die „versteckten Gedanken" (Repräsentationen) von Etage zu Etage verändern.

Wenn Etage 5 und Etage 6 fast exakt dasselbe sagen, sind sie redundant.
Wenn Etage 5 etwas völlig anderes sagt als Etage 6, sind sie einzigartig.

2. Der „Lokalitäts-Score" (der RLS)

Der Architekt berechnet einen Score namens Representation Locality Score (RLS). Betrachten Sie dies als einen „Klumpen-Messgerät":

Hoher Score (Klumpig): Die Bibliothek hat „Echokammern". Die Etagen 10–20 wiederholen alle dieselben Ideen. Die Redundanz ist lokalisiert.
Niedriger Score (Verstreut): Die Bibliothek hat „diffuse Echos". Die Wiederholung ist über das gesamte Gebäude verteilt, vom Keller bis zum Dach. Die Redundanz ist global verteilt.

3. Gruppierung der Etagen (Clustering)

Basierend auf diesem Score gruppiert der Architekt die Etagen in „Nachbarschaften" (Cluster) ähnlichen Denkens.

Wenn die Bibliothek „klumpig" ist, sind die Nachbarschaften enge Gruppen identischer Etagen.
Wenn die Bibliothek „verstreut" ist, sind die Nachbarschaften vielfältiger.

4. Der zweistufige Schnitt (Pruning)

Nun entscheidet der Architekt, welche Etagen entfernt werden sollen, mit einer zweistufigen Strategie:

Schritt 1 (Abdeckung): Zuerst stellen sie sicher, dass sie eine Etage aus jeder einzelnen Nachbarschaft entfernen. Dies stellt sicher, dass sie nicht versehentlich eine ganze einzigartige Nachbarschaft auslöschen.
Schritt 2 (Die Aufräumaktion): Dann betrachten sie die verbleibenden Etagen in jeder Nachbarschaft. Sie entfernen weiterhin die „redundantesten" (wiederholtesten) Etagen, bis sie ihre Zielgröße erreicht haben.

Warum es besser funktioniert

Der Artikel testete dies an verschiedenen Arten von KI-Modellen (wie LLaMA, Mistral und Qwen).

Für „klumpige" Modelle: LoRP erkannte korrekt, dass es sicher einen großen Block von Etagen aus einem bestimmten Bereich entfernen konnte.
Für „verstreute" Modelle: LoRP erkannte korrekt, dass es etwas von vielen verschiedenen Bereichen nehmen musste, anstatt einen großen Block abzuschneiden.

Das Ergebnis:
Da sich LoRP an die spezifische Form der Bibliothek anpasst, hält es die KI intelligenter und genauer als die alten „Einheitslösungen". Es erhält die Fähigkeit der Bibliothek, Fragen zu beantworten und Sprache zu verstehen, viel besser, selbst nachdem eine signifikante Anzahl von Etagen entfernt wurde.

In Kürze

Stellen Sie es sich wie das Schneiden eines Films vor.

Alte Methoden waren wie das blinde Schneiden jedes zehnten Szenen oder das Entfernen eines ganzen 5-Minuten-Blocks, weil man davon ausging, dass der Film auf eine bestimmte Weise repetitiv war.
LoRP ist wie ein Regisseur, der sich den ganzen Film zuerst ansieht, genau sieht, wo sich der Dialog wiederholt, und dann die spezifischen redundanten Zeilen schneidet, während er den Fluss der Geschichte intakt hält, egal wie der Film ursprünglich strukturiert war.

Der Artikel kommt zu dem Schluss, dass das Verständnis davon, wo und wie sich Informationen in einer KI wiederholen, der Schlüssel ist, um sie effizient zu verkleinern, ohne sie zu zerstören.

Technische Zusammenfassung: Lokalitätsbewusstes Redundanz-Pruning zur Kompression der LLM-Tiefe

1. Problemstellung

Large Language Models (LLMs), die auf Transformer-Architekturen basieren, leiden unter extremer Tiefe und Überparametrisierung, was zu erheblichen Rechen- und Speicherkosten während der Inferenz führt. Obwohl das schichtweise (tiefenbezogene) Pruning eine effektive Strategie zur Reduzierung der Latenz und des Speicherverbrauchs durch das Entfernen ganzer Transformer-Blöcke ist, verlassen sich bestehende einmalige, trainingsfreie Methoden auf fehlerhafte Annahmen bezüglich der Redundanz.

Derzeitige Ansätze lassen sich allgemein in zwei Kategorien einteilen:

Lokalitätsbasierte Methoden: Schätzen Redundanz unter Verwendung isolierter Schicht-Scores (z. B. Block-Einfluss).
Kontiguitätsbasierte Ähnlichkeitsmethoden: Gehen davon aus, dass Redundanz innerhalb benachbarter Tiefenregionen konzentriert ist.

Eine empirische Analyse zeigt jedoch, dass diese Annahmen unzureichend sind. Die inter-schichtige Redundanz ist nicht einheitlich über Architekturen hinweg; sie kann entweder lokalisiert (in spezifischen Tiefenregionen konzentriert) oder global verteilt (über das gesamte Netzwerk verteilt) sein. Feste Pruning-Priors berücksichtigen diese architekturabhängigen strukturellen Unterschiede nicht, was zu suboptimalen Leistungseinbußen führt.

2. Methodik: Lokalitätsbewusstes Redundanz-Pruning (LoRP)

Die Autoren schlagen LoRP vor, ein trainingsfreies, einmaliges Tiefen-Pruning-Framework, das sich an die spezifische Repräsentationsgeometrie jedes LLM anpasst. Der Arbeitsablauf besteht aus fünf Schlüsselphasen:

2.1 Messung der Inter-Schicht-Ähnlichkeit

Unter Verwendung eines kleinen Kalibrierungsdatensatzes (128 Sequenzen aus C4) sammelt LoRP Eingabe-Verdeckungs-Zustands-Aktivierungen für jeden Transformer-Block. Es berechnet eine paarweise Inter-Schicht-Verdeckungs-Zustands-Kosinus-Ähnlichkeitsmatrix ( $S$ ), wobei jeder Eintrag $S_{ij}$ die mittlere pro-Token-Kosinus-Ähnlichkeit zwischen den Eingaberepräsentationen der Schichten $i$ und $j$ darstellt.

2.2 Repräsentations-Lokalitäts-Score (RLS)

Um die globale Struktur der Redundanz zu quantifizieren, führen die Autoren den Repräsentations-Lokalitäts-Score (RLS) ein.

Zuerst wird der globale Mittelwert der off-diagonalen Ähnlichkeit ( $\bar{S}_{off}$ ) über alle Schichtpaare berechnet.
Der RLS ist definiert als: $RLS(S) = -\log_2(\bar{S}_{off})$ .
Interpretation: Ein hoher RLS zeigt einen schnellen Abfall der Ähnlichkeit über die Tiefe hinweg an, was lokalisierte Redundanz impliziert (Redundanz ist in spezifischen Regionen konzentriert). Ein niedriger RLS zeigt eine starke globale Ähnlichkeit an, was verteilte Redundanz impliziert (Redundanz ist über das Netzwerk verteilt).

2.3 Schicht-Clustering

Basierend auf der Ähnlichkeitsmatrix $S$ und dem RLS werden Schichten unter Verwendung von spektralem Clustering auf einer Affinitätsmatrix $A = (S + 1)/2$ in repräsentative Cluster partitioniert.

Die Granularität des Clusterings wird vom RLS geleitet: Ein höherer RLS führt zu gröberem Clustering (konzentrierte Regionen), während ein niedrigerer RLS eine feinere Partitionierung fördert, um verteilte Redundanz zu handhaben.
Dieser Schritt gruppiert Schichten, die ähnliche Residual-Stream-Repräsentationen verarbeiten, unabhängig von ihrer physischen Nachbarschaft.

2.4 Zwei-Stufen-Redundanzbewusstes Pruning

LoRP weist das Pruning-Budget ( $k$ zu entfernende Schichten) über ein Zwei-Stufen-Verfahren zu, um Abdeckung und Redundanz auszugleichen:

Stufe 1: Abdeckungsbewusste Initialisierung: Um zu verhindern, dass sich das Pruning in einem einzigen Cluster zusammenzieht, wählt die Methode die redundanteste berechtigte Schicht aus jedem Cluster aus, um einen initialen Kandidatenpool zu bilden.
Stufe 2: Rest-Redundanz-Allokation: Das verbleibende Budget wird iterativ zugeteilt. In jedem Schritt identifiziert der Algorithmus den Cluster mit der höchsten Rest-Redundanz (mittlere paarweise Ähnlichkeit unter den verbleibenden berechtigten Schichten) und entfernt die redundanteste Schicht innerhalb dieses Clusters.

Diese dynamische Allokation stellt sicher, dass Architekturen mit lokalisierter Redundanz innerhalb konzentrierter Regionen prunen, während solche mit verteilter Redundanz über mehrere Regionen hinweg prunen.

3. Schlüsselbeiträge

Der Artikel leistet folgende spezifische Beiträge:

Empirische Beobachtung: Es wurde demonstriert, dass die Repräsentationslokalität zwischen LLM-Familien erheblich variiert (z. B. zeigen Qwen-Modelle verteilte Ähnlichkeit, während LLaMA/Mistral lokalisierte Redundanz aufweisen).
Vorschlag einer Metrik: Einführung des Repräsentations-Lokalitäts-Scores (RLS), einer einfachen Metrik, die aus der globalen inter-schichtigen Verdeckungs-Zustands-Ähnlichkeit abgeleitet wird, um dieses Phänomen zu quantifizieren.
Framework-Design: Vorschlag von LoRP, einem trainingsfreien, einmaligen Pruning-Framework, das Schichten nach repräsentativer Ähnlichkeit clustert und das Pruning basierend auf der spezifischen Redundanzstruktur der Architektur zuweist.
Leistungsvalidierung: Es wurde gezeigt, dass LoRP konsistent die Perplexität und die downstream-Reasoning-Genauigkeit über diverse LLM-Familien hinweg verbessert, ohne dass eine Erholung nach dem Pruning oder Feinabstimmung erforderlich ist.

4. Experimentelle Ergebnisse

Experimente wurden an fünf Open-Source-LLMs (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) unter Verwendung von neun Zero-Shot-Reasoning-Benchmarks und drei Perplexitätsdatensätzen (WikiText-2, C4, PTB) durchgeführt.

Perplexität (PPL): LoRP erzielte im Vergleich zu Baselines (ShortGPT, LLM-Streamline, LaCo) die niedrigste durchschnittliche Perplexität über die meisten Modelle und Pruning-Budgets hinweg. Die Verbesserung war insbesondere bei Qwen-Modellen signifikant, bei denen kontiguitätsbasierte Pruning-Methoden versagten.
Downstream-Genauigkeit: LoRP bewahrte die Zero-Shot-Reasoning-Leistung besser als bestehende Methoden. Zum Beispiel erreichte LoRP bei Qwen3-8B mit 7/36 entfernten Schichten eine durchschnittliche Genauigkeit von 56,65 % und übertraf damit ShortGPT (51,50 %) und LaCo (55,82 %).
Pruning-Muster: Die Visualisierung bestätigte, dass LoRP sein Pruning-Muster an das Modell anpasst: Es entfernt Schichten aus konzentrierten Regionen für LLaMA/Mistral (hoher RLS) und verteilt die Entfernungen über das Netzwerk für Qwen (niedriger RLS).
Vergleich mit iterativen Methoden: Während iterative Methoden wie Shortened LLaMA manchmal eine niedrigere Perplexität erreichten (aufgrund der Anpassung an das Kalibrierungsziel), behielt LoRP eine überlegene downstream-Generalisierungs-Genauigkeit bei, was auf eine bessere Robustheit jenseits des Kalibrierungsdatensatzes hindeutet.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass die Repräsentationslokalität ein kritischer, architekturabhängiger Faktor für ein effektives Tiefen-Pruning ist. Die Bedeutung dieser Arbeit liegt in der Verschiebung des Paradigmas von festen, kontiguitätsbasierten oder isolierten Schicht-Scoring-Ansätzen hin zu einem globalen, geometriebewussten Ansatz.

Bescheidene Behauptungen: Die Autoren stellen ausdrücklich fest, dass ihre Erkenntnisse darauf hindeuten, dass Redundanz eine strukturierte Eigenschaft der Repräsentationsgeometrie ist. Sie behaupten nicht, dass LoRP eine universelle Lösung für alle Kompressionsaufgaben ist, sondern vielmehr ein Framework, das die Effizienz durch die Achtung architektonischer Unterschiede verbessert.
Einschränkungen: Die Autoren räumen ein, dass ihre RLS-gesteuerte Clustering-Richtlinie empirisch aus den bewerteten Modellen abgeleitet wurde. Sie stellen fest, dass die aktuelle Methode auf einer manuell spezifizierten Anzahl von Clustern ( $K$ ) basierend auf RLS-Bereichen beruht und noch keine Erholung nach dem Pruning oder Feinabstimmung beinhaltet. Zukünftige Arbeiten sind erforderlich, um die Generalisierung über breitere Architekturen, Skalen und Trainingsrezepte hinweg zu validieren und vollständig automatische Strategien zur Auswahl von Clustering-Parametern zu entwickeln.

Zusammenfassend zeigt LoRP, dass durch die Charakterisierung und Anpassung an die spezifische Redundanzstruktur eines LLM eine effizientere Tiefenkompression erreicht werden kann, ohne die Modellleistung zu beeinträchtigen.