🤖 machine learning

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs

Das Papier schlägt „Ghosted Layers" vor, eine trainingsfreie Methode, die die Leistung von layer-geprunten großen Sprachmodellen wiederherstellt, indem ein geschlossener optimaler linearer Operator abgeleitet wird, um Aktivierungsverteilungen zwischen verbleibenden Schichten auszurichten, wodurch bestehende eingeschränkte Basismodelle übertroffen werden, während Effizienzgewinne erhalten bleiben.

Ursprüngliche Autoren: Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vincent-Daniel Yun, Junhyuk Jo, Sai Praneeth Karimireddy, Sunwoo Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr talentierten, hochqualifizierten Koch (ein Large Language Model), der jahrelang gelernt hat, komplexe Gerichte zuzubereiten. Dieser Koch arbeitet in einer riesigen Küche mit 32 verschiedenen Stationen, die jeweils einen spezifischen Geschmack oder eine bestimmte Textur zum Gericht hinzufügen.

Das Problem: Das Entfernen der Mitte
Um die Küche schneller und kostengünstiger zu betreiben, entscheidet sich jemand, einen ganzen Block von Stationen in der Mitte zu entfernen – sagen wir, 7 oder 11 Stationen auf einmal. Dies wird als „Layer-Pruning" (Schichtenbeschneidung) bezeichnet.

Das Problem besteht darin, dass die Stationen vor dem Schnitt und die Stationen nach dem Schnitt darauf trainiert waren, über diese fehlenden Stationen miteinander zu kommunizieren. Wenn Sie die Mitte entfernen, erhält die Station unmittelbar nach dem Schnitt eine Zutat, die überhaupt nicht dem entspricht, was sie erwartet. Es ist, als würde ein Bäcker perfekt gekneteten Teig erwarten, stattdessen aber eine rohe, klumpige Masse erhält. Der Bäcker (die nächste Schicht) gerät in Verwirrung, das Rezept fällt auseinander, und das Endgericht (die Antwort der KI) schrecklich.

Die alten Lösungen: Der Versuch, das Loch zu flicken
Frühere Versuche, dies zu beheben, waren wie der Versuch, einen quadratischen Pflock in ein rundes Loch zu zwängen.

Einige Methoden versuchten, die vorhandenen Zutaten einfach nur zu „strecken", damit sie ein wenig mehr dem Erwarteten ähnelten, doch sie waren zu starr.
Andere versuchten, ein sehr spezifisches, symmetrisches Werkzeug zu verwenden, um die Diskrepanz zu beheben. Das Papier argumentiert, dies sei wie der Versuch, einen schiefen Bilderrahmen nur mit einem Lineal zu reparieren, das sich nur auf und ab, nicht aber seitwärts bewegen lässt. Es ist ein eingeschränktes Werkzeug, das die perfekte Lösung nicht erreichen kann.

Die neue Lösung: „Ghosted Layers" (Geisterschichten)
Die Autoren schlagen eine neue Methode namens Ghosted Layers vor. Stellen Sie sich dies als einen „Geisterkoch" oder eine magische Brücke vor, die genau dort erscheint, wo die fehlenden Stationen früher waren.

So funktioniert es in einfachen Worten:

Die Kalibrierung (Der Geschmackstest): Bevor die Küche dauerhaft verändert wird, nimmt das Team eine kleine Probe von Zutaten (ein paar Sätze Text) und führt sie durch die ursprüngliche, vollständige Küche. Sie notieren genau, wie die Zutat aussah, bevor sie in die fehlenden Stationen eintrat, und genau, wie sie aussah, nachdem sie diese verlassen hatte.
Die mathematische Magie: Sie berechnen den exakten Unterschied zwischen dem „Vorher"- und dem „Nachher"-Zustand. Anstatt zu raten oder ein eingeschränktes Werkzeug zu verwenden, nutzen sie eine mathematische Formel, um die perfekte, uneingeschränkte Transformation zu finden, die erforderlich ist, um den „Vorher"-Zustand in den „Nachher"-Zustand zu verwandeln.
- Analogie: Wenn die fehlenden Stationen einen roten Apfel in einen grünen Apfel verwandelten, könnte ein eingeschränktes Werkzeug ihn vielleicht nur leicht grüner anmalen. Die „Ghosted Layer" berechnet jedoch die exakte chemische Veränderung, die nötig ist, um diesen roten Apfel perfekt in einen grünen zu verwandeln, egal wie komplex die Veränderung ist.
Das Ergebnis: Sie fügen diese perfekte „Ghosted Layer" in die beschnittene Küche ein. Jetzt, wenn die Zutat von der Station vor dem Schnitt zur Station nach dem Schnitt fließt, passiert sie diesen Geist, wird sofort in genau das verwandelt, was die nächste Station erwartet, und das Kochen läuft wieder reibungslos weiter.

Warum es besser ist
Das Papier behauptet, dass frühere Methoden wie der Versuch waren, ein Puzzle nur mit der Hälfte der Teile oder mit einem zu einfachen Werkzeug zu lösen. Die „Ghosted Layer" löst das Puzzle mit dem vollständigen Satz an Teilen und dem flexibelsten möglichen Werkzeug.

Kein Nachtrainieren: Sie müssen dem Koch nicht beibringen, wie er kocht. Sie installieren einfach diese neue „Geisterbrücke", und die Küche funktioniert wieder.
Gleiche Geschwindigkeit: Obwohl die Mathematik zur Konstruktion des Geistes komplex ist, verlangsamt sie die Küche, sobald sie gebaut ist, nicht. Sie läuft genauso schnell wie die alten, eingeschränkten Lösungen.
Besserer Geschmack: In Tests erzeugte diese Methode deutlich bessere Ergebnisse (höhere Genauigkeit und geringere Verwirrung) als frühere Methoden, insbesondere wenn ein großer Teil der Küche entfernt wurde.

Zusammenfassung
Wenn Sie Teile einer intelligenten KI herausschneiden, geraten die verbleibenden Teile in Verwirrung, weil der Informationsfluss unterbrochen ist. „Ghosted Layers" fungiert als perfekter, unsichtbarer Übersetzer, der den unterbrochenen Fluss sofort repariert und es der KI ermöglicht, mit voller Geschwindigkeit weiterzuarbeiten, ohne dass sie nachtrainiert werden muss.

Technische Zusammenfassung: Ghosted Layers – Unbeschränkte Aktivierungsausrichtung zur Wiederherstellung von layer-pruned LLMs

1. Problemstellung

Layer-Pruning ist eine praktische Kompressionstechnik für Large Language Models (LLMs), die gesamte Transformer-Decoder-Blöcke entfernt, um die Modellgröße und die Inferenzkosten zu senken, ohne benutzerdefinierte Kernel oder architektonische Änderungen zu erfordern. Das Entfernen dieser Blöcke erzeugt jedoch eine Diskrepanz der Grenzaktivierungen (boundary activation mismatch). Der an die nächste überlebende Schicht weitergegebene versteckte Zustand weicht erheblich von der Verteilung ab, für die die Schicht ursprünglich trainiert wurde. Diese Verschiebung der Verteilung pflanzt sich durch nachgelagerte Schichten fort und führt zu einer erheblichen Leistungsverschlechterung sowohl bei der Perplexität als auch bei der Genauigkeit nachgelagerter Aufgaben.

Bestehende trainingsfreie Wiederherstellungsmethoden versuchen, diese Diskreanz zu mildern, leiden jedoch unter strukturellen Einschränkungen:

ReplaceMe approximiert die Berechnung des entfernten Blocks über eine lineare Transformation, die in die verbleibenden Gewichte integriert wird, adressiert jedoch die Grenzdiskreanz nicht direkt.
LinearPatch zielt direkt auf die Diskreanz der Grenzaktivierungen ab, indem ein linearer Operator eingefügt wird, der als kanalspezifische Skalierung mit Hadamard-Rotation parametrisiert ist. Entscheidend ist, dass diese Parametrisierung per Konstruktion symmetrisch ist, was den Suchraum auf einen strikten Unterraum linearer Operatoren beschränkt und verhindert, dass die Methode das globale Optimum des Ausrichtungsziels erreicht.

Empirische Analysen zeigen, dass diese Methoden einen erheblichen Teil des Fehlers der Grenzaktivierungen unkorrigiert lassen, was darauf hindeutet, dass die eingeschränkte Natur ihrer Operatoren nicht ausreicht, um die Leistung des prunten Modells vollständig wiederherzustellen.

2. Methodik: Ghosted Layers

Die Autoren schlagen Ghosted Layers vor, ein trainingsfreies, plug-and-play-Wiederherstellungsmodul, das die Diskreanz der Grenzaktivierungen adressiert, indem es den unbeschränkten optimalen linearen Operator berechnet.

Kernformulierung

Die Methode formuliert die Wiederherstellung als Problem der Aktivierungsausrichtung. Sei $X_{pre}$ der versteckte Eingabezustand der ersten entfernten Schicht und $X_{post}$ der versteckte Ausgabenzustand der letzten entfernten Schicht (Eingang zur nächsten überlebenden Schicht) im ursprünglichen, unprunten Modell. Das Ziel ist es, einen linearen Operator $W$ zu finden, sodass $X_{pre}W \approx X_{post}$ gilt.

Die Autoren definieren die Lücke der Grenzaktivierungen als $\Delta = X_{post} - X_{pre}$ . Sie reparametrisieren den Operator als $W = I + M$ und transformieren das Ziel in die Minimierung des Rekonstruktionsfehlers der Lücke:
$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$

Geschlossene Lösung

Im Gegensatz zu früheren Methoden, die über eingeschränkte Unterräume optimieren, leitet Ghosted Layers eine geschlossene Lösung im Minimum-Norm-Quadratmittel über den gesamten Raum linearer Operatoren $\mathbb{R}^{C \times C}$ ab:
$M^* = X_{pre}^\dagger \Delta$
wobei $X_{pre}^\dagger$ die Moore-Penrose-Pseudoinverse der Aktivierungen vor der Grenze ist. Der finale Operator ist $W^* = I + M^*$ .

Implementierung

Kalibrierung: Ein kleiner Satz von Kalibrierungssequenzen (z. B. 128 Sequenzen aus C4) wird durch das ursprüngliche unprunte Modell geleitet, um $X_{pre}$ und $X_{post}$ via Forward-Pre-Hooks zu sammeln.
Berechnung: Der optimale Operator $M^*$ wird offline unter Verwendung eines regularisierten Least-Squares-Lösers (oder SVD) berechnet, um numerische Stabilität zu gewährleisten.
Bereitstellung: Der Operator $W^*$ wird über einen Forward-Hook an die Pruning-Grenze eingefügt. Die Operation lautet $x_{new} = x W^* = x + x M^*$ , wobei der additive Term $x M^*$ die inkrementelle Aktualisierung schätzt, die die entfernten Schichten beigetragen hätten.

Theoretischer Vorteil

Die Arbeit beweist, dass der optimale Operator $W^*$ eine erhebliche antisymmetrische Komponente enthält. Da LinearPatch seine Suche auf symmetrische Matrizen beschränkt (wobei $W = W^\top$ ), kann es diese antisymmetrische Komponente strukturell nicht erreichen. Ghosted Layers erfasst diese Komponente durch Operation im unbeschränkten Raum und erreicht theoretisch das wahre Optimum des Ausrichtungsziels.

3. Hauptbeiträge

Formulierung der Nach-Pruning-Wiederherstellung: Die Autoren formulieren die Wiederherstellung als Problem der Aktivierungsausrichtung und leiten ihre geschlossene optimale Lösung direkt aus den Grenzaktivierungen ab.
Unbeschränkte Optimalität: Sie zeigen, dass diese Formulierung ein unbeschränktes Optimum liefert, das eine signifikante antisymmetrische Komponente enthält, die für symmetrische Konstruktionen wie LinearPatch unzugänglich ist.
Ghosted Layers-Modul: Sie schlagen ein trainingsfreies, plug-and-play-Modul vor, das mit jedem Pruning-Kriterium und jeder Modellarchitektur kompatibel ist. Es übertrifft konsistent vorherige trainingsfreie Baselines bei gleichen Inferenzkosten.

4. Experimentelle Ergebnisse

Die Methode wurde über mehrere LLM-Backbones (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B und weitere im Anhang) und Pruning-Strategien (LLM-Streamline, ShortGPT, Shortened LLaMA) evaluiert.

Genauigkeit: Ghosted Layers erzielt konsistent die höchste oder wettbewerbsfähige durchschnittliche Zero-Shot-Genauigkeit auf neun Benchmarks für commonsense reasoning (ARC, HellaSwag, WinoGrande usw.) im Vergleich zu trainingsfreien Baselines. Beispielsweise erzielte Ghosted Layers bei LLaMA-3.1-8B mit 7 entfernten Schichten eine durchschnittliche Genauigkeit von 60,01 % und übertraf damit LinearPatch (Rotate) mit 53,27 % und ReplaceMe (LS) mit 59,68 %.
Perplexität: Die Methode reduziert die Perplexität auf WikiText-2, C4 und Penn Treebank erheblich. In aggressiven Pruning-Szenarien (11 Schichten entfernt) vergrößert sich die Verbesserungsmarge gegenüber den Baselines, wobei Ghosted Layers in den meisten Kombinationen die niedrigste Perplexität erreicht.
Effizienz: Trotz der Berechnung einer vollen $C \times C$ -Matrix verursacht Ghosted Layers keine zusätzlichen Inferenzkosten im Vergleich zu LinearPatch. Beide Methoden fusionieren ihre Operationen zu einer einzigen dichten $C \times C$ -Matrixmultiplikation an der Grenze. Empirische Latenzmessungen bestätigen, dass sie innerhalb der Rauschmargen nicht unterscheidbar sind.
Kalibrierungsempfindlichkeit: Die Methode ist robust gegenüber der Größe des Kalibrierungssets; die Genauigkeit sättigt bereits mit so wenigen wie 32 Sequenzen, und die Wahl des Kalibrierungsdatensatzes (C4 vs. WikiText-2) hat minimale Auswirkungen auf die Leistung.
Fine-Tuning: Selbst in Kombination mit leichtem Knowledge Distillation behält Ghosted Layers einen Leistungsvorteil gegenüber fine-getunten LinearPatch-Varianten, was darauf hindeutet, dass die geschlossene Initialisierung einen überlegenen Ausgangspunkt bietet.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Lösung der Aktivierungsausrichtung an der Grenze bei ihrem unbeschränkten Optimum ausreicht, um die Leistung von layer-prunten LLMs ohne Neutrainieren erheblich wiederherzustellen.

Die Bedeutung dieser Arbeit liegt darin zu demonstrieren, dass die Leistungsverschlechterung in prunten Modellen nicht lediglich ein Ergebnis fehlender Kapazität ist, sondern einer korrigierbaren Verschiebung der Verteilung. Durch den Schritt über eingeschränkte Operatoren-Unterräume (wie symmetrische Matrizen) hinaus in den vollen Raum linearer Abbildungen gewinnt Ghosted Layers strukturelle Informationen (insbesondere antisymmetrische Komponenten) zurück, die frühere Methoden verpasst haben. Dieser Ansatz bietet eine einfache, rechnerisch effiziente und hochwirksame Lösung für den Einsatz kleinerer, prunter LLMs unter Beibehaltung ihrer ursprünglichen Fähigkeiten.