💻 computer science

SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs

SHIFT-LLM ist ein trainingsfreies Post-Pruning-Framework, das die Genauigkeit in tiefen-geprunten Large Language Models durch das Einfügen leichtgewichtiger linearer Residual-Adapter wiederherstellt, welche mittels geschlossener Regression kalibriert werden, um die durch das Entfernen von Transformer-Blöcken verursachten Verteilungsverschiebungen zu korrigieren.

Ursprüngliche Autoren: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Veröffentlicht 2026-08-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ali Bahri, Hang Li, Hongliang Li, Zhitang Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Große Sprachmodelle sind die Motoren hinter vielen der heute fortschrittlichsten Werkzeuge der künstlichen Intelligenz und sind in der Lage, Geschichten zu schreiben, Probleme zu lösen und komplexe Fragen zu beantworten. Diese Systeme sind aus Schichten digitaler Verarbeitungseinheiten aufgebaut, die übereinander gestapelt sind, ganz ähnlich wie ein mehrstöckiges Gebäude, bei dem jede Etage die von der darunter liegenden Ebene nach oben weitergeleiteten Informationen verfeinert. Je mehr Stockwerke ein Gebäude hat, desto detaillierter und anspruchsvoller kann sein endgültiger Output sein, aber dies macht die Struktur auch unglaublich schwer und teuer im Betrieb. Für viele praktische Anwendungen, insbesondere auf Geräten mit begrenzter Leistung oder Speicher, sind diese massiven Modelle schlichtweg zu groß für die Nutzung. Um sie kleiner zu machen, haben Forscher Methoden entwickelt, um ganze Stockwerke aus dem Gebäude zu entfernen, ein Prozess, der als Tiefen-Pruning (Depth Pruning) bekannt ist. Während dies die Last erfolgreich verringert und das Modell beschleunigt, lassen die verbleibenden Stockwerke oft die oberen Ebenen ins Straucheln geraten. Da die entfernten Stockwerke dazu konzipiert waren, spezifische Arten von Informationen an die darüber liegenden zu übergeben, führt das Wegnehmen dazu, dass die oberen Schichten verwirrt sind und Signale erhalten, die nicht mehr dem entsprechen, was sie während des Trainings erwartet haben. Diese Diskrepanz, bekannt als Verteilungsverschiebung (Distribution Shift), führt dazu, dass das Modell an Genauigkeit verliert und Fehler macht, was Entwickler dazu zwingt, erhebliche Zeit und Rechenleistung aufzuwenden, um das Modell neu zu trainieren, um die Fehler zu beheben.

Ein Team von Forschern bei Huawei Noah's Ark Lab hat einen neuen Ansatz namens SHIFT-LLM vorgestellt, der dieses Problem ohne die Notwendigkeit eines erneuten Trainings löst. Anstatt zu versuchen, die fehlenden Stockwerke wieder aufzubauen oder die verbleibenden neu zu lehren, fügt ihre Methode ein kleines, leichtgewichtiges Korrekturmodul an jeder Stelle ein, an der eine Schicht entfernt wurde. Stellen Sie sich vor, wenn Sie eine Etage aus einem Gebäude entfernen würden, würden Sie eine einfache, maßgeschneiderte Rampe installieren, die die Lücke perfekt überbrückt und sicherstellt, dass die Menschen in den oberen Stockwerken immer noch exakt dieselben Anweisungen erhalten, als wäre die fehlende Etage noch vorhanden. In der digitalen Welt ist diese Rampe ein linearer Adapter, der den direkten Informationspfad bewahrt und gleichzeitig eine winzige, kalkulierte Anpassung hinzufügt. Diese Anpassung ist darauf ausgelegt, den spezifischen Beitrag nachzuahmen, den die entfernte Schicht geleistet hätte, und täuscht den Rest des Modells effektiv vor, dass die fehlende Etage noch vorhanden sei.

Die Brillanz dieser Methode liegt darin, wie sie diese Anpassung berechnet. Anstatt tausende Stunden lang zu trainieren, um herauszufinden, was die fehlende Schicht hätte tun sollen, nutzen die Forscher einen kleinen Satz von Beispieldaten, um genau zu messen, welche Informationen verloren gegangen sind. Sie verwenden dann eine einfache mathematische Berechnung, um die präzise Korrektur zu bestimmen, die notwendig ist, um die verlorenen Informationen wiederherzustellen. Dieser Prozess ist vollständig automatisiert und erfordert keine gradientenbasierte Optimierung, was der komplexe, iterative Lernprozess ist, der normalerweise zur Reparatur defekter Modelle erforderlich ist. Durch die Verwendung dieser geschlossenen Formel (Closed-Form Calculation) kann das Team den internen Zustand des Modells innerhalb von Minuten unter Verwendung von nur wenigen hundert Beispielen korrigieren, anstatt Tage an Rechenzeit zu benötigen. Das Ergebnis ist ein gepruntes Modell, das die Geschwindigkeit und Effizienz eines Modells mit weniger Schichten beibehält, aber mit einer Genauigkeit arbeitet, die der des ursprünglichen, massiven Modells nahezu identisch ist.

In ihren Experimenten testeten die Forscher diese Technik an fünf verschiedenen Familien von großen Sprachmodellen, die von kleineren Modellen mit 1,5 Milliarden Parametern bis hin zu größeren 14-Milliarden-Parameter-Versionen reichen. Sie wandten sechs verschiedene Methoden an, um zu entscheiden, welche Schichten zu entfernen sind, und evaluierten die Ergebnisse anhand von sieben verschiedenen Benchmarks, die auf allgemeines Wissen und logisches Denken ausgelegt sind. Die Ergebnisse waren konsistent: Die Korrekturmodule stellten die durch das Pruning verlorene Genauigkeit in fast jeder Konfiguration erfolgreich wieder her. In einem bemerkenswerten Fall, der ein 8-Milliarden-Parameter-Modell betraf, stellte die Methode eine beeindruckende Genauigkeitssteigerung von 15,7 Punkten auf einem Standard-Benchmark wieder her – ein Gewinn, der normalerweise ein umfangreiches und teures Retraining erfordern würde. Selbst wenn die Modelle nach dem Pruning bereits feinjustiert (Fine-Tuning) wurden, bot das Hinzufügen dieses Korrekturmoduls einen zusätzlichen Schub, was darauf hindeutet, dass die beiden Ansätze gut zusammenarbeiten, um die Leistung noch weiter zu steigen.

Die Forscher zeigten auch, dass diese Korrekturmodule weiter komprimiert werden können, um Platz zu sparen, und zusammengeführt werden können, wenn mehrere Schichten hintereinander entfernt werden, wodurch sichergestellt wird, dass die Effizienzgewinne durch das Pruning nicht durch den Overhead der Reparatur verloren gehen. Diese Arbeit legt nahe, dass das primäre Hindernis für die Verkleinerung großer Sprachmodelle nicht nur die Entfernung von Teilen ist, sondern die Störung des Informationsflusses zwischen ihnen. Indem sie sich darauf konzentrieren, diesen Fluss mit einfachen, gezielten Anpassungen zu reparieren, bietet SHIFT-LLM eine allgemeine und effiziente Möglichkeit, leistungsstarke KI-Modelle praktikabel für den alltäglichen Gebrauch zu machen. Die Studie bestätigt, dass wir mit der richtigen Korrektur die schweren, redundanten Teile dieser digitalen Gehirne entfernen können, ohne ihre Fähigkeit zum klaren Denken zu verlieren, was die Tür zu schnellerer, günstigerer und zugänglicherer künstlicher Intelligenz öffnet.

Technisches Resümee: SHIFT-LLM

Problemstellung

Die Tiefen-Pruning-Verfahren (Depth Pruning) bei Large Language Models (LLMs) zielen darauf ab, die Inferenz-Effizienz durch das Entfernen ganzer Transformer-Blöcke zu verbessern. Dieser Prozess führt jedoch zu einem kritischen Problem: der Verteilungsverschiebung (Distribution Shift). Wenn ein mittlerer Block entfernt wird, geht der ursprüngliche Residual-Update verloren. Infolgedessen erhalten die nachfolgenden Schichten verborgene Zustände (Hidden States), die sich systematisch von denen während des Pretrainings unterscheiden. Diese Verschiebung propagiert durch das Netzwerk und führt zu einem signifikanten Genauigkeitsverlust. Während ein Post-Pruning-Fine-Tuning die Leistung wiederherstellen kann, erfordert dies erhebliche Rechenressourcen, Optimierungszeit und gradientenbasierte Trainingsverfahren, was die Anwendbarkeit in ressourcenbeschränkten Szenarien einschränkt.

Methodik: SHIFT-LLM

Die Autoren schlagen SHIFT-LLM vor, ein Training-freies Post-Pruning-Korrektur-Framework, das darauf ausgelegt ist, diese Verteilungsverschiebung ohne Gradientenberechnung zu mildern. Der Kernmechanismus ist der Linear Residual Adapter (LRA), der an jeder Pruning-Stelle eingefügt wird.

1. Formulierung des Linear Residual Adapters (LRA)

Anstatt den gesamten Ausgangszustand (Output Hidden State) von Grund auf neu zu rekonstruieren, bewahrt der LRA den ursprünglichen Identitätspfad (Identity Pathway) und fügt eine leichtgewichtige affine Residual-Korrektur hinzu.

Struktur: Für eine geprunte Schicht $\ell$ wird der ursprüngliche Ausgang $h^{(\ell)} = h^{(\ell-1)} + f_\ell(h^{(\ell-1)})$ durch $\hat{h}^{(\ell)} = h^{(\ell-1)} + g_\ell(h^{(\ell-1)})$ approximiert.
Korrekturfunktion: Der Adapter $g_\ell(\cdot)$ wird als affine Transformation modelliert: $g_\ell(h) = hA^{(\ell)} + \mathbf{1}(b^{(\ell)})^\top$ , wobei $A^{(\ell)}$ eine Gewichtmatrix und $b^{(\ell)}$ ein Bias-Vektor ist.
Zielsetzung: Der LRA approximiert spezifisch den fehlenden Residual-Update ( $\delta^{(\ell)} = f_\ell(h^{(\ell-1)})$ ) anstatt des vollständigen verborgenen Zustands. Dies vereinfacht das Approximationsproblem, indem es die Residualstruktur nutzt, auf der das Modell vortrainiert wurde.

2. Closed-Form-Schätzung (Training-frei)

Die Parameter des LRA ( $A^{(\ell)}$ und $b^{(\ell)}$ ) werden ohne Backpropagation oder iterative Optimierung geschätzt:

Datenerfassung: Das ursprüngliche, ungeprunte Modell führt einen Forward-Pass auf einem kleinen, separaten Kalibrierungsdatensatz durch. Die Eingangs-Hidden-States ( $H^{(\ell)}$ ) und die entsprechenden Ground-Truth-Residual-Updates ( $\Delta^{(\ell)}$ ) werden gesammelt.
Ridge-Regression: Die Parameter werden über eine Closed-Form-Kleinste-Quadrate-Regression (Ridge-Regression) gelöst, um den Fehler zwischen dem vorhergesagten und dem tatsächlichen Residual-Update zu minimieren:
$X^{(\ell)*} = \left((H^{(\ell)}_{aug})^\top H^{(\ell)}_{aug} + \lambda I\right)^{-1} (H^{(\ell)}_{aug})^\top \Delta^{(\ell)}$
wobei $H^{(\ell)}_{aug}$ eine Bias-Spalte enthält und $\lambda$ ein Regularisierungskoeffizient ist.
Effizienz: Dieser Prozess erfordert nur einen einzigen Forward-Pass und ein lineares Lösen pro geprunter Schicht, wodurch die Notwendigkeit für Gradientenberechnung oder Fine-Tuning entfällt.

3. Praktische Erweiterungen

Low-Rank-Faktorisierung: Die gefittete Gewichtmatrix $A^{(\ell)}$ kann mittels einer abgeschnittenen Singulärwertzerlegung (SVD) komprimiert werden, um die Anzahl der Parameter von $d^2$ auf $2dr + d$ zu reduzieren.
Exaktes Merging: Da LRAs affine Abbildungen definieren, können aufeinanderfolgende LRAs an benachbarten Pruning-Stellen mathematisch zu einer einzigen Transformation zusammengeführt werden, ohne Approximationsfehler, was die Kompression weiter erhöht.

Wichtigste Beiträge

SHIFT-LLM Framework: Eine training-freie Post-Pruning-Korrekturmethode, die explizit auf die durch Tiefen-Pruning verursachte Verteilungsverschiebung der Hidden States abzielt.
Linear Residual Adapter (LRA): Eine neuartige Komponente, die den Identitätspfad bewahrt und gleichzeitig fehlende Residual-Updates über eine leichtgewichtige affine Korrektur approximiert, kalibriert via Closed-Form-Regression.
Modularität und Generalität: Das Framework ist agnostisch gegenüber der spezifischen Schicht-Selektionsstrategie (z. B. Block Influence, Taylor Sensitivity, Magnitude) und kann auf verschiedene Modellfamilien angewendet werden.
Komplementarität: Die Methode ist so konzipiert, dass sie neben bestehenden effizienten Parameter-Fine-Tuning-Verfahren (z. B. LoRA) arbeitet und eine zusätzliche Wiederherstellung über das reine Fine-Tuning hinaus bietet.

Experimentelle Ergebnisse

Die Autoren evaluierten SHIFT-LLM über fünf Modellfamilien (Qwen2-1.5B, Qwen1.5-7B, Llama-3.1-8B-Instruct, Vicuna-7B und Qwen2.5-14B), sechs Schicht-Selektionskriterien und sieben Zero-Shot-Benchmarks.

Training-freie Wiederherstellung: Ohne jegliches Fine-Tuning stellt SHIFT-LLM konsistent die durch Tiefen-Pruning verlorene Genauigkeit wieder her.
- Bei Llama-3.1-8B-Instruct mit Reverse-Order-Pruning (25 % Tiefe) erzielte die Methode einen Gewinn von +15,74 Punkten in der durchschnittlichen Zero-Shot-Genauigkeit.
- Bei Qwen1.5-7B erreichten die Gewinne unter Magnitude- $\ell_1$ -Pruning +6,88 Punkte.
- Die Perplexität auf WikiText-2 wurde in den meisten Konfigurationen erheblich reduziert (z. B. eine Reduktion um über 1000 Perplexitäts-Punkte für Llama-3.1-8B unter Reverse-Order-Pruning).
Skalierbarkeit: Die Methode bleibt effektiv, wenn sie auf Qwen2.5-14B skaliert wird, und zeigt Gewinne von bis zu +5,36 Punkten in der Zero-Shot-Genauigkeit.
Kompatibilität mit Fine-Tuning: In Kombination mit LoRA oder partiellem Layer-Fine-Tuning bietet SHIFT-LLM eine komplementäre Wiederherstellung und verbessert die Leistung in den meisten evaluierten Settings zusätzlich (z. B. +1,14 Punkte auf Llama-3.1-8B-Instruct in Kombination mit LoRA).
Vergleich mit dem Stand der Technik: Integriert in die Navigation LLM-Pipeline verbesserte SHIFT-LLM die durchschnittliche Genauigkeit von 59,08 auf 59,54 für Llama-3.1-8B-Instruct, was zeigt, dass es starke Baselines nicht verschlechtert, sondern einen Mehrwert bietet.

Bedeutung und Ansprüche

Das Paper behauptet, dass SHIFT-LLM eine einfache, allgemeine und effektive Lösung für das Problem der Verteilungsverschiebung bietet, das inhärent beim Tiefen-Pruning ist. Durch die explizite Approximation des fehlenden Residual-Updates bei gleichzeitiger Bewahrung der ursprünglichen Residualstruktur des Modells mildert die Methode die Verschiebung ohne den Rechenaufwand eines Retrainings.

Die Autoren betonen, dass dieser Ansatz besonders signifikant für Szenarien ist, in denen ein Post-Pruning-Training unerwünscht oder nicht machbar ist. Die Fähigkeit des Frameworks, eine erhebliche Genauigkeitswiederherstellung (bis zu +15,7 Punkte) mit nur wenigen hundert Kalibrierungsbeispielen und oh Verwendung von Gradientenberechnungen zu erreichen, positioniert es als praktischen Ersatz für extensives Fine-Tuning. Darüber hinaus stellt die Fähigkeit, aufeinanderfolgende Adapter zu mergen und Gewichte mittels Low-Rank-Faktorisierung zu komprimieren, sicher, dass die Effizienzgewinne des Tiefen-Prunings erhalten und potenziell sogar gesteigert werden.