💻 computer science

CLHA: Cross-Layer Hessian Aggregation for Quantizing Weight-Shared Mixture-of-Experts Transformers

Dieses Paper führt CLHA ein, eine über Schichten hinweg aggregierende Hessian-Methode für die Post-Training-Quantisierung von gewichtsteilenden Mixture-of-Experts-Transformern, die den gesamten Rekonstruktionsfehler minimiert, indem sie Hessian-Statistiken über geteilte Schichten hinweg kombiniert, dabei bestehende pro Schicht erfolgende Kalibrierungsansätze signifikant übertrifft und gleichzeitig kritische Implementierungsfallen bei der Hessian-Schätzung adressiert.

Ursprüngliche Autoren: Kunal Dhanda

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kunal Dhanda

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Eine riesige Bibliothek schrumpfen

Stellen Sie sich eine massive Bibliothek (ein Large Language Model) vor, die zu groß ist, um auf ein kleines Regal zu passen. Um sie unterzubringen, müssen wir die Bücher „komprimieren“. In der Welt der KI wird diese Kompression als Quantisierung bezeichnet. Es ist so, als würde man ein hochauflösendes Foto nehmen und es zu einem Vorschaubild schrumpfen. Wenn man dies schlecht macht, wird das Bild unscharf und unerkennbar.

Dieses Paper befasst sich mit einer speziellen Art von Bibliothek, einem Mixture-of-Experts (MoE) Modell. Diese Bibliotheken sind besonders, weil sie nicht für jede Frage jedes Buch lesen; sie haben „Experten“ (spezialisierte Abschnitte), die nur geöffnet werden, wenn sie benötigt werden.

Kürzlich haben Ingenieure einen cleveren Trick namens Cross-Layer Weight Sharing (CLWS) erfunden. Stellen Sie sich zwei verschiedene Etagen in der Bibliothek vor (Ebene A und Ebene B), die exakt denselben Satz an Referenzbüchern für ihre Experten nutzen. Das spart eine enorme Menge an Platz, da man nicht zwei Kopien derselben Bücher kaufen muss.

Das Problem:
Als Leute versuchten, diese Bibliotheken zu schrumpfen (zu quantisieren), machten sie einen Fehler. Sie behandelten die geteilten Bücher so, als gehörten sie nur zur ersten Etage. Sie betrachteten die Fragen, die auf Ebene A gestellt wurden, entschieden, wie die Bücher geschrumpft werden sollten, und wandten diese Schrumpfung dann auch auf die Bücher auf Ebene B an.

Aber hier liegt der Haken: Die Menschen, die Fragen auf Ebene A stellen, sind anders als die auf Ebene B. Der „Vibe“ der Fragen ändert sich, während man die Treppe hinaufsteigt. Da man nur auf Ebene A geschaut hat, war der Schrumpfungsplan für Ebene B falsch, was dazu führte, dass die Bibliothek ihre Fähigkeit verlor, Fragen korrekt zu beantworten.

Die Lösung: CLHA (Das „Doppelcheck“-System)

Die Autoren schlagen eine neue Methode namens CLHA (Cross-Layer Hessian Aggregation) vor.

Die Analogie: Der Schneider und die Zwillingsanzüge
Stellen Sie sich einen Schneider vor, der Anzüge für ein Paar identischer Zwillinge anfertigt.

Der alte Weg (PLIC): Der Schneider misst Zwilling A, schneidet den Stoff zu und nimmt an, dass Zwilling B exakt dieselbe Größe hat. Aber Zwilling B hat eine leicht andere Körperhaltung. Der Anzug passt perfekt zu Zwilling A, ist aber bei Zwilling B zu eng.
Der CLHA-Weg: Der Schneider misst beide Zwillinge. Er nimmt die Messungen von Zwilling A und Zwling B, bildet den Durchschnitt (indem er demjenigen mehr Gewicht gibt, der öfter im Raum steht) und erstellt ein „Super-Anzug“-Muster, das beide Zwillinge perfekt passt.

In technischer Hinsicht sagt das Paper, dass man nicht nur die Daten aus einer Schicht betrachten sollte. Man muss die „Empfindlichkeit“ (mathematisch als Hessian bezeichnet) beider Schichten kombinieren. Dies erstellt eine kombinierte Karte, die genau angibt, wie die geteilten Gewichte zu schrumpfen sind, damit sie für beide Etagen der Bibliothek gut funktionieren.

Das spezielle Upgrade: CLHA-MP

Das Paper stellt auch eine „Mixed Precision“-Version namens CLHA-MP vor.

Die Analogie: Die VIP-Lounge
In diesen Bibliotheken gibt es zwei Arten von Experten:

Routed Experts: Sie öffnen ihre Türen nur für spezifische, seltene Fragen.
Shared Experts: Sie sind „immer offen“ und bearbeiten die häufigsten Alltagsfragen.

Da die „Shared Experts“ viel häufiger genutzt werden, sind sie empfindlicher gegenüber Fehlern. Wenn man sie zu stark schrumpft, bricht die gesamte Bibliothek zusammen.

Die Lösung: CLHA-MP gibt diesen „immer offenen“ Experten ein wenig mehr Platz (einen zusätzlichen Bit an Präzision). Es ist, als würde man der VIP-Lounge eine etwas breitere Tür geben, während man die regulären Türen schmal hält. Dieser winzige zusätzliche Platz macht einen riesigen Unterschied dafür, wie gut die Bibliothek funktioniert.

Die versteckte Falle: Der „Geister“-Haken

Die Autoren fanden auch einen hinterhältigen Bug in den Software-Tools (PyTorch), die zum Bau dieser Modelle verwendet werden.
Die Analogie: Stellen Sie sich zwei Personen vor, die versuchen, gleichzeitig in dasselbe Notizbuch zu schreiben. Wenn beide denselben Stift ohne Kennzeichnung benutzen, vermischen sich ihre Notizen, und man kann nicht erkennen, wer was geschrieben hat.
Im Code würden die „Forward Hooks“ (Werkzeuge, die Aktivitäten verfolgen) der Software, wenn zwei Schichten denselben Experten teilen, die Daten beider Schichten vermischen und so die Messungen korrumpieren. Die Autoren haben dies behoben, indem sie ein „schichtbewusstes“ System geschaffen haben, das die Notizen beschriftet, damit der Schneider genau weiß, welcher Zwilling welcher ist.

Was haben sie bewiesen?

Sie testeten dies an einem kleinen Modell, das auf einem Datensatz namens WikiText-2 trainiert wurde.

Bei 2-Bit-Kompression (sehr kleine Größe): Machte die alte Methode (PLIC) das Modell sehr verwirrt (hohe Perplexity).
Die CLHA-Methode: Machte das Modell signifikant intelligenter (4,3 % bis 5,4 % besser).
Die CLHA-MP-Methode: Machte es sogar noch intelligenter (18,6 % besser), indem sie den „immer offenen“ Experten diesen zusätzlichen Platz gab.

Sie führten auch einen Test durch, bei dem sie den Unterschied zwischen den beiden Etagen (den Schichten) extremer gestalteten. Die alte Methode wurde immer schlechter, aber die neue Methode blieb stabil, was beweist, dass ihr „Doppelcheck“-System essenziell ist, wenn die beiden Etagen sehr unterschiedlich sind.

Zusammenfassung

Das Problem: Das Teilen von Gewichten zwischen Schichten spart Platz, aber Standard-Kompressionstools ignorieren die zweite Schicht, was zu Fehlern führt.
Die Lösung: Kombinieren Sie die Daten aus beiden Schichten, um einen besseren Kompressionsplan zu erstellen (CLHA).
Der Bonus: Geben Sie den am häufigsten genutzten Experten ein winziges Stück mehr Präzision (CLHA-MP).
Das Ergebnis: Viel intelligentere, kleinere Modelle, die ihre „Denkkraft“ beim Schrumpfen nicht verlieren.

Technisches Resümee: CLHA – Cross-Layer Hessian Aggregation für die Quantisierung von Cross-Layer Weight-Shared Mixture-of-Experts Transformern

1. Problemstellung

Neuere effiziente Mixture-of-Experts (MoE) Transformer-Architekturen, wie etwa jene in Megrez2, verwenden Cross-Layer Weight Sharing (CLWS). In diesem Design nutzen benachbarte Transformer-Schichten (z. B. $\ell$ und $\ell+1$ ) dieselben gerouteten Expertengewichtstensoren, um den Parameter-Footprint zu halbieren, während die Anzahl der pro Token aktivierten Parameter gleich bleibt.

Bestehende Methoden zur Post-Training-Quantisierung (PTQ), einschließlich GPTQ-ähnlicher Ansätze, behandeln diese geteilten Gewichte jedoch so, als gehörten sie zu einer einzelnen Schicht. Sie kalibrieren die Quantisierung unter Verwendung von Aktivierungsstatistiken aus nur einer „primären“ Schicht. Dies führt zu einem grundlegenden Missverhältnis:

Die Repräsentation des Residual-Streams entwickelt sich zwischen den Schichten weiter, was bedeutet, dass die Token-Verteilungen, die den geteilten Experten in Schicht $\ell_a$ aktivieren, sich von denen in $\ell_b$ unterscheiden.
Bestehende Methoden ignorieren die Aktivierungsstatistiken der sekundären Schicht, was zu einem suboptimalen Rekonstruktionsfehler führt, insbesondere in niedrigen Bit-Regimen (z. B. 2-Bit).

2. Methodik

2.1 Theoretische Grundlage: Cross-Layer Hessian Aggregation

Das Paper formalisiert das Ziel für die Quantisierung eines Gewichts $W$ , das über die Schichten $\ell_1, \dots, \ell_n$ geteilt wird. Das korrekte Ziel besteht darin, den gesamten Rekonstruktionsfehler über alle Schichten hinweg unter Verwendung des Gewichts zu minimieren:
$L(W_q) = \sum_{i} \alpha_i \text{tr}[(W_q - W)H_{\ell_i}(W_q - W)^\top]$
wobei $H_{\ell_i}$ die Hesse-Matrix (Aktivierungskovarianz) der Schicht $\ell_i$ ist und $\alpha_i$ die Routing-Frequenz (Anteil der Token) für diese Schicht darstellt.

Proposition 1 stellt fest, dass die Minimierung dieses kombinierten Fehlers mathematisch äquivalent zum Anwenden von GPTQ mit einer kombinierten Hesse-Matrix ist:
$H_{comb} = \sum_{i} \alpha_i H_{\ell_i}$
Dies steht im Gegensatz zur Per-Layer Independent Calibration (PLIC), welche den Fehler unter Verwendung der Hesse-Matrix einer einzigen Schicht ( $H_{\ell_a}$ ) minimiert.

2.2 CLHA-Algorithmus

Die Autoren schlagen den CLHA (Cross-Layer Hessian Aggregation) vor, einen dreipassigen Kalibrierungsalgorithmus:

Collection (Erfassung): Für jede Kalibrierungssequenz werden pro-Schicht Hesse-Matrizen und Token-Zahlen für jeden aktiven Experten akkumuliert.
Aggregation: Für jedes geteilte Expertenpaar $(\ell_a, \ell_b)$ $(ℓ_{a}, ℓ_{b})$ wird eine kombinierte Hesse-Matrix berechnet. Das Paper evaluiert zwei Gewichtungsstrategien:
- Routing-Frequency Weighting ( $\alpha = n_a / (n_a + n_b)$ ): Gewichtung der Hesse-Matrizen nach der tatsächlich empfangenen Token-Anzahl jeder Schicht.
- Equal Weighting ( $\alpha = 0.5$ ): Fungiert als Regularisator, nützlich, wenn die Kalibrierungsdaten begrenzt sind oder die Schätzungen der Hesse-Matrix der sekundären Schicht verrauscht sind.
Quantization (Quantisierung): Anwendung des Standard-GPTQ-Spalten-sequentiellen Updates unter Verwendung der aggregierten $H_{comb}$ .

2.3 CLHA-MP (Mixed Precision)

In dem Bewusstsein, dass immer aktive geteilte Experten alle $N$ Token erhalten (im Gegensatz zu gerouteten Experten, die nur einen Bruchteil $K/E$ erhalten), stellt das Paper fest, dass deren Quantisierungssensitivität $E/K$ -mal höher ist. CLHA-MP weist diesen geteilten Experten $b+1$ Bits zu, während geroutete Experten bei $b$ Bits bleiben, was einen minimalen Speicher-Overhead (10–20 % der Expertenparameter) verursacht.

2.4 Implementierungskorrektur: Hook-Ambiguität

Das Paper identifiziert eine kritische technische Falle: Standardmäßige PyTorch Forward-Hooks, die an ein geteiltes ExpertFFN-Modul angehängt sind, feuern für jede Schicht, die dieses Modul aufruft. Dies führt dazu, dass Aktivierungen aus verschiedenen Schichten in einen einzigen Hesse-Akkumulator gemischt werden, was die pro-Schicht-Attribution korrumpiert.

Lösung: Die Autoren schlagen einen schichtbewussten Callback-Mechanismus vor, der durch die MoELayer.forward()-Signatur übergeben wird. Dieser stellt explizit Schichtindizes an den Callback bereit, wodurch sichergestellt wird, dass separate Hesse-Matrizen für $H_a$ und $H_b$ akkumuliert werden, selbst wenn das zugrunde liegende Gewichtmodul geteilt wird.

3. Kernbeiträge

Theoretische Proposition: Formalisierung, dass die optimale Hesse-Matrix für geteilte Gewichte die routing-frequenz-gewichtete Summe der pro-Schicht Hesse-Matrizen ist.
CLHA-Algorithmus: Eine praktische Implementierung der kombinierten Hesse-Kalibrierung innerhalb des GPTQ-Frameworks.
CLHA-MP: Eine Mixed-Precision-Erweiterung, die Experten mit höherer Sensitivität ein zusätzliches Bit zuweist.
Implementierungs-Fix: Identifizierung und Behebung des „Hook-Ambiguitäts“-Problems, das die Kalibrierung in Architekturen mit geteilten Modulen unbemerkt korrumpiert.
Empirische Validierung: Nachweis, dass die Gewinne durch CLHA mit der Cross-Layer-Routing-Divergenz korrelieren.

4. Experimentelle Ergebnisse

Die Experimente wurden auf einem 34,5-Mio.-Parameter CLWS-MoE durchgeführt, das von Grund auf auf WikiText-2 trainiert wurde.

Performance bei 2-Bit: Dies ist das kritische Regime, in dem sich Fehlkalibrierung kumuliert.
- CLHA-rt (routing-gewichtet) reduzierte die Perplexität (PPL) im Vergleich zu PLIC um 4,3 %.
- CLHA-eq (gleichgewichtet) reduzierte die PPL um 5,4 %.
- CLHA-MP erreichte eine Verbesserung von 18,6 % gegenüber PLIC.
- Bei 4-Bit und 3-Bit lagen die Unterschiede innerhalb der Rauschgrenzen (<1 %).
Kalibrierung vs. Testfehler: Interessanterweise erreichte PLIC einen niedrigeren Calibration Hessian Error (CHE) auf dem Trainingsdatensatz, da es direkt für diese Verteilung optimiert. CLHA generalisierte jedoch besser auf den Testdatensatz, was darauf hindeutet, dass die kombinierte Hesse-Matrix die wahre Verteilung der geteilten Gewichte besser erfasst als eine Sicht auf eine einzelne Schicht.
Routing-Sharpness-Experiment: Durch künstliche Verschärfung der Router-Logits (Erhöhung der Cross-Layer-Divergenz) beobachteten die Autoren:
- Die PLIC-Performance verschlechterte sich um 5 %, wenn die Divergenz zunahm.
- CLHA blieb stabil (<1 % Verschlechterung).
- Die Performance-Lücke zwischen CLHA und PLIC wuchs von +4,3 % (natürliches Routing) auf +8,0 % (hohe Divergenz), was die theoretische Vorhersage bestätigt, dass die CLHA-Gewinne mit der Cross-Layer-Divergenz skalieren.

5. Bedeutung und Ansprüche

Das Paper beansprucht, die erste PTQ-Analyse speziell für Cross-Layer Weight Sharing in MoE-Modellen zu liefern. Seine Bedeutung liegt in:

Korrektur des Ziels: Aufzeigen, dass die Behandlung geteilter Gewichte als Einzel-Schicht-Entitäten mathematisch suboptimal ist und dass die Aggregation der Hesse-Matrix die notwendige Korrektur darstellt.
Skalierbarkeit der Gewinne: Demonstration, dass mit zunehmender Größe der Modelle und spezialisierteren Routing-Mustern (steigende Cross-Layer-Divergenz) die Vorteile von CLHA wahrscheinlich wachsen werden, was es essenziell für zukünftige Produktions-CLWS-MoE-Modelle (z. B. Megrez2, DeepSeek, Qwen) macht.
Praktische Notwendigkeit: Hervorhebung, dass eine naive Anwendung bestehender PTQ-Tools auf CLWS-Architekturen aufgrund der Hook-Ambiguität fundamental fehlerhaft ist, und Bereitstellung des notwendigen Fixes für jede zukünftige Kalibrierungsmethode in diesem Bereich.

Die Autoren bleiben bescheiden hinsichtlich der absoluten Performance und merken an, dass ihr Modell klein (34,5M) ist und für begrenzte Schritte trainiert wurde, betonen jedoch, dass die relativen Verbesserungen gegenüber der Standardkalibrierung robust und theoretisch fundiert sind.