💬 NLP

QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models

Das Papier schlägt QWHA vor, eine parameter-effiziente Feinabstimmungsmethode, die Adapter auf Basis der Walsh-Hadamard-Transformation mit einem neuartigen Initialisierungsschema integriert, um Quantisierungsfehler wirksam zu mindern und den Rechenaufwand in großen Sprachmodellen zu verringern, und die sowohl in der Genauigkeit als auch in der Trainingsgeschwindigkeit bestehende low-rank- und Fourier-basierte Ansätze übertrifft.

Ursprüngliche Autoren: Hyesung Jeon, Seojune Lee, Beomseok Kang, Yulhwa Kim, Jae-Joon Kim

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hyesung Jeon, Seojune Lee, Beomseok Kang, Yulhwa Kim, Jae-Joon Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich intelligente Bibliothek von Büchern (ein Large Language Model). Diese Bibliothek ist so groß, dass sie ein ganzes Lagerhaus einnimmt, was sie langsam und teuer macht, um sie zu bewegen oder daraus zu lesen.

Um sie handhabbar zu machen, versuchen Sie, die Bücher auf winzige taschengroße Versionen zu verkleinern (dies wird als Quantisierung bezeichnet). Doch wenn Sie sie verkleinern, werden einige der feinen Details unscharf oder gehen verloren, und die Geschichten ergeben nicht mehr so viel Sinn.

Um dies zu beheben, möchten Sie die Taschenbücher so „feinabstimmen", dass sie wieder genau sind. Aber Sie können die gesamte Bibliothek nicht neu schreiben, da dies zu viel Zeit und Energie erfordert. Daher entscheiden Sie sich, kleine, klebrige Notizen (Adapter) auf die Seiten zu legen, um die Fehler zu korrigieren. Dies ist das Parameter-Effiziente Fine-Tuning (PEFT).

Das Problem ist, dass die alte Methode, diese klebrigen Notizen hinzuzufügen (genannt LoRA), wie der Versuch ist, ein komplexes Gemälde mit nur wenigen breiten, flachen Pinseln zu reparieren. Es funktioniert einigermaßen, aber es kann die winzigen, scharfen Details nicht erfassen, die benötigt werden, um die unscharfen Stellen zu beheben, die durch das Verkleinern der Bücher entstanden sind.

Dann kommt QWHA ins Spiel, die in diesem Papier vorgeschlagene neue Methode. So funktioniert sie, unter Verwendung einfacher Analogien:

1. Der bessere Pinsel: Die Walsh-Hadamard-Transformation (WHT)

Anstatt breite, flache Pinsel zu verwenden, nutzt QWHA einen speziellen, magischen Pinsel namens Walsh-Hadamard-Transformation (WHT).

Der alte Weg: Stellen Sie sich vor, Sie versuchen, eine gezackte, gebrochene Linie in einer Zeichnung mit glatten, gekrümmten Wellen (wie Sinuswellen) zu reparieren. Es ist schwierig, die scharfen, plötzlichen Brüche zu treffen.
Der QWHA-Weg: Der WHT-Pinsel verwendet scharfe, blockartige, rechteckige Wellenmuster. Da die „Fehler" in den verkleinerten Büchern oft scharfe, plötzliche Spitzen sind (wie eine gezackte Linie), passt dieser blockartige Pinsel perfekt zu ihnen. Er kann diese chaotischen, scharfen Details viel besser erfassen als die glatten Wellen, die von anderen Methoden verwendet werden.
Bonus-Geschwindigkeit: Dieser Pinsel besteht nur aus „Plus-Eins" und „Minus-Eins". Das bedeutet, dass der Computer keine schweren Multiplikationen durchführen muss, um ihn zu verwenden; er addiert und subtrahiert einfach. Es ist wie der Wechsel von einem schweren Akkubohrschrauber zu einem einfachen, schnellen Hand-Schraubenzieher.

2. Die intelligente Platzierung: AdaAlloc

Wenn Sie eine begrenzte Anzahl an klebrigen Notizen (Parametern) haben, um das Buch zu reparieren, wo platzieren Sie sie dann?

Der alte Weg: Einige Methoden werfen die Notizen einfach zufällig hin oder platzieren sie nur dort, wo der Text am größten aussieht. Das ist wie der Versuch, ein undichtes Dach zu reparieren, indem man nur auf die größten Pfützen Klebeband legt und die kleineren Risse ignoriert, die tatsächlich den meisten Schaden verursachen.
Der QWHA-Weg: QWHA verwendet eine intelligente Strategie namens AdaAlloc. Sie agiert wie ein Detektiv, der das gesamte Buch durchsucht, genau herausfindet, welche Seiten die größten „unscharfen" Fehler haben, und garantiert, dass jede einzelne Seite zumindest ein wenig Aufmerksamkeit erhält. Dann wirft sie die wichtigsten Notizen auf die Seiten mit den schlimmsten Fehlern. Dies stellt sicher, dass kein Teil des Buches zurückgelassen wird und die am stärksten beschädigten Teile die meiste Hilfe erhalten.

3. Das Fine-Tuning: Verfeinerung

Sobald die Notizen platziert sind, lässt QWHA sie nicht einfach so stehen. Sie führt einen Verfeinerungsschritt durch.

Stellen Sie sich vor, Sie stellen die Lautstärke an einer Stereoanlage ein. Sie haben die Lautsprecher (Notizen) vielleicht in die richtigen Räume gestellt, aber Sie müssen die genaue Lautstärke (Werte) justieren, damit die Musik perfekt klingt. QWHA berechnet den exakt perfekten Wert für jede Notiz, um den Fehler so weit wie möglich auszugleichen, anstatt nur zu raten.

Das Ergebnis

Das Papier zeigt, dass durch die Verwendung dieses blockartigen Pinsels (WHT) und der intelligenten Detektiv-Platzierung (AdaAlloc):

Genauigkeit: Die taschengroßen Bücher werden viel intelligenter und genauer als diejenigen, die mit den alten Methoden repariert wurden, insbesondere wenn die Bücher auf sehr kleine Größen (2-Bit oder 3-Bit) verkleinert werden.
Geschwindigkeit: Da der Pinsel so einfach ist (nur Addieren und Subtrahieren), lernt der Computer (feinabstimmt) viel schneller. Es ist deutlich schneller als andere fortschrittliche Methoden, die komplexe, schwere Pinsel verwenden.

Kurz gesagt, QWHA ist eine intelligentere, schnellere Methode, um die Fehler in winzigen, komprimierten KI-Modellen zu beheben, indem ein spezielles „blockartiges" Werkzeug und eine sehr intelligente Strategie für den Ort der Anwendung der Reparaturen verwendet werden.

Technischer Zusammenfassung: QWHA – Quantisierungsbewusste Walsh-Hadamard-Adaptation für parameter-effizientes Fine-Tuning bei Large Language Models

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) steht vor einer doppelten Herausforderung: die Reduzierung der Inferenzkosten durch Quantisierung und die Senkung des Trainingsaufwands durch parameter-effizientes Fine-Tuning (PEFT). Während Quantisierungsbewusstes PEFT (QA-PEFT) darauf abzielt, diese Vorteile zu kombinieren, stoßen bestehende Ansätze auf erhebliche Einschränkungen.

Aktuelle QA-PEFT-Methoden verlassen sich überwiegend auf Low-Rank Adaptation (LoRA). Obwohl LoRA effektiv ist, leidet es aufgrund seiner strengen Rangbeschränkungen unter einer begrenzten Darstellungskapazität. Neuere Alternativen, die Fourier-verwandte Transformationen (FT) nutzen, bieten eine überlegene Darstellungskraft durch das Training sparsamer Koeffizienten im Transformationsbereich. Die direkte Anwendung von FT-basierten Adaptern auf quantisierte Modelle führt jedoch häufig zu schlechteren Ergebnissen im Vergleich zu LoRA-basiertem QA-PEFT. Dies liegt an folgenden Gründen:

Initialisierungsmisserfolg: Bestehende FT-basierte Adapter verfügen über keine effektiven Initialisierungsstrategien, um Quantisierungsfehler vor dem Fine-Tuning auszugleichen. Die Identifizierung des optimalen sparsamen Parametersatzes zur Approximation einer Matrix ist ein NP-schweres Problem, und eine zufällige oder betragsbasierte Auswahl versagt häufig darin, kritische durch Ausreißer verursachte Fehler zu erfassen.
Rechenoverhead: Herkömmliche FT-basierte Adapter (z. B. unter Verwendung von DFT, DCT oder DHT) erfordern doppelte Transformationen (Eingabe- und Ausgabedimensionen) sowie komplexe Kernel-Operationen, was zu erheblichen Rechenkosten führt, die die Effizienzgewinne der Quantisierung zunichtemachen.
Ausreißerempfindlichkeit: Quantisierungsfehler bei LLMs werden stark durch Ausreißer (Gewichte mit außergewöhnlich großen Beträgen) beeinflusst. Standard-Sinus-Basen, die in DCT/DHT verwendet werden, sind glatt und haben Schwierigkeiten, die abrupten Übergänge dieser Ausreißer effizient darzustellen.

2. Methodik: QWHA

Die Autoren schlagen QWHA (Quantisierungsbewusste Walsh-Hadamard-Adaptation) vor, ein Framework, das einen auf der Walsh-Hadamard-Transformation (WHT) basierenden Adapter mit einem neuartigen, quantisierungsbewussten Initialisierungsschema integriert.

2.1 Adapter-Design: Walsh-Hadamard-Adaptation (WHA)

Im Gegensatz zu herkömmlichen FT-basierten Adaptern, die Transformationen auf beide Dimensionen (Eingabe und Ausgabe) anwenden ( $\Delta W = H'^{-1} F H^{-1}$ ), verwendet QWHA eine Einzel-Transformation-Formulierung:
$\Delta W = F H^{-1}$
Wobei:

$H$ eine vordefinierte Walsh-Hadamard-Transformationsmatrix (WHT) ist.
$F$ eine trainierbare sparsame Koeffizientenmatrix ist, die aus einem Wertvektor $c$ und einer Indexliste $E$ konstruiert wird.
$H^{-1}$ die inverse WHT ist.

Hauptvorteile der WHT:

Energiekonzentration: Der WHT-Kernel besteht ausschließlich aus Einträgen von $\pm 1$ und bildet Rechteckwellen-Basisfunktionen mit scharfen Übergängen. Diese strukturelle Eigenschaft passt besser zur heavy-tailed-Verteilung von Quantisierungsfehlern (Ausreißer) als die glatten sinusförmigen Basen von DCT oder DHT. Empirische Analysen zeigen, dass die WHT den Großteil der Fehlerenergie in weniger Koeffizienten konzentriert, was eine genaue Rekonstruktion mit begrenzten Parametern ermöglicht.
Rechenleistung: Der WHT-Kernel ermöglicht eine schnelle rekursive Berechnung unter Verwendung ausschließlich von Additionen und Subtraktionen, wodurch Matrixmultiplikationen entfallen. Dies reduziert den Rechenoverhead im Vergleich zu DCT/DHT erheblich, die oft komplexe Operationen oder den Umgang mit imaginären Komponenten erfordern.

2.2 Quantisierungsbewusste Initialisierung

Um die Lücke bei der Initialisierung in FT-basierten Adaptern zu schließen, führt QWHA eine zweistufige Initialisierungsstrategie ein: AdaAlloc (Adaptive Zuweisung) und Verfeinerung.

AdaAlloc (Parameterauswahl):
- Anstelle einer zufälligen Auswahl oder einer einfachen betragsbasierten Auswahl (die zu Rang-niedrigen Matrizen führen kann, indem Parameter in wenigen Kanälen clustern), weist AdaAlloc das Parameterbudget $p$ über die Ausgabekanäle hinweg proportional zu ihren Aktivierungsfehlerbeträgen zu.
- Dies stellt sicher, dass Kanäle mit größeren Quantisierungsfehlern mehr Parameter erhalten, während gleichzeitig eine untere Grenze für Parameter pro Kanal eingehalten wird, um eine vollrangige Adapterstruktur zu garantieren.
- Innerhalb jedes Kanals werden die Koeffizienten mit den höchsten Beträgen ausgewählt, um den Fehler effektiv zu adressieren.
Verfeinerung (Wertzuweisung):
- Nach der Auswahl der Parameterpositionen werden die Werte nicht einfach aus einer dichten Lösung übernommen. Stattdessen wird ein Least-Squares-Problem gelöst, um die Werte ( $c$ ) basierend auf den ausgewählten Basisvektoren zu verfeinern.
- Dieser Schritt berücksichtigt die Wechselwirkungen zwischen ausgewählten Basisvektoren und minimiert den Schichtausgangsfehler ( $\|\Delta W_Q X - F H^{-1} X\|_F^2$ ) effektiver als eine direkte Wertzuweisung.

3. Hauptbeiträge

WHA-Adapter: Einführung eines Einzel-Transformation-Adapter auf WHT-Basis, der eine höhere Darstellungskapazität als LoRA bietet und eine überlegene Ausreißerbehandlung im Vergleich zu DCT/DHT-basierten Adaptern ermöglicht.
AdaAlloc & Verfeinerung: Ein handhabbares Initialisierungsschema, das das NP-schwere Problem der sparsamen Approximation löst, indem es Parameter adaptiv fehleranfälligen Kanälen zuweist und Werte verfeinert, um den Initialisierungsfehler zu minimieren.
Rechenleistung: Nachweis, dass der WHT-Kernel und das Einzel-Transformation-Design die Trainings- und Initialisierungs-Latenz im Vergleich zu bestehenden FT-basierten Adaptern erheblich reduzieren und Geschwindigkeiten erreichen, die mit LoRA vergleichbar sind.

4. Experimentelle Ergebnisse

Die Autoren evaluierten QWHA an den Modellen LLaMA-3.1-8B, LLaMA-3.2-3B und Mistral-7B-v0.3 über die Benchmarks CSQA (Commonsense QA) und GSM8k (mathematisches Schlussfolgern) unter 2-Bit-, 3-Bit- und 4-Bit-Quantisierung.

Genauigkeit: QWHA übertrifft konsistent die State-of-the-Art-Baselines, einschließlich LoRA-basiertem QA-PEFT (CLoQ) und sparsamen/FT-basierten Adaptern (SHiRA, LoCA, SSH). Die Leistungslücke ist in Low-Bit-Einstellungen (2-Bit und 3-Bit) am ausgeprägtesten, wo QWHA eine 2–3 % höhere Genauigkeit als die Baselines erreicht.
Wirksamkeit der Initialisierung: Ablationsstudien bestätigen, dass sowohl der WHT-Kernel als auch die AdaAlloc-Initialisierung kritisch sind. Ohne quantisierungsbewusste Initialisierung schneiden FT-basierte Adapter schlechter als LoRA ab. Mit der Initialisierung von QWHA übertreffen sie LoRA signifikant.
Effizienz:
- Trainingsgeschwindigkeit: QWHA erzielt aufgrund des schnellen WHT-Kernels und des Einzel-Transformation-Designs erhebliche Trainingsbeschleunigungen gegenüber bestehenden FT-basierten Adaptern (z. B. SSH, LoCA). In einigen Konfigurationen ist es mit LoRA vergleichbar.
- Inferenz: QWHA verursacht einen minimalen Inferenz-Overhead (1,9 % Durchsatzabfall im Vergleich zu LoRA) aufgrund der effizienten WHT-Implementierung, wohingegen andere FT-basierte Adapter unter erheblichem Overhead leiden (ca. 50 % Abfall).
- Speicher: QWHA reduziert den gesamten Speicherverbrauch während der Inferenz um ca. 13 % im Vergleich zu CLoQ, hauptsächlich aufgrund der sparsamen Natur des Adapters und effizienter Scatter-Operationen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass QWHA einen bedeutenden Fortschritt im Bereich der effizienten LLM-Adaptation darstellt, indem es erfolgreich die Lücke zwischen hoher Darstellungskapazität und Quantisierungsrobustheit schließt.

Überwindung von Darstellungsgrenzen: Die Arbeit zeigt, dass FT-basierte Adapter, wenn sie korrekt initialisiert und mit WHT entworfen werden, die Darstellungsgrenzen von Rang-niedrigen Adaptern übertreffen können, ohne Effizienz einzubüßen.
Adressierung von Quantisierungsfehlern: Die Studie hebt hervor, dass die explizite Berücksichtigung von Quantisierungseffekten (insbesondere Ausreißer) während der Initialisierungsphase für QA-PEFT entscheidend ist. Das vorgeschlagene Initialisierungsschema mildert die Genauigkeitsverschlechterung, die typischerweise mit aggressiver Quantisierung einhergeht, effektiv ab.
Praktische Umsetzbarkeit: Durch die Reduzierung des Rechenoverheads von FT-basierten Adaptern auf ein mit LoRA vergleichbares Niveau macht QWHA ein hochkapazitäres, quantisierungsbewusstes Fine-Tuning zu einer praktischen Option für ressourcenbeschränkte Einsatzszenarien.

Die Autoren schließen, dass QWHA ein robustes, effizientes und genaues Framework für das Fine-Tuning quantisierter LLMs bietet und eine viable Alternative zum dominanten LoRA-Paradigma darstellt.