Technische Samenvatting: QWHA - Quantisatie-bewuste Walsh-Hadamard Adaptatie voor Parameter-efficiënte Fijne Afstelling op Grootte Taalmodellen

1. Probleemstelling

De implementatie van Grootte Taalmodellen (LLM's) staat voor een dubbele uitdaging: het verlagen van de inferentiekosten door middel van quantisatie en het verminderen van de trainingskosten via Parameter-efficiënte Fijne Afstelling (PEFT). Hoewel Quantisatie-bewuste PEFT (QA-PEFT) beoogt deze voordelen te combineren, ondervinden bestaande benaderingen aanzienlijke beperkingen.

Huidige QA-PEFT-methoden vertrouwen voornamelijk op Low-Rank Adaptatie (LoRA). Hoewel LoRA effectief is, lijdt het onder beperkte representatieve capaciteit vanwege zijn strikte rangbeperkingen. Recente alternatieven die Fourier-gerelateerde Transformaties (FT) gebruiken, bieden superieure representatieve kracht door het trainen van sparse coëfficiënten in het transformatiedomein. Het direct toepassen van FT-gebaseerde adapters op gekwantiseerde modellen levert echter vaak inferieure prestaties op ten opzichte van LoRA-gebaseerde QA-PEFT. Dit komt door:

1. Falen bij Initialisatie: Bestaande FT-gebaseerde adapters missen effectieve initialisatiestrategieën om kwantisatiefouten te compenseren voordat de fijne afstelling begint. Het identificeren van de optimale sparse set parameters om een matrix te benaderen is een NP-moeilijk probleem, en willekeurige of op grootte gebaseerde selectie faalt vaak om kritieke fouten veroorzaakt door uitschieters te vangen.
2. Rekenkundige Overhead: Conventionele FT-gebaseerde adapters (bijvoorbeeld gebruikmakend van DFT, DCT of DHT) vereisen dubbele transformaties (invoer- en uitvoerdimensies) en complexe kernoperaties, wat leidt tot aanzienlijke rekenkosten die de efficiëntiewinsten van quantisatie tenietdoen.
3. Gevoeligheid voor Uitschieters: LLM-kwantisatiefouten worden sterk beïnvloed door uitschieters (gewichten met uitzonderlijk grote magnitudes). Standaard sinusvormige basissen die worden gebruikt in DCT/DHT zijn glad en hebben moeite om de abrupte overgangen van deze uitschieters efficiënt weer te geven.

2. Methodologie: QWHA

De auteurs stellen QWHA (Quantisatie-bewuste Walsh-Hadamard Adaptatie) voor, een raamwerk dat een adapter gebaseerd op de Walsh-Hadamard Transformatie (WHT) integreert met een nieuwe, quantisatie-bewuste initialisatieschema.

2.1 Adapterontwerp: Walsh-Hadamard Adaptatie (WHA)

In tegenstelling tot conventionele FT-gebaseerde adapters die transformaties toepassen op zowel invoer- als uitvoerdimensies ($\Delta W = H'^{-1} F H^{-1}$), maakt QWHA gebruik van een single-transform formulering:
$$\Delta W = F H^{-1}$$
Waarbij:

• $H$ een vooraf gedefinieerde Walsh-Hadamard Transformatie (WHT)-matrix is.
• $F$ een trainbare sparse coëfficiëntenmatrix is die is opgebouwd uit een waardenvector $c$ en een indexlijst $E$.
• $H^{-1}$ de inverse WHT is.

Belangrijkste Voordelen van WHT:

• Energieconcentratie: De WHT-kern bestaat uitsluitend uit $\pm 1$-waarden, en vormt basisfuncties in de vorm van een blokgolf met scherpe overgangen. Deze structurele eigenschap sluit beter aan bij de zwaarstaartverdeling van kwantisatiefouten (uitschieters) dan de gladde sinusvormige basissen van DCT of DHT. Empirische analyse toont aan dat WHT het merendeel van de foutenergie concentreert in minder coëfficiënten, waardoor een nauwkeurige reconstructie mogelijk is met beperkte parameters.
• Rekenkundige Efficiëntie: De WHT-kern maakt snelle recursieve berekening mogelijk met uitsluitend optellingen en aftrekkingen, waardoor matrixvermenigvuldigingen worden geëlimineerd. Dit vermindert de rekenkundige overhead aanzienlijk in vergelijking met DCT/DHT, die vaak complexe operaties of het hanteren van imaginaire componenten vereisen.

2.2 Quantisatie-bewuste Initialisatie

Om de kloof in initialisatie bij FT-gebaseerde adapters aan te pakken, introduceert QWHA een tweestaps initialisatiestrategie: AdaAlloc (Adaptieve Toewijzing) en Verfijning.

1. AdaAlloc (Parameterselectie):

   • In plaats van willekeurige selectie of eenvoudige op grootte gebaseerde selectie (wat kan leiden tot laag-rang matrices door parameters in enkele kanalen te clusteren), wijst AdaAlloc het parameterbudget $p$ toe over de uitvoerkanalen evenredig aan de grootte van hun activatiefouten.
   • Dit zorgt ervoor dat kanalen met grotere kwantisatiefouten meer parameters ontvangen, terwijl een ondergrens voor het aantal parameters per kanaal wordt gehandhaafd om een volledig-rang adapterstructuur te garanderen.
   • Binnen elk kanaal worden de coëfficiënten met de grootste magnitude geselecteerd om de fout effectief aan te pakken.

2. Verfijning (Waarden Toewijzing):

   • Na het selecteren van de parameterlocaties worden de waarden niet simpelweg overgenomen uit een dichte oplossing. In plaats daarvan wordt een kleinste-kwadratenprobleem opgelost om de waarden ($c$) te verfijnen op basis van de geselecteerde basisvectoren.
   • Deze stap houdt rekening met de interacties tussen geselecteerde basisvectoren en minimaliseert de laaguitvoerfout ($\|\Delta W_Q X - F H^{-1} X\|_F^2$) effectiever dan directe waarde-toewijzing.

3. Belangrijkste Bijdragen

• WHA Adapter: Introductie van een single-transform, WHT-gebaseerde adapter die een hogere representatieve capaciteit biedt dan LoRA en superieur omgaat met uitschieters in vergelijking met DCT/DHT-gebaseerde adapters.
• AdaAlloc & Verfijning: Een hanteerbaar initialisatieschema dat het NP-moeilijke probleem van sparse benadering oplost door parameters adaptief toe te wijzen aan foutgevoelige kanalen en waarden te verfijnen om de initialisatiefout te minimaliseren.
• Rekenkundige Efficiëntie: Aantonen dat de WHT-kern en het single-transform-ontwerp de trainings- en initialisatielatentie aanzienlijk verminderen in vergelijking met bestaande FT-gebaseerde adapters, met snelheden die vergelijkbaar zijn met LoRA.

4. Experimentele Resultaten

De auteurs hebben QWHA geëvalueerd op de modellen LLaMA-3.1-8B, LLaMA-3.2-3B en Mistral-7B-v0.3 over CSQA (commonsense QA) en GSM8k (wiskundig redeneren) benchmarks onder 2-bit, 3-bit en 4-bit quantisatie.

• Nauwkeurigheid: QWHA presteert consequent beter dan state-of-the-art baselines, waaronder LoRA-gebaseerde QA-PEFT (CLoQ) en sparse/FT-gebaseerde adapters (SHiRA, LoCA, SSH). Het prestatieverschil is het meest uitgesproken in low-bit instellingen (2-bit en 3-bit), waarbij QWHA 2-3% hogere nauwkeurigheid bereikt dan baselines.
• Effectiviteit van Initialisatie: Ablatiestudies bevestigen dat zowel de WHT-kern als de AdaAlloc-initialisatie cruciaal zijn. Zonder quantisatie-bewuste initialisatie presteren FT-gebaseerde adapters slechter dan LoRA. Met de initialisatie van QWHA presteren ze aanzienlijk beter dan LoRA.
• Efficiëntie:
  • Trainingssnelheid: QWHA bereikt aanzienlijke snelheidswinsten in training ten opzichte van bestaande FT-gebaseerde adapters (bijvoorbeeld SSH, LoCA) dankzij de snelle WHT-kern en het single-transform-ontwerp. In sommige configuraties is het vergelijkbaar met LoRA.
  • Inferentie: QWHA veroorzaakt minimale inferentie-overhead (1,9% daling in doorvoer ten opzichte van LoRA) vanwege de efficiënte WHT-implementatie, terwijl andere FT-gebaseerde adapters te kampen hebben met aanzienlijke overhead (ongeveer 50% daling).
  • Geheugen: QWHA vermindert het totale geheugengebruik met ongeveer 13% ten opzichte van CLoQ tijdens inferentie, voornamelijk vanwege het sparse karakter van de adapter en efficiënte scatter-operaties.

5. Betekenis en Beweringen

Het artikel beweert dat QWHA een aanzienlijke vooruitgang vertegenwoordigt op het gebied van efficiënte LLM-adaptatie door succesvol de kloof te overbruggen tussen hoge representatieve capaciteit en kwantisatierobuustheid.

• Overwinnen van Representatieve Grenzen: Het werk toont aan dat FT-gebaseerde adapters, wanneer ze correct worden geïnitieerd en zijn ontworpen met WHT, de representatieve grenzen van laag-rang adapters kunnen overstijgen zonder efficiëntie op te offeren.
• Aanpakken van Kwantisatiefouten: De studie benadrukt dat expliciete aandacht voor kwantiseer-effecten (specifiek uitschieters) tijdens de initialisatiefase cruciaal is voor QA-PEFT. Het voorgestelde initialisatieschema mitigeert effectief de nauwkeurigheidsdegradatie die typisch geassocieerd wordt met agressieve quantisatie.
• Praktische Haalbaarheid: Door de rekenkundige overhead van FT-gebaseerde adapters te reduceren tot niveaus die vergelijkbaar zijn met LoRA, maakt QWHA hoog-capaciteit, quantisatie-bewuste fijne afstelling een praktische optie voor implementatiescenario's met beperkte middelen.

De auteurs concluderen dat QWHA een robuust, efficiënt en nauwkeurig raamwerk biedt voor het fijne afstellen van gekwantiseerde LLM's, en een levensvatbaar alternatief biedt voor het dominante LoRA-paradigma.