🤖 machine learning

Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization

Dit artikel introduceert CAQ-ZO, een nulde-orde optimalisatiemethode die de querygeometrie afstemt op niet-uniforme companderende kwantisatoren door perturbaties uit te voeren in de getransformeerde latente ruimte om eindpunt-rondingsresiduen te elimineren en de fine-tuningprestaties op modellen met lage bitdiepte te verbeteren.

Oorspronkelijke auteurs: Yao Shu, Zilin Zhu

Gepubliceerd 2026-05-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yao Shu, Zilin Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een zeer complexe, high-tech radio (een groot AI-model) af te stemmen om het helderste signaal mogelijk te krijgen. Je kunt de interne knoppen of wijzers niet zien; je kunt alleen naar het geluid luisteren (de "loss") en raden welke kant je de knoppen op moet draaien om het beter te maken. Dit heet Zeroth-Order Optimization.

Meestal, om uit te vinden welke kant je een knop op moet draaien, beweeg je hem lichtjes naar links en rechts, luister je naar het verschil in geluid, en verplaats je de knop vervolgens in de richting die het geluid heeft verbeterd.

Het Probleem: De "Low-Bit" Radio

Stel je nu voor dat deze radio is gebouwd met een speciale, geheugensparende beperking: hij begrijpt alleen "low-resolution" instellingen. Het is alsof de radio een digitale wijzerplaat heeft met slechts een paar specifieke "klikken" of "stappen" waarop hij kan landen, in plaats van een soepele, continue rotatie.

Op de oude manier van doen (die het artikel Weight-Space Queries noemt), zou je:

Beslissen om de knop lichtjes naar links en rechts te bewegen in je gedachten (continue beweging).
De radio vragen om het geluid op die twee nieuwe posities af te spelen.
De Glitch: Omdat de radio alleen specifieke "klikken" begrijpt, "snapt" hij je continue beweging vast aan de dichtstbijzijnde beschikbare klik.
- Als de "klikken" in sommige gebieden zeer dicht bij elkaar liggen (dicht), kan je kleine beweging vastlopen op dezelfde klik aan beide kanten. De radio hoort geen verschil, en je krijgt nul informatie.
- Als de "klikken" in andere gebieden ver uit elkaar liggen (verspreid), kan je kleine beweging vastlopen op een klik die eigenlijk zeer ver weg is van waar je van plan was. Je krijgt een vervormd signaal.

Het artikel betoogt dat dit "vastklikken" een verwarrende, vervormde kaart creëert voor de optimalisator, waardoor het moeilijk wordt om te leren.

De Oplossing: CAQ-ZO (De "Kaart-Gealigneerde" Aanpak)

De auteurs, Yao Shu en Zilin Zhu, stellen een nieuwe manier voor om de radio vragen te stellen. Ze noemen het CAQ-ZO (Compander-Aligned Queries).

In plaats van na te denken over de knoppen in de oorspronkelijke "continue" wereld, veranderen ze het perspectief. Ze beseffen dat de "klikken" van de radio eigenlijk perfect gelijkmatig verdeeld zijn als je ze bekijkt door een speciale trechter (een wiskundige transformatie genaamd een compander).

De Analogie van de Trechter:
Stel je voor dat de instellingen van de radio een hobbelige, oneffen weg zijn.

De Oude Manier: Je probeert een vaste afstand te lopen (zeg, 1 meter) op deze hobbelige weg. Soms loop je 1 meter door een diepe modderpoel (waar je nauwelijks vooruitkomt), en soms loop je 1 meter over een gladde heuvel (waar je vooruitvliegt). Je stappen zijn inconsistent.
De CAQ-ZO Manier: Je kijkt naar de weg door een speciale trechterlens. Door deze lens lijkt de hobbelige weg op een perfect vlakke, rechte weg met gelijkmatig verdeelde tegels.
- Nu, in plaats van 1 meter te lopen op de hobbelige weg, loop je gewoon één tegel op de vlakke, betegelde weg.
- Je vraagt de radio: "Hoe ziet het geluid eruit als ik precies één tegel naar links beweeg? En één tegel naar rechts?"
- Omdat je precies van tegel naar tegel beweegt, vervormt het "vastklik"-mechanisme van de radio je beweging helemaal niet. Het landt precies waar je het hebt gezegd.

Wat Ze Vonden

De Theorie: Ze bewezen wiskundig dat als je je houdt aan de "tegels" in het speciale lensbeeld (de compander-coördinaat), de meting die je krijgt perfect accuraat is. Er is geen "vastklik-fout".
De Experimenten:
- Synthetische Tests: Ze creëerden nep-wiskundeproblemen om deze "vastklik"-fout te isoleren. Ze toonden aan dat hun nieuwe methode (CAQ-ZO) de fout volledig elimineerde, terwijl de oude methode erdoor bleef verward raken.
- Echte AI-Modellen: Ze testten dit op echte Large Language Models (zoals Qwen en Llama) met behulp van een specifiek low-precisieformaat genaamd NF4. Ze ontdekten dat door hun "tegel-wandel"-methode te gebruiken, de modellen beter leerden en een hogere nauwkeurigheid bereikten dan modellen die de oude "hobbelige weg"-methode gebruikten, zelfs al gebruikten ze exact hetzelfde geheugen en dezelfde hardware.

De Conclusie

Het artikel introduceert geen nieuw type radio of een nieuwe manier om data op te slaan. In plaats daarvan lost het op hoe we vragen stellen aan een low-precisie radio.

Oude Methode: "Beweeg de knop een beetje." (Resultaat: De radio "snapt" de beweging vast op een willekeurige plek, waardoor je slechte data krijgt).
CAQ-ZO Methode: "Beweeg precies naar de volgende klik-markering." (Resultaat: De radio hoort precies wat je vroeg, waardoor je perfecte data krijgt).

Door hun vragen af te stemmen op de interne "klikken" van de radio, maakten ze het trainen van AI met weinig geheugen veel effectiever.

Technische Samenvatting: Compander-Gealigneerde Query-Geometrie voor Gekwantiseerde Zeroth-Order Optimalisatie

1. Probleemstelling

Het artikel behandelt een fundamentele beperking in Zeroth-Order (ZO) Optimalisatie wanneer deze wordt toegepast op laagprecisie (gekwantiseerde) grote taalmodellen (LLMs). Hoewel ZO-methoden (zoals MeZO) een geheugenefficiënte adaptatie mogelijk maken door uitsluitend te vertrouwen op forward passes en scalare verlieswaarden, worstelen bestaande benaderingen wanneer het model wordt opgeslagen en opgevraagd in laag-bit precisie (bijv. NF4).

Het kernprobleem is een meetfout veroorzaakt door niet-uniforme kwantisatie:

Standaard ZO: Perturbeert gewichten in de continue gewichtenruimte ( $x \pm \mu u$ ) en meet het verliesverschil.
Gekwantiseerde ZO: De engine evalueert de afgeronde eindpunten $Q(x \pm \mu u)$ .
Het Conflict: Voor niet-uniforme compander-kwantiseerders (bijv. NF4, $\mu$ $μ$ -law) zijn de kwantisatiecellen niet uniform. Een vaste perturbatiestraal $\mu$ $μ$ in de gewichtenruimte kan:
1. Ineenstorten: Volledig binnen één dichte kwantisatiecel vallen, resulterend in een verliesverschil van nul (geen gradiëntsignaal).
2. Te ver overspannen: Meerdere schaarse cellen kruisen, waarbij een niet-lokale secant wordt gemeten in plaats van een lokale gradiënt.
3. Misaligneren: Een "afgeronde koord" $Q(x+\mu u) - Q(x-\mu u)$ creëren die niet parallel is aan de beoogde updaterichting $u$ .

Dit creëert een query-tijd kwantisatie-perturbatiekoppeling, wat een bias-kanaal introduceert dat de afdaalrichting vervormt en convergentie naar een stationair punt verhindert, zelfs als de codebook zelf optimaal is voor reconstructie.

2. Methodologie: CAQ-ZO

De auteurs stellen CAQ-ZO (Compander-Gealigneerde Queries voor Zeroth-Order Optimalisatie) voor, wat de query-geometrie verschuift van de gewichtenruimte naar de compander-coördinatenruimte.

Theoretisch Kader

Het artikel modelleert scalare niet-uniforme kwantisatie als een compander-proces:
$Q = \phi^{-1} \circ U \circ \phi$
Waarbij:

$\phi$ : Een monotoon coördinatenkaart (compressor).
$U$ : Een uniforme kwantiseerder met rasterafstand $\Delta$ in de getransformeerde ruimte $z = \phi(x)$ .
$\phi^{-1}$ : De expander-kaart terug naar de gewichtenruimte.

Het Algorithmus

In plaats van $x$ te perturberen in de gewichtenruimte, werkt CAQ-ZO in de $z$ -ruimte:

Coördinatentransformatie: Houd de iteratie bij in de compander-coördinaat $z_t = \phi(x_t)$ .
Op-Raster Stencil: Genereer perturbaties direct in de $z$ -ruimte met behulp van een één-rasterstap Rademacher-stencil: $z_t \pm \Delta r$ , waarbij $r \in \{-1, +1\}^d$ .
Query: Map de eindpunten terug naar de gewichtenruimte: $x_{query} = \phi^{-1}(z_t \pm \Delta r)$ .
Meting: Query de laagprecisie-orakel. Aangezien de eindpunten $z_t \pm \Delta r$ exact op het uniforme raster van $U$ liggen, werkt de kwantiseerder $Q$ als de identiteit op de query-punten (er treedt geen afrondingsfout op bij de eindpunten).
Update: Bereken de gradiëntschatting in de $z$ -ruimte en update $z_{t+1}$ , waarbij het resultaat wordt geprojecteerd terug op het raster om de invariant voor toekomstige queries te behouden.

Belangrijk Onderscheid: CAQ-ZO verandert niet de codebook, de optimizer-wrapper, of de forward-orakel. Het verandert alleen de geometrie van de eindverschil-stencil om deze te laten aansluiten bij het interne raster van de kwantiseerder.

3. Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

Formulering van Query-Geometrie: Het herformuleert gekwantiseerde ZO van een codebook-vergelijkingsprobleem naar een meet-geometrisch probleem. Het isoleert de codebook, query-coördinaat, richtingverdeling, gladmakingsstraal en eindpunt-rasteruitlijning als aparte controlevariabelen.
Theoretische Analyse van Fouten:
- Stelling 1: Bewijst dat geen enkele vaste straal $\mu$ in de gewichtenruimte niet-uniforme cellen globaal kan kalibreren; de effectieve rasteroverspanning $\rho$ hangt af van de lokale compander-helling $\nabla \phi$ .
- Stelling 2: Ontleedt de schattingsfout en toont aan dat standaard query's in de gewichtenruimte een residu opleveren dat evenredig is met $\Delta^2/\mu^2$ (eindpunt-afronding), terwijl CAQ-ZO dit query-tijd residu exact nul maakt.
- Stelling 3 & 4: Biedt stationariteitsgrenzen die aantonen dat query's in de gewichtenruimte lijden aan een residu-bodem door afrondingsbias, terwijl CAQ-ZO convergentie bereikt die uitsluitend wordt bepaald door standaard eindverschil-bias en stochastische variantie.
Algoritme-ontwerp: Introduceert het CAQ-ZO-algoritme (Algoritme 1) dat gebruikmaakt van op-raster Rademacher-eindverschillen in de compander-coördinaat en projectie op het moment van update afdwingt om rasteruitlijning te behouden.
Empirische Validatie:
- Synthetische Experimenten: Isoleert het kanaal voor eindpunt-afronding en toont aan dat CAQ-ZO het residukanaal elimineert dat baselines in de gewichtenruimte (Vanilla Gaussian ZO, QuZO) teisteren.
- LLM Fine-Tuning: Demonstreert verbeteringen op Qwen-2.5-1.5B en Llama-2-7B met NF4-kwantisatie. CAQ-ZO presteert beter dan de baseline in de gewichtenruimte (QuZO) op meerdere taken (SST-2, RTE, CB, SQuAD, enz.) onder dezelfde kwantiseerder en evaluatiebudget.

4. Resultaten

Synthetisch: In synthetische experimenten met hoge dimensie ( $d=10.000$ ) met $\mu$ -law- en NF4-stijl companders, bereikt CAQ-ZO de laagste ratio tussen het uiteindelijke en startverlies. Het elimineert specifiek het "eindpunt-afrondingsresidu" dat wordt waargenomen bij methoden in de gewichtenruimte, wat zelfs bij verhoogde iteraties niet-nul blijft.
LLM Fine-Tuning: In匹配的 NF4 fine-tuning experimenten:
- CAQ-ZO verbetert consistent ten opzichte van QuZO (de baseline in de gewichtenruimte) op alle metrieken voor beide modellen.
- Opmerkelijke winsten zijn 18,8/21,4 accuraatheidspunten op CB en 24,0/28,1 F1 op SQuAD voor respectievelijk Qwen en Llama.
- De resultaten bevestigen dat het veranderen van de eindpunten van het eindverschil (terwijl de codebook vast blijft) het getrainde gekwantiseerde model verbetert.

5. Betekenis en Scope

Het artikel stelt dat gekwantiseerde ZO niet uitsluitend wordt bepaald door de codebook; de interactie tussen de eindverschil-stencil en de kwantisatiecellen is even kritiek.

Kerninzicht: Een codebook dat optimaal is voor statische reconstructie (bijv. NF4) kan suboptimaal zijn voor perturbaties in de gewichtenruimte als de query-geometrie misaligneert. CAQ-ZO lost dit op door de query-geometrie te aligneren met de compander.
Bescheidenheid van Claims: De auteurs beperken hun claims expliciet:
- De theorie is van toepassing op scalare monotoon companders (inclusief NF4 via monotoon interpolatie).
- Het bewijs is beperkt tot gecontroleerde synthetische experimenten en 匹配的 NF4 LLM fine-tuning.
- Het artikel claimt niet universele overdraagbaarheid naar alle niet-scalare codebooks (bijv. vector kwantiseerders) of bredere claims voor grote modellen zonder aparte validatie.
- Het wordt gepositioneerd als een specifieke oplossing voor de setting "laagprecisie-forward-pass", onderscheiden van methoden die de codebook modificeren of straight-through schatters gebruiken.

Kortom, CAQ-ZO biedt een theoretisch onderbouwde en empirisch gevalideerde methode om de bias veroorzaakt door kwantisatie-afronding in zeroth-order optimalisatie te verwijderen, waardoor een effectievere geheugenefficiënte adaptatie van gekwantiseerde LLMs mogelijk wordt.