🤖 machine learning

Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization

Dieser Beitrag stellt CAQ-ZO vor, eine Optimierungsmethode nullter Ordnung, die die Abfragegeometrie mit nichtuniformen Kompressionsquantisierern in Einklang bringt, indem sie Störungen im transformierten latenten Raum durchführt, um Endpunkt-Rundungsresiduen zu eliminieren und die Feinabstimmung bei Modellen mit niedriger Bitbreite zu verbessern.

Ursprüngliche Autoren: Yao Shu, Zilin Zhu

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yao Shu, Zilin Zhu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein sehr komplexes, hochtechnisches Radio (ein großes KI-Modell) einzustellen, um das klarste Signal möglich zu erhalten. Sie können die internen Knöpfe oder Regler nicht sehen; Sie können nur auf den Klang hören (den „Verlust") und erraten, in welche Richtung Sie die Knöpfe drehen müssen, um ihn zu verbessern. Dies wird als Nullter-Ordnung-Optimierung bezeichnet.

Normalerweise, um herauszufinden, in welche Richtung man einen Knopf dreht, wackelt man ihn leicht nach links und rechts, hört auf den Unterschied im Klang und bewegt dann den Knopf in die Richtung, die den Klang verbessert hat.

Das Problem: Das „Low-Bit"-Radio

Stellen Sie sich nun vor, dieses Radio ist mit einer speziellen, speichersparenden Einschränkung gebaut: Es versteht nur „niedrig aufgelöste" Einstellungen. Es ist, als hätte das Radio ein digitales Zifferblatt mit nur wenigen spezifischen „Klicks" oder „Schritten", auf denen es landen kann, anstatt einer glatten, kontinuierlichen Drehung.

Auf die alte Art und Weise (die im Papier als Weight-Space Queries bezeichnet wird) würden Sie:

Beschließen, den Knopf in Gedanken leicht nach links und rechts zu wackeln (kontinuierliche Bewegung).
Das Radio bitten, den Klang an diesen beiden neuen Positionen abzuspielen.
Der Fehler: Da das Radio nur spezifische „Klicks" versteht, schnappt es Ihr kontinuierliches Wackeln auf den nächsten verfügbaren Klick.
- Wenn die „Klicks" in einigen Bereichen sehr nah beieinander liegen (dicht), wird Ihr winziges Wackeln auf beiden Seiten möglicherweise auf denselben Klick geschnappt. Das Radio hört keinen Unterschied, und Sie erhalten keine Informationen.
- Wenn die „Klicks" in anderen Bereichen weit auseinander liegen (spärlich), wird Ihr winziges Wackeln möglicherweise auf einen Klick geschnappt, der tatsächlich sehr weit von dem entfernt ist, wo Sie es beabsichtigt hatten. Sie erhalten ein verzerrtes Signal.

Das Papier argumentiert, dass dieses „Schnappen" eine verwirrende, verzerrte Karte für den Optimierer erzeugt, was das Lernen erschwert.

Die Lösung: CAQ-ZO (Der „Karten-Abgestimmte" Ansatz)

Die Autoren, Yao Shu und Zilin Zhu, schlagen eine neue Art vor, dem Radio Fragen zu stellen. Sie nennen es CAQ-ZO (Compander-Aligned Queries).

Anstatt über die Knöpfe in der ursprünglichen „kontinuierlichen" Welt nachzudenken, ändern sie die Perspektive. Sie erkennen, dass die „Klicks" des Radios tatsächlich perfekt gleichmäßig verteilt sind, wenn man sie durch eine spezielle Trichter-Linse betrachtet (eine mathematische Transformation, die als Compander bezeichnet wird).

Die Analogie des Trichters:
Stellen Sie sich die Einstellungen des Radios als eine holprige, unebene Straße vor.

Die alte Art: Sie versuchen, eine feste Strecke (sagen wir 1 Meter) auf dieser holprigen Straße zu gehen. Manchmal gehen Sie 1 Meter durch einen tiefen Schlammloch (wo Sie sich kaum bewegen), und manchmal gehen Sie 1 Meter über einen glatten Hügel (wo Sie vorwärts fliegen). Ihre Schritte sind inkonsistent.
Die CAQ-ZO-Art: Sie betrachten die Straße durch eine spezielle Trichter-Linse. Durch diese Linse sieht die holprige Straße wie eine perfekt flache, gerade Straße mit gleichmäßig verteilten Fliesen aus.
- Jetzt gehen Sie nicht 1 Meter auf der holprigen Straße, sondern einfach eine Fliese auf der flachen, gefliesten Straße.
- Sie fragen das Radio: „Wie sieht der Klang aus, wenn ich genau eine Fliese nach links bewege? Und eine Fliese nach rechts?"
- Da Sie sich genau von Fliese zu Fliese bewegen, verzerrt der „Schnapp"-Mechanismus des Radios Ihre Bewegung überhaupt nicht. Es landet genau dort, wo Sie es hingewiesen haben.

Was sie herausfanden

Die Theorie: Sie bewiesen mathematisch, dass, wenn Sie bei den „Fliesen" in der speziellen Linsenansicht (der Compander-Koordinate) bleiben, die Messung, die Sie erhalten, perfekt genau ist. Es gibt keinen „Schnapp-Fehler".
Die Experimente:
- Synthetische Tests: Sie erstellten gefälschte mathematische Probleme, um diesen „Schnapp"-Fehler zu isolieren. Sie zeigten, dass ihre neue Methode (CAQ-ZO) den Fehler vollständig eliminierte, während die alte Methode weiterhin verwirrt wurde.
- Echte KI-Modelle: Sie testeten dies an echten Large Language Models (wie Qwen und Llama) unter Verwendung eines spezifischen Low-Precision-Formats namens NF4. Sie fanden heraus, dass durch die Verwendung ihrer „Fliesen-Geh"-Methode die Modelle besser lernten und eine höhere Genauigkeit erreichten als Modelle, die die alte „holprige Straße"-Methode verwendeten, obwohl sie exakt denselben Speicher und dieselbe Hardware verwendeten.

Das Fazit

Das Papier erfindet keine neue Art von Radio oder eine neue Art, Daten zu speichern. Stattdessen korrigiert es wie wir Fragen stellen an ein Low-Precision-Radio.

Alte Methode: „Wackeln Sie den Knopf ein wenig." (Ergebnis: Das Radio schnappt das Wackeln an einen zufälligen Ort, was Ihnen schlechte Daten liefert).
CAQ-ZO-Methode: „Bewegen Sie sich genau zum nächsten Klick-Mark." (Ergebnis: Das Radio hört genau das, was Sie gefragt haben, und liefert Ihnen perfekte Daten).

Indem sie ihre Fragen mit den internen „Klicks" des Radios abstimmen, machten sie das KI-Training mit geringem Speicher viel effektiver.

Technische Zusammenfassung: Compander-angepasste Abfragegeometrie für quantisierte Nullter-Ordnung-Optimierung

1. Problemstellung

Der Artikel adressiert eine fundamentale Einschränkung bei der Nullter-Ordnung-Optimierung (ZO), wenn sie auf niedrigpräzise (quantisierte) Large Language Models (LLMs) angewendet wird. Während ZO-Methoden (wie MeZO) eine speichereffiziente Anpassung ermöglichen, indem sie ausschließlich auf Vorwärtsdurchläufe und skalare Verlustwerte zurückgreifen, stoßen bestehende Ansätze an ihre Grenzen, wenn das Modell in niedriger Bit-Präzision (z. B. NF4) gespeichert und abgefragt wird.

Das Kernproblem ist eine durch nichtuniforme Quantisierung verursachte Messdiskrepanz:

Standard-ZO: Stört Gewichte im kontinuierlichen Gewichtsraum ( $x \pm \mu u$ ) und misst die Verlustdifferenz.
Quantisierte ZO: Die Engine bewertet die gerundeten Endpunkte $Q(x \pm \mu u)$ .
Der Konflikt: Bei nichtuniformen Companding-Quantisierern (z. B. NF4, $\mu$ $μ$ -Gesetz) sind die Quantisierungszellen nicht uniform. Ein fester Störungsradius $\mu$ $μ$ im Gewichtsraum kann:
1. Kollabieren: Ganz innerhalb einer einzelnen dichten Quantisierungszelle liegen, was zu einer Verlustdifferenz von null führt (kein Gradientensignal).
2. Überstrecken: Mehrere spärliche Zellen überspannen und dabei eine nichtlokale Sekante statt eines lokalen Gradienten messen.
3. Fehlausrichten: Einen „gerundeten Sehnenabschnitt" $Q(x+\mu u) - Q(x-\mu u)$ erzeugen, der nicht parallel zur intendierten Update-Richtung $u$ verläuft.

Dies erzeugt eine Abfragezeit-Quantisierungs-Störungs-Kopplung, die einen Bias-Kanal einführt, der die Abstiegsrichtung verzerrt und die Konvergenz zu einem stationären Punkt verhindert, selbst wenn der Codebook selbst für die Rekonstruktion optimal ist.

2. Methodik: CAQ-ZO

Die Autoren schlagen CAQ-ZO (Compander-Aligned Queries for Zeroth-Order Optimization) vor, welche die Abfragegeometrie vom Gewichtsraum in den Compander-Koordinatenraum verlagert.

Theoretischer Rahmen

Der Artikel modelliert skalare nichtuniforme Quantisierung als Companding-Prozess:
$Q = \phi^{-1} \circ U \circ \phi$
Wobei:

$\phi$ : Eine monotone Koordinatenabbildung (Kompressor).
$U$ : Ein uniformer Quantisierer mit Gitterabstand $\Delta$ im transformierten Raum $z = \phi(x)$ .
$\phi^{-1}$ : Die Expander-Abbildung zurück in den Gewichtsraum.

Der Algorithmus

Anstatt $x$ im Gewichtsraum zu stören, arbeitet CAQ-ZO im $z$ -Raum:

Koordinatentransformation: Die Iterierte wird im Compander-Koordinat $z_t = \phi(x_t)$ gehalten.
Gitter-Stencil: Erzeugung von Störungen direkt im $z$ -Raum mittels eines Ein-Gitter-Schritt-Rademacher-Stencils: $z_t \pm \Delta r$ , wobei $r \in \{-1, +1\}^d$ .
Abfrage: Abbildung der Endpunkte zurück in den Gewichtsraum: $x_{query} = \phi^{-1}(z_t \pm \Delta r)$ .
Messung: Abfrage des niedrigpräzisen Orakels. Da die Endpunkte $z_t \pm \Delta r$ exakt auf dem uniformen Gitter von $U$ liegen, wirkt der Quantisierer $Q$ an den Abfragepunkten als Identität (es tritt keine Rundungsfehler an den Endpunkten auf).
Update: Berechnung der Gradientenschätzung im $z$ -Raum und Aktualisierung von $z_{t+1}$ , wobei das Ergebnis zurück auf das Gitter projiziert wird, um die Invariante für zukünftige Abfragen zu erhalten.

Hauptunterschied: CAQ-ZO ändert weder das Codebook, noch den Optimierer-Wrapper oder das Vorwärts-Orakel. Es ändert lediglich die Geometrie des Finite-Differenzen-Stencils, um sie mit dem internen Gitter des Quantisierers auszurichten.

3. Hauptbeiträge

Der Artikel leistet vier primäre Beiträge:

Formulierung der Abfragegeometrie: Er neu fasst quantisierte ZO von einem Codebook-Vergleichsproblem als ein Messgeometrie-Problem. Er isoliert das Codebook, die Abfragekoordinate, die Richtungsverteilung, den Glättungsradius und die Gitterausrichtung der Endpunkte als separate Kontrollvariablen.
Theoretische Analyse der Diskrepanz:
- Satz 1: Beweist, dass kein fester Gewichtsraum-Radius $\mu$ nichtuniforme Zellen global kalibrieren kann; der effektive Gitterüberspannungsbereich $\rho$ hängt von der lokalen Compander-Steigung $\nabla \phi$ ab.
- Satz 2: Zerlegt den Schätzfehler und zeigt, dass Standard-Abfragen im Gewichtsraum einen Residualfehler proportional zu $\Delta^2/\mu^2$ (Endpunktrundung) aufweisen, wohingegen CAQ-ZO diesen Abfragezeit-Residualfehler exakt auf null setzt.
- Satz 3 & 4: Liefert Stationaritätsgrenzen, die zeigen, dass Abfragen im Gewichtsraum aufgrund von Rundungsbias einen Residual-Boden haben, während CAQ-ZO eine Konvergenz erreicht, die nur durch den Standard-Finite-Differenzen-Bias und stochastische Varianz bestimmt wird.
Algorithmus-Design: Einführung des CAQ-ZO-Algorithmus (Algorithmus 1), der Gitter-Rademacher-Finite-Differenzen im Compander-Koordinatensystem nutzt und eine Projektionsoperation zur Update-Zeit erzwingt, um die Gitterausrichtung zu erhalten.
Empirische Validierung:
- Synthetische Experimente: Isolierung des Endpunktrundungs-Kanals, wobei gezeigt wird, dass CAQ-ZO den Residualkanal eliminiert, der Baselines im Gewichtsraum (Vanilla Gaussian ZO, QuZO) plagt.
- LLM Fine-Tuning: Demonstration von Verbesserungen bei Qwen-2.5-1.5B und Llama-2-7B unter Verwendung von NF4-Quantisierung. CAQ-ZO übertrifft die Gewichtsraum-Baseline (QuZO) über mehrere Aufgaben hinweg (SST-2, RTE, CB, SQuAD usw.) unter denselben Quantisierer- und Evaluierungsbudgets.

4. Ergebnisse

Synthetisch: In hochdimensionalen ( $d=10.000$ ) synthetischen Experimenten mit $\mu$ -Gesetz- und NF4-artigen Compandern erreicht CAQ-ZO das niedrigste Verhältnis von End- zu Start-Verlustdifferenz. Es eliminiert spezifisch den bei Gewichtsraum-Methoden beobachteten „Endpunktrundungs-Residualfehler", der selbst bei erhöhten Iterationen nicht null bleibt.
LLM Fine-Tuning: In abgestimmten NF4 Fine-Tuning-Experimenten:
- CAQ-ZO verbessert sich bei beiden Modellen konsistent über QuZO (die Gewichtsraum-Baseline) hinaus bei allen Metriken.
- Bemerkenswerte Gewinne umfassen 18,8/21,4 Genauigkeitspunkte auf CB und 24,0/28,1 F1 auf SQuAD für Qwen bzw. Llama.
- Die Ergebnisse bestätigen, dass die Änderung der Finite-Differenzen-Endpunkte (bei festgehaltenem Codebook) das trainierte quantisierte Modell verbessert.

5. Bedeutung und Umfang

Der Artikel behauptet, dass quantisierte ZO nicht allein durch das Codebook bestimmt wird; die Interaktion zwischen dem Finite-Differenzen-Stencil und den Quantisierungszellen ist ebenso kritisch.

Kern-Erkenntnis: Ein Codebook, das für statische Rekonstruktion optimal ist (z. B. NF4), kann für Gewichtsraum-Störungen suboptimal sein, wenn die Abfragegeometrie fehljustiert ist. CAQ-ZO löst dies durch Ausrichtung der Abfragegeometrie mit dem Compander.
Bescheidenheit der Ansprüche: Die Autoren grenzen ihre Ansprüche explizit ein:
- Die Theorie gilt für skalare monotone Compander (einschließlich NF4 via monotoner Interpolation).
- Die Evidenz beschränkt sich auf kontrollierte synthetische Experimente und abgestimmtes NF4-LLM-Fine-Tuning.
- Der Artikel behauptet nicht eine universelle Übertragbarkeit auf alle nicht-skalaren Codebooks (z. B. Vektorquantisierer) oder allgemeinere Großmodell-Aussagen ohne separate Validierung.
- Er wird als spezifische Lösung für das Setting „niedrigpräziser Vorwärtsdurchlauf" positioniert, distinct von Methoden, die das Codebook modifizieren oder Straight-Through-Schätzer verwenden.

Zusammenfassend bietet CAQ-ZO eine theoretisch fundierte und empirisch validierte Methode, um den durch Quantisierungsrounding in der Nullter-Ordnung-Optimierung eingeführten Bias zu entfernen und ermöglicht so eine effektivere speichereffiziente Anpassung quantisierter LLMs.