Riepilogo Tecnico: Geometria delle Query Allineata al Compander per l'Ottimizzazione di Ordine Zero Quantizzata

1. Enunciato del Problema

Il documento affronta una limitazione fondamentale nell'Ottimizzazione di Ordine Zero (ZO) quando applicata ai modelli linguistici di grandi dimensioni (LLM) a bassa precisione (quantizzati). Sebbene i metodi ZO (come MeZO) consentano un adattamento efficiente in termini di memoria basandosi esclusivamente su passaggi in avanti e valori di perdita scalari, gli approcci esistenti faticano quando il modello è memorizzato e interrogato in precisione a pochi bit (ad esempio, NF4).

Il problema centrale è un mismatch di misurazione causato dalla quantizzazione non uniforme:

• ZO Standard: Perturba i pesi nello spazio continuo dei pesi ($x \pm \mu u$) e misura la differenza di perdita.
• ZO Quantizzata: Il motore valuta gli estremi arrotondati $Q(x \pm \mu u)$.
• Il Conflitto: Per i quantizzatori di compansione non uniformi (ad esempio, NF4, $\mu$-law), le celle di quantizzazione non sono uniformi. Un raggio di perturbazione fisso nello spazio dei pesi $\mu$ può:
  1. Collassare: Cadere interamente all'interno di una singola cella di quantizzazione densa, risultando in una differenza di perdita nulla (nessun segnale di gradiente).
  2. Sovrastendere: Attraversare multiple celle sparse, misurando una secante non locale piuttosto che un gradiente locale.
  3. Disallinearsi: Creare una "corda arrotondata" $Q(x+\mu u) - Q(x-\mu u)$ che non è parallela alla direzione di aggiornamento prevista $u$.

Ciò crea un accoppiamento tra quantizzazione e perturbazione al momento della query, introducendo un canale di bias che distorce la direzione di discesa e impedisce la convergenza a un punto stazionario, anche se il codice stesso è ottimale per la ricostruzione.

2. Metodologia: CAQ-ZO

Gli autori propongono CAQ-ZO (Query Allineate al Compander per l'Ottimizzazione di Ordine Zero), che sposta la geometria delle query dallo spazio dei pesi allo spazio delle coordinate del compander.

Quadro Teorico

Il documento modella la quantizzazione scalare non uniforme come un processo di compansione:
$$Q = \phi^{-1} \circ U \circ \phi$$
Dove:

• $\phi$: Una mappa di coordinate monotona (compressore).
• $U$: Un quantizzatore uniforme con spaziatura della griglia $\Delta$ nello spazio trasformato $z = \phi(x)$.
• $\phi^{-1}$: La mappa espansore di ritorno allo spazio dei pesi.

L'Algoritmo

Invece di perturbare $x$ nello spazio dei pesi, CAQ-ZO opera nello spazio $z$:

1. Trasformazione delle Coordinate: Mantenere l'iterata nella coordinata del compander $z_t = \phi(x_t)$.
2. Stencil sulla Griglia: Generare perturbazioni direttamente nello spazio $z$ utilizzando uno stencil Rademacher a un passo di griglia: $z_t \pm \Delta r$, dove $r \in \{-1, +1\}^d$.
3. Query: Mappare gli estremi di nuovo nello spazio dei pesi: $x_{query} = \phi^{-1}(z_t \pm \Delta r)$.
4. Misurazione: Interrogare l'oracolo a bassa precisione. Poiché gli estremi $z_t \pm \Delta r$ giacciono esattamente sulla griglia uniforme di $U$, il quantizzatore $Q$ agisce come identità nei punti di query (non si verifica errore di arrotondamento agli estremi).
5. Aggiornamento: Calcolare la stima del gradiente nello spazio $z$ e aggiornare $z_{t+1}$, proiettando il risultato di nuovo sulla griglia per mantenere l'invariante per le future query.

Distinzione Chiave: CAQ-ZO non modifica il codice, il wrapper dell'ottimizzatore o l'oracolo in avanti. Modifica solo la geometria dello stencil di differenze finite per allinearla alla griglia interna del quantizzatore.

3. Contributi Chiave

Il documento apporta quattro contributi principali:

1. Formulazione della Geometria delle Query: Riformula la ZO quantizzata da un problema di confronto di codici a un problema di geometria di misurazione. Isola il codice, la coordinata della query, la distribuzione della direzione, il raggio di smoothing e l'allineamento della griglia degli estremi come variabili di controllo separate.
2. Analisi Teorica del Mismatch:
   • Teorema 1: Dimostra che nessun raggio fisso nello spazio dei pesi $\mu$ può calibrare globalmente le celle non uniformi; l'effettiva estensione della griglia $\rho$ dipende dalla pendenza locale del compander $\nabla \phi$.
   • Teorema 2: Decompone l'errore dell'estimatore, mostrando che le query standard nello spazio dei pesi incorrono in un residuo proporzionale a $\Delta^2/\mu^2$ (arrotondamento degli estremi), mentre CAQ-ZO rende questo residuo al momento della query esattamente zero.
   • Teorema 3 e 4: Fornisce limiti di stazionarietà dimostrando che le query nello spazio dei pesi soffrono di un pavimento residuo dovuto al bias di arrotondamento, mentre CAQ-ZO raggiunge una convergenza governata solo dal bias standard delle differenze finite e dalla varianza stocastica.
3. Progettazione dell'Algoritmo: Introduce l'algoritmo CAQ-ZO (Algoritmo 1) che utilizza differenze finite Rademacher sulla griglia nella coordinata del compander e impone una proiezione al momento dell'aggiornamento per preservare l'allineamento alla griglia.
4. Validazione Empirica:
   • Esperimenti Sintetici: Isola il canale di arrotondamento degli estremi, mostrando che CAQ-ZO elimina il canale residuo che affligge le baseline nello spazio dei pesi (ZO Gaussiana Vanilla, QuZO).
   • Fine-Tuning di LLM: Dimostra miglioramenti su Qwen-2.5-1.5B e Llama-2-7B utilizzando la quantizzazione NF4. CAQ-ZO supera la baseline nello spazio dei pesi (QuZO) su molteplici task (SST-2, RTE, CB, SQuAD, ecc.) sotto lo stesso quantizzatore e budget di valutazione.

4. Risultati

• Sintetici: In esperimenti sintetici ad alta dimensionalità ($d=10.000$) con compander di tipo $\mu$-law e NF4, CAQ-ZO ottiene il rapporto più basso tra perdita finale e iniziale. Elimina specificamente il "residuo di arrotondamento degli estremi" osservato nei metodi nello spazio dei pesi, che rimane non nullo anche con iterazioni aumentate.
• Fine-Tuning di LLM: Negli esperimenti di fine-tuning NF4 abbinati:
  • CAQ-ZO migliora costantemente rispetto a QuZO (la baseline nello spazio dei pesi) su tutte le metriche per entrambi i modelli.
  • Guadagni notevoli includono 18,8/21,4 punti di accuratezza su CB e 24,0/28,1 F1 su SQuAD per Qwen e Llama rispettivamente.
  • I risultati confermano che cambiare gli estremi delle differenze finite (mantenendo fisso il codice) migliora il modello quantizzato addestrato.

5. Significato e Ambito

Il documento afferma che la ZO quantizzata non è determinata esclusivamente dal codice; l'interazione tra lo stencil delle differenze finite e le celle del quantizzatore è ugualmente critica.

• Insight Centrale: Un codice ottimale per la ricostruzione statica (ad esempio, NF4) può essere subottimale per le perturbazioni nello spazio dei pesi se la geometria della query è disallineata. CAQ-ZO risolve ciò allineando la geometria della query al compander.
• Modestia delle Affermazioni: Gli autori delimitano esplicitamente le loro affermazioni:
  • La teoria si applica ai compander scalari monotoni (incluso NF4 tramite interpolazione monotona).
  • Le evidenze sono limitate a esperimenti sintetici controllati e fine-tuning di LLM NF4 abbinati.
  • Il documento non afferma una trasferibilità universale a tutti i codici non scalari (ad esempio, quantizzatori vettoriali) o affermazioni più ampie su modelli di grandi dimensioni senza una validazione separata.
  • È posizionato come una soluzione specifica per il setting "passo in avanti a bassa precisione", distinto dai metodi che modificano il codice o utilizzano stimatori straight-through.

In sintesi, CAQ-ZO fornisce un metodo teoricamente fondato e validato empiricamente per rimuovere il bias introdotto dall'arrotondamento della quantizzazione nell'ottimizzazione di ordine zero, consentendo un adattamento più efficace in termini di memoria dei LLM quantizzati.