Resumo Técnico: Geometria de Consulta Alinhada a Compressores para Otimização de Ordem Zero Quantizada

1. Formulação do Problema

O artigo aborda uma limitação fundamental na Otimização de Ordem Zero (ZO) quando aplicada a modelos de linguagem grandes (LLMs) de baixa precisão (quantizados). Embora os métodos ZO (como MeZO) permitam adaptação eficiente em memória, dependendo apenas de passagens forward e valores de perda escalares, as abordagens existentes lutam quando o modelo é armazenado e consultado em precisão de baixo número de bits (por exemplo, NF4).

A questão central é um desajuste de medição causado pela quantização não uniforme:

• ZO Padrão: Perturba os pesos no espaço contínuo de pesos ($x \pm \mu u$) e mede a diferença de perda.
• ZO Quantizado: O motor avalia as extremidades arredondadas $Q(x \pm \mu u)$.
• O Conflito: Para quantizadores de compressão não uniformes (por exemplo, NF4, lei-$\mu$), as células de quantização não são uniformes. Um raio de perturbação fixo no espaço de pesos $\mu$ pode:
  1. Colapsar: Cair inteiramente dentro de uma única célula de quantização densa, resultando em diferença de perda zero (sem sinal de gradiente).
  2. Sobrepassar: Cruzar múltiplas células esparsas, medindo uma secante não local em vez de um gradiente local.
  3. Desalinhar: Criar uma "corda arredondada" $Q(x+\mu u) - Q(x-\mu u)$ que não é paralela à direção de atualização pretendida $u$.

Isso cria um acoplamento de perturbação-quantização no momento da consulta, introduzindo um canal de viés que distorce a direção de descida e impede a convergência para um ponto estacionário, mesmo que o próprio código seja ótimo para reconstrução.

2. Metodologia: CAQ-ZO

Os autores propõem o CAQ-ZO (Consultas Alinhadas a Compressores para Otimização de Ordem Zero), que desloca a geometria de consulta do espaço de pesos para o espaço de coordenadas do compressor.

Estrutura Teórica

O artigo modela a quantização escalar não uniforme como um processo de compressão:
$$Q = \phi^{-1} \circ U \circ \phi$$
Onde:

• $\phi$: Um mapa de coordenadas monótono (compressor).
• $U$: Um quantizador uniforme com espaçamento de grade $\Delta$ no espaço transformado $z = \phi(x)$.
• $\phi^{-1}$: O mapa expansor de volta ao espaço de pesos.

O Algoritmo

Em vez de perturbar $x$ no espaço de pesos, o CAQ-ZO opera no espaço $z$:

1. Transformação de Coordenadas: Manter a iteração na coordenada do compressor $z_t = \phi(x_t)$.
2. Stencil na Grade: Gerar perturbações diretamente no espaço $z$ usando um stencil de Rademacher de um passo de grade: $z_t \pm \Delta r$, onde $r \in \{-1, +1\}^d$.
3. Consulta: Mapear as extremidades de volta para o espaço de pesos: $x_{query} = \phi^{-1}(z_t \pm \Delta r)$.
4. Medição: Consultar o oráculo de baixa precisão. Como as extremidades $z_t \pm \Delta r$ caem exatamente na grade uniforme de $U$, o quantizador $Q$ atua como identidade nos pontos de consulta (nenhum erro de arredondamento ocorre nas extremidades).
5. Atualização: Calcular a estimativa do gradiente no espaço $z$ e atualizar $z_{t+1}$, projetando o resultado de volta na grade para manter o invariante para consultas futuras.

Distinção Chave: O CAQ-ZO não altera o código, o wrapper do otimizador ou o oráculo forward. Ele altera apenas a geometria do stencil de diferenças finitas para alinhar com a grade interna do quantizador.

3. Contribuições Principais

O artigo apresenta quatro contribuições primárias:

1. Formulação da Geometria de Consulta: Reenquadra a ZO quantizada de um problema de comparação de códigos para um problema de geometria de medição. Isola o código, a coordenada de consulta, a distribuição de direção, o raio de suavização e o alinhamento da grade de extremidades como variáveis de controle separadas.
2. Análise Teórica do Desajuste:
   • Teorema 1: Prova que nenhum raio fixo no espaço de pesos $\mu$ pode calibrar globalmente células não uniformes; o alcance efetivo da grade $\rho$ depende da inclinação local do compressor $\nabla \phi$.
   • Teorema 2: Decompõe o erro do estimador, mostrando que consultas padrão no espaço de pesos incorrem em um resíduo proporcional a $\Delta^2/\mu^2$ (arredondamento de extremidades), enquanto o CAQ-ZO torna esse resíduo no momento da consulta exatamente zero.
   • Teorema 3 e 4: Fornece limites de estacionariedade demonstrando que consultas no espaço de pesos sofrem de um piso residual devido ao viés de arredondamento, enquanto o CAQ-ZO alcança convergência governada apenas pelo viés padrão de diferenças finitas e variância estocástica.
3. Design do Algoritmo: Introduz o algoritmo CAQ-ZO (Algoritmo 1) que utiliza diferenças finitas de Rademacher na grade no espaço de coordenadas do compressor e impõe projeção no momento da atualização para preservar o alinhamento da grade.
4. Validação Empírica:
   • Experimentos Sintéticos: Isola o canal de arredondamento de extremidades, mostrando que o CAQ-ZO elimina o canal residual que aflige as bases no espaço de pesos (ZO Gaussiano Vanilla, QuZO).
   • Ajuste Fino de LLM: Demonstra melhorias no Qwen-2.5-1.5B e no Llama-2-7B usando quantização NF4. O CAQ-ZO supera a base no espaço de pesos (QuZO) em múltiplas tarefas (SST-2, RTE, CB, SQuAD, etc.) sob o mesmo quantizador e orçamento de avaliação.

4. Resultados

• Sintéticos: Em experimentos sintéticos de alta dimensão ($d=10.000$) com compressores estilo lei-$\mu$ e NF4, o CAQ-ZO alcança a menor razão de lacuna de perda final-inicial. Ele elimina especificamente o "resíduo de arredondamento de extremidades" observado em métodos no espaço de pesos, que permanece não nulo mesmo com iterações aumentadas.
• Ajuste Fino de LLM: Em experimentos de ajuste fino NF4 correspondentes:
  • O CAQ-ZO melhora consistentemente sobre o QuZO (a base no espaço de pesos) em todas as métricas para ambos os modelos.
  • Ganhos notáveis incluem 18,8/21,4 pontos de precisão no CB e 24,0/28,1 F1 no SQuAD para Qwen e Llama, respectivamente.
  • Os resultados confirmam que alterar as extremidades de diferenças finitas (mantendo o código fixo) melhora o modelo quantizado treinado.

5. Significado e Escopo

O artigo afirma que a ZO quantizada não é determinada apenas pelo código; a interação entre o stencil de diferenças finitas e as células do quantizador é igualmente crítica.

• Insight Central: Um código ótimo para reconstrução estática (por exemplo, NF4) pode ser subótimo para perturbações no espaço de pesos se a geometria de consulta estiver desalinhada. O CAQ-ZO resolve isso alinhando a geometria de consulta com o compressor.
• Modéstia das Afirmações: Os autores delimitam explicitamente suas afirmações:
  • A teoria aplica-se a compressores escalares monótonos (incluindo NF4 via interpolação monótona).
  • A evidência limita-se a experimentos sintéticos controlados e ajuste fino correspondente de LLMs NF4.
  • O artigo não afirma transferibilidade universal para todos os códigos não escalares (por exemplo, quantizadores vetoriais) ou alegações mais amplas sobre grandes modelos sem validação separada.
  • É posicionado como uma solução específica para o cenário de "passagem forward de baixa precisão", distinto de métodos que modificam o código ou usam estimadores de passagem direta.

Em resumo, o CAQ-ZO fornece um método fundamentado teoricamente e validado empiricamente para remover o viés introduzido pelo arredondamento de quantização na otimização de ordem zero, permitindo uma adaptação mais eficaz em memória de LLMs quantizados.