Resumen Técnico: Geometría de Consulta Alineada con Compresor para Optimización de Orden Cero Cuantizada

1. Declaración del Problema

El artículo aborda una limitación fundamental en la Optimización de Orden Cero (ZO) cuando se aplica a modelos de lenguaje grandes (LLM) de baja precisión (cuantizados). Si bien los métodos ZO (como MeZO) permiten una adaptación eficiente en memoria al depender únicamente de pasadas hacia adelante y valores de pérdida escalares, los enfoques existentes luchan cuando el modelo se almacena y consulta en precisión de bajo número de bits (por ejemplo, NF4).

El problema central es una discrepancia de medición causada por la cuantización no uniforme:

• ZO Estándar: Perturba los pesos en el espacio de pesos continuo ($x \pm \mu u$) y mide la diferencia de pérdida.
• ZO Cuantizado: El motor evalúa los extremos redondeados $Q(x \pm \mu u)$.
• El Conflicto: Para cuantizadores de compresión no uniformes (por ejemplo, NF4, ley-$\mu$), las celdas de cuantización no son uniformes. Un radio de perturbación fijo en el espacio de pesos $\mu$ puede:
  1. Colapsar: Caer enteramente dentro de una sola celda de cuantización densa, resultando en una diferencia de pérdida cero (sin señal de gradiente).
  2. Sobrepasar: Cruzar múltiples celdas dispersas, midiendo una secante no local en lugar de un gradiente local.
  3. Desalinearse: Crear una "cuerda redondeada" $Q(x+\mu u) - Q(x-\mu u)$ que no es paralela a la dirección de actualización pretendida $u$.

Esto crea un acoplamiento de perturbación-cuantización en tiempo de consulta, introduciendo un canal de sesgo que distorsiona la dirección de descenso e impide la convergencia a un punto estacionario, incluso si el código en sí mismo es óptimo para la reconstrucción.

2. Metodología: CAQ-ZO

Los autores proponen CAQ-ZO (Consultas Alineadas con Compresor para Optimización de Orden Cero), que desplaza la geometría de consulta del espacio de pesos al espacio de coordenadas del compresor.

Marco Teórico

El artículo modela la cuantización escalar no uniforme como un proceso de compresión-expansión:
$$Q = \phi^{-1} \circ U \circ \phi$$
Donde:

• $\phi$: Un mapa de coordenadas monótono (compresor).
• $U$: Un cuantizador uniforme con espaciado de cuadrícula $\Delta$ en el espacio transformado $z = \phi(x)$.
• $\phi^{-1}$: El mapa de expansión de vuelta al espacio de pesos.

El Algoritmo

En lugar de perturbar $x$ en el espacio de pesos, CAQ-ZO opera en el espacio $z$:

1. Transformación de Coordenadas: Mantener la iteración en la coordenada del compresor $z_t = \phi(x_t)$.
2. Plantilla en la Cuadrícula: Generar perturbaciones directamente en el espacio $z$ utilizando una plantilla de Rademacher de un paso de cuadrícula: $z_t \pm \Delta r$, donde $r \in \{-1, +1\}^d$.
3. Consulta: Mapear los extremos de vuelta al espacio de pesos: $x_{consulta} = \phi^{-1}(z_t \pm \Delta r)$.
4. Medición: Consultar el oráculo de baja precisión. Dado que los extremos $z_t \pm \Delta r$ caen exactamente en la cuadrícula uniforme de $U$, el cuantizador $Q$ actúa como la identidad en los puntos de consulta (no ocurre error de redondeo en los extremos).
5. Actualización: Calcular la estimación del gradiente en el espacio $z$ y actualizar $z_{t+1}$, proyectando el resultado de vuelta sobre la cuadrícula para mantener la invarianza para futuras consultas.

Distinción Clave: CAQ-ZO no cambia el código, el envoltorio del optimizador ni el oráculo hacia adelante. Solo cambia la geometría de la plantilla de diferencias finitas para alinearse con la cuadrícula interna del cuantizador.

3. Contribuciones Clave

El artículo hace cuatro contribuciones principales:

1. Formulación de la Geometría de Consulta: Replantea la ZO cuantizada de un problema de comparación de códigos a un problema de geometría de medición. Aísla el código, la coordenada de consulta, la distribución de direcciones, el radio de suavizado y la alineación de la cuadrícula de extremos como variables de control separadas.
2. Análisis Teórico de la Discrepancia:
   • Teorema 1: Demuestra que ningún radio fijo en el espacio de pesos $\mu$ puede calibrar globalmente celdas no uniformes; el alcance efectivo de la cuadrícula $\rho$ depende de la pendiente local del compresor $\nabla \phi$.
   • Teorema 2: Descompone el error del estimador, mostrando que las consultas en el espacio de pesos estándar incurren en un residuo proporcional a $\Delta^2/\mu^2$ (redondeo de extremos), mientras que CAQ-ZO hace que este residuo en tiempo de consulta sea exactamente cero.
   • Teorema 3 y 4: Proporciona límites de estacionariedad que demuestran que las consultas en el espacio de pesos sufren un suelo residual debido al sesgo de redondeo, mientras que CAQ-ZO logra una convergencia gobernada solo por el sesgo estándar de diferencias finitas y la varianza estocástica.
3. Diseño del Algoritmo: Introduce el algoritmo CAQ-ZO (Algoritmo 1) que utiliza diferencias finitas de Rademacher en la cuadrícula en la coordenada del compresor y hace cumplir la proyección en tiempo de actualización para preservar la alineación de la cuadrícula.
4. Validación Empírica:
   • Experimentos Sintéticos: Aísla el canal de redondeo de extremos, mostrando que CAQ-ZO elimina el canal residual que afecta a las líneas base en el espacio de pesos (ZO Gaussiano Vanilla, QuZO).
   • Ajuste Fino de LLM: Demuestra mejoras en Qwen-2.5-1.5B y Llama-2-7B utilizando cuantización NF4. CAQ-ZO supera a la línea base en el espacio de pesos (QuZO) en múltiples tareas (SST-2, RTE, CB, SQuAD, etc.) bajo el mismo cuantizador y presupuesto de evaluación.

4. Resultados

• Sintéticos: En experimentos sintéticos de alta dimensionalidad ($d=10,000$) con compresores estilo ley-$\mu$ y NF4, CAQ-ZO logra la relación más baja entre la pérdida final y la inicial. Elimina específicamente el "residuo de redondeo de extremos" observado en los métodos en el espacio de pesos, el cual permanece no nulo incluso con iteraciones aumentadas.
• Ajuste Fino de LLM: En experimentos de ajuste fino NF4 coincidentes:
  • CAQ-ZO mejora consistentemente sobre QuZO (la línea base en el espacio de pesos) en todas las métricas para ambos modelos.
  • Las ganancias notables incluyen 18.8/21.4 puntos de precisión en CB y 24.0/28.1 F1 en SQuAD para Qwen y Llama respectivamente.
  • Los resultados confirman que cambiar los extremos de las diferencias finitas (manteniendo el código fijo) mejora el modelo cuantizado entrenado.

5. Significado y Alcance

El artículo afirma que la ZO cuantizada no está determinada únicamente por el código; la interacción entre la plantilla de diferencias finitas y las celdas del cuantizador es igualmente crítica.

• Insight Central: Un código óptimo para la reconstrucción estática (por ejemplo, NF4) puede ser subóptimo para las perturbaciones en el espacio de pesos si la geometría de consulta está desalineada. CAQ-ZO resuelve esto alineando la geometría de consulta con el compresor.
• Modestia de las Afirmaciones: Los autores delimitan explícitamente sus afirmaciones:
  • La teoría se aplica a compresores escalares monótonos (incluyendo NF4 mediante interpolación monótona).
  • La evidencia se limita a experimentos sintéticos controlados y ajuste fino de LLM NF4 coincidente.
  • El artículo no afirma transferibilidad universal a todos los códigos no escalares (por ejemplo, cuantizadores vectoriales) ni afirmaciones más amplias sobre modelos grandes sin validación separada.
  • Se posiciona como una solución específica para el escenario de "pasada hacia adelante de baja precisión", distinto de los métodos que modifican el código o utilizan estimadores de paso directo.

En resumen, CAQ-ZO proporciona un método fundamentado teóricamente y validado empíricamente para eliminar el sesgo introducido por el redondeo de cuantización en la optimización de orden cero, permitiendo una adaptación más efectiva y eficiente en memoria de LLMs cuantizados.