Zero-order Parameter-free Optimization for LMO-based Methods: Novel Approach for Efficient Fine-tuning

Resumen Técnico: Optimización Libre de Parámetros de Orden Cero para Métodos Basados en LMO

Planteamiento del Problema
El ajuste fino (fine-tuning) de Modelos de Lenguaje Extensos (LLMs) es una aplicación central de la optimización moderna, pero enfrenta un cuello de botella crítico: la sobrecarga de memoria de la retropropagación (backpropagation). Almacenar activaciones intermedias, gradientes y estados del optimizador para modelos como OPT-1.3B requiere una memoria sustancial (por ejemplo, ~25 GB), lo que limita la escalabilidad. La optimización de orden cero (ZO) ofrece una alternativa eficiente en memoria al reemplazar los cálculos de gradiente con estimaciones de diferencia finita derivadas de consultas de valores de función. Sin embargo, los métodos ZO existentes sufren dos limitaciones primarias:

1. Sensibilidad a los Hiperparámetros: El rendimiento depende altamente del tamaño de paso (stepsize) y del parámetro de suavizado ($\tau$). Las configuraciones óptimas requieren típicamente el conocimiento de constantes dependientes del problema (por ejemplo, constantes de Lipschitz, distancia al óptimo) que no están disponibles en la práctica, lo que requiere búsquedas de cuadrícula (grid searches) costosas y específicas para cada tarea.
2. Desajuste Geométrico: Las actualizaciones euclidianas estándar pueden no capturar la estructura heterogénea de los bloques de parámetros (por ejemplo, pesos con forma de matriz en los LLMs). Los métodos que utilizan Oráculos de Minimización Lineal (LMOs) pueden adaptarse a geometrías no euclidianas (como las normas espectrales para matrices), pero la combinación de esto con la adaptación libre de parámetros (PF) en un entorno ZO permanece inexplorada.

Metodología
Los autores proponen AdaNAGED (ADAptive Norm-Agnostic Gradient-frEe Descent), un nuevo algoritmo que unifica tres paradigmas: optimización de orden cero eficiente en memoria, adaptación libre de parámetros y actualizaciones conscientes de la geometría mediante LMOs.

• Estimación Libre de Parámetros:

  • Suavidad ($L$): En lugar de requerir una constante de Lipschitz previa, el método estima la suavidad local de forma iterativa a lo largo de la trayectoria de optimización. Calcula la razón entre la diferencia en las aproximaciones de gradiente ZO y la distancia entre iteraciones consecutivas: $L_t = \|g_t(x_{t+1}, e_t)_* / \|x_{t+1} - x_t\|$. Crucialmente, se utiliza la misma dirección de perturbación $e_t$ (almacenada como una semilla aleatoria) en ambos puntos para mantener la eficiencia de memoria.
  • Brecha Inicial ($\Delta$): El método utiliza un límite inferior conocido de la función objetivo ($f_{min}$) para estimar la brecha inicial $\Delta \leq f(x_0) - f_{min}$, evitando la necesidad de conocer la distancia al óptimo.
  • Tamaño de Paso Adaptativo: El tamaño de paso $\gamma_t$ se actualiza utilizando una acumulación de estilo AdaGrad-Norm de las estimaciones de suavidad local ($S_t = S_{t-1} + L_t$), resultando en $\gamma_t \propto 1/\sqrt{S_t}$.
  • Parámetro de Suavizado ($\tau$): Para garantizar la estabilidad, $\tau_t$ se escala linealmente con el tamaño de paso ($\tau_t = \rho C_2 \gamma_t$), derivado de los requisitos teóricos de la prueba de convergencia.

• Actualizaciones Basadas en LMO:
  El algoritmo define las actualizaciones mediante un Oráculo de Minimización Lineal sobre una bola de norma: $v_t = \text{lmo}(g_t)$. Esto permite al método adaptarse a diferentes geometrías:

  • Geometría de Vectores: El uso de la norma $\ell_\infty$ produce una actualización similar a Sign-SGD.
  • Geometría de Matrices: El uso de la norma espectral produce una actualización similar a Muon. Dado que la descomposición polar exacta (SVD) es computacionalmente costosa, los autores introducen AdaMuGED, que aproxima el operador polar utilizando unos pocos pasos de la iteración de Newton–Schulz (N-SS), evitando la inversión de matrices.

Contribuciones Clave

1. Nueva Construcción ZO Libre de Parámetros: El artículo introduce un método para estimar la suavidad local y establecer tamaños de paso en el entorno de orden cero sin conocimiento previo de las constantes del problema. Esto preserva la eficiencia de memoria de ZO al almacenar únicamente las semillas generadoras para las direcciones de perturbación.
2. Unificación de Paradigmas: El algoritmo propuesto AdaNAGED combina optimización de orden cero eficiente en memoria, dependencia reducida de hiperparámetros y actualizaciones conscientes de la geometría mediante LMOs.
3. Garantías de Convergencia: Los autores establecen tasas de convergencia para objetivos Lipschitz continuos, suaves y convexos. La tasa resultante es asintóticamente óptima ($O(1/\epsilon^2)$), con factores adicionales que contabilizan la estimación libre de parámetros y la estocasticidad.
4. Variantes Prácticas: La introducción de AdaMuGED extiende el marco a parámetros con valores de matriz utilizando iteraciones de Newton–Schulz, haciéndolo aplicable al ajuste fino de LLMs donde los parámetros están estructurados como matrices.

Resultados Experimentales
Los métodos fueron evaluados mediante el ajuste fino del modelo OPT-1.3B en la tarea de clasificación de sentimiento SST-2, un benchmark para la adaptación de LLMs con restricciones de memoria.

• Líneas Base (Baselines): Los autores compararon contra optimizadores de orden cero ajustados: ZO-AdaMM, ZO-SignSGD y ZO-Muon.
• Rendimiento:
  • AdaNAGED (similar a SignSGD) alcanzó una precisión de 0.903, situándose a 0.7 puntos porcentuales de la precisión de ZO-SignSGD ajustado (0.910).
  • AdaMuGED (similar a Muon) alcanzó una precisión de 0.908, reduciendo la brecha con ZO-SignSGD ajustado a 0.2 puntos porcentuales y superando a AdaNAGED por 0.5 puntos porcentuales.
  • El ZO-Muon ajustado siguió siendo la línea base más fuerte con 0.921, confirmando el beneficio de la geometría consciente de matrices.
• Conclusión: Los métodos libres de parámetros demostraron un rendimiento competitivo frente a las líneas base ajustadas manualmente, validando que las reglas adaptativas pueden recuperar gran parte del rendimiento de los métodos ZO ajustados sin una búsqueda de hiperparámetros costosa.

Significancia
El artículo afirma presentar el primer método que opera en la intersección de la optimización de Orden Cero, Libre de Parámetros y de Oráculo de Minimización Lineal. Su significancia radica en demostrar que:

1. Eficiencia de Memoria: La optimización de orden cero puede hacerse práctica para los LLMs evitando la retropropagación.
2. Automatización: La dependencia de la costosa sintonización de hiperparámetros específicos de la tarea puede eliminarse mediante la estimación adaptativa y libre de parámetros de la suavidad y los tamaños de paso.
3. Flexibilidad Geométrica: El marco soporta actualizaciones no euclidianas (vía LMOs) que se alinean con las propiedades estructurales de los parámetros del modelo (por ejemplo, matrices), mejorando el condicionamiento y la estabilidad.

Los autores mantienen una postura modesta, señalando que, si bien su enfoque libre de parámetros es competitivo, las líneas base ajustadas (particularmente ZO-Muon) aún mantienen una ligera ventaja, lo que sugiere que el ajuste manual sigue siendo óptimo, pero que el método propuesto ofrece una alternativa robusta y automatizada.