Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

Resumen Técnico: Por qué la Adaptación de Orden Cero Puede Olvidar Menos: Una Teoría de Moldeado Aleatorizado

Enunciado del Problema
El aprendizaje continuo requiere que los modelos se adapten a nuevas tareas sin borrar las capacidades adquiridas de las anteriores. Aunque trabajos empíricos recientes (por ejemplo, ZeroFlow, ZO-FC) sugieren que la optimización de orden cero (ZO) y la adaptación en el paso forward pueden mitigar el olvido más eficazmente que el descenso de primer orden (FO), la visión predominante trata a la ZO meramente como un estimador ruidoso del gradiente FO. Esta perspectiva no explica por qué la ZO podría retener mejor, ya que la precisión de la estimación concierne al gradiente entrante, mientras que el olvido está gobernado por el desplazamiento de parámetros inducido y la curvatura de retención que este expone. El artículo busca aislar el mecanismo local del olvido una vez que se igualan la señal entrante y la escala de adaptación, superando la narrativa de "FO ruidoso" para comprender las propiedades geométricas de la forma de adaptación.

Metodología: Moldeado Aleatorizado del Gradiente
Los autores proponen un marco donde el olvido se analiza como "adaptación moldeada". En lugar de comparar trayectorias de optimización, comparan el funcional de daño cuadrático $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ inducido por diferentes operadores de desplazamiento $\Delta$, donde $H$ representa la curvatura de retención (por ejemplo, el Hessiano de la pérdida histórica).

1. Calibración de ZO: El artículo descompone los estimadores prácticos de diferencias finitas de ZO en tres componentes:
   • Alineación de la Media Cruda: La forma ZO cruda preserva la señal FO en expectativa.
   • Inflación de la Norma: La ZO cruda infla la norma cuadrática esperada de la adaptación.
   • Emparejamiento de Normas: Para garantizar una comparación justa, los autores introducen una forma ZO emparejada en norma $P = \kappa^{-1/2}Z$, donde $Z$ es la matriz de forma cruda y $\kappa$ es un factor de inflación. Esto asegura que $E[\|Pg\|^2] = \|g\|^2$ mientras induce explícitamente un factor de reducción de la media de $\sqrt{q/(q+d+1)}$.
2. Análisis Teórico: Bajo esta comparación emparejada en norma, los autores derivan una identidad exacta para la curvatura de retención moldeada esperada $\bar{H}_q = E[P^\top H P]$. Demuestran que la ZO emparejada en norma no reduce uniformemente la curvatura, sino que preserva el componente isotrópico (la curvatura promedio $\bar{\lambda}I$) mientras contrae el componente anisotrópico (la desviación de la media) por un factor de $(1-\tau)$, donde $\tau = d/(q+d+1)$.
3. Identidad de la Brecha de Olvido: Proyectando esta identidad de curvatura sobre el gradiente entrante $g$, el artículo deriva una brecha de olvido cuadrática precisa entre FO y ZO. La reducción del olvido ocurre si y solo si la dirección FO apunta a través de una región de curvatura de retención superior al promedio ($\lambda > \bar{\lambda}$). En este régimen, la ZO reduce el daño por "exceso de curvatura" mediante una fracción dependiente de la consulta. Por el contrario, si la dirección FO se encuentra en una región de baja curvatura, la ZO puede aumentar el olvido, enmarcando el resultado como un control de riesgo dependiente de la geometría en lugar de una dominancia universal.

Contribuciones Clave

1. Formulación del Olvido Local como Adaptación Moldeada: El artículo reformula la comparación entre FO y ZO como una cuestión de cómo diferentes operadores de forma exponen la curvatura de retención bajo una norma cuadrática de adaptación esperada emparejada, eliminando factores de confusión como el tamaño del paso y la trayectoria.
2. Calibración de ZO de Diferencias Finitas: Separa rigurosamente la alineación de la media cruda, los residuos de suavizado finito, la inflación de la norma cruda y la reducción de la media emparejada en norma, estableciendo un comparador justo para el análisis teórico.
3. Identidad Exacta de Curvatura y Brecha de Olvido: Los autores demuestran que la ZO emparejada en norma preserva el suelo de retención isotrópico mientras contrae el componente anisotrópico. Esto produce una identidad exacta que muestra que la ZO reduce el olvido cuadrático medio precisamente cuando la dirección FO cruza una curvatura de retención superior al promedio.
4. Transferencia Algorítmica (RISE): El artículo introduce RISE (Moldeado Isotrópico Consciente de la Retención para Adaptación de Gradiente Exacto). RISE transfiere el mecanismo de forma ZO calibrado a la adaptación de gradiente exacto. Calcula el gradiente FO exacto mediante retropropagación (eliminando el sesgo de suavizado de diferencias finitas) pero aplica el operador de moldeado aleatorizado emparejado en norma por bloques. Esto permite que el método importe los beneficios de mezcla de curvatura de retención de la ZO, manteniendo al mismo tiempo la señal de plasticidad de los gradientes exactos.

Resultados

• Validación Teórica: En un entorno de pruebas cuadrático, los residuos del operador empírico y las brechas de daño se alinean con las predicciones teóricas ($R^2 = 0.9999$), confirmando que el mecanismo es dependiente de la geometría y que el signo de la brecha de olvido cambia según lo predicho basándose en el exceso de curvatura direccional.
• Aprendizaje Continuo en Visión: En CIFAR100, ImageNet-R y DomainNet utilizando una base ViT-B/16, RISE aplicado al pipeline ZO-FC (reemplazando la ZO de diferencias finitas en el lado de la representación con moldeado de gradiente exacto) mejoró la precisión "Last" (plasticidad) en 0.39–1.39 puntos y redujo "Fgt" (olvido) en 0.28–1.72 puntos en comparación con ZO-FC estándar. Esto demuestra que los gradientes exactos pueden recuperar la plasticidad perdida por la estimación de gradientes mientras mantienen los beneficios de estabilidad de la forma ZO.
• Aprendizaje Continuo en Modelos de Lenguaje: En modelos T5 a través de varios órdenes de tareas (SeqLoRA y O-LoRA), RISE redujo significativamente el olvido (por ejemplo, de 35.57% a 7.01% en un orden SeqLoRA) mientras mantenía la precisión "Last" cercana a la línea base FO. Esto contrasta con la ZO cruda, que a menudo reduce el olvido a costa de una mala plasticidad (puntuaciones "Last" bajas).

Significado y Afirmaciones
El artículo afirma proporcionar el primer mecanismo local controlado por escala que explica por qué la ZO puede olvidar menos, superando la explicación de "FO ruidoso". Establece que el beneficio no es una dominancia uniforme de la ZO sobre la FO, sino una mejora condicional: la ZO actúa como una exposición isotrópica "óptima a ciegas" que protege contra direcciones de alta curvatura cuando la geometría de retención específica es desconocida.

El significado de RISE radica en su capacidad para desacoplar el mecanismo de estabilidad (moldeado aleatorizado) del mecanismo de plasticidad (gradientes exactos). Al aplicar la forma ZO calibrada a gradientes exactos, RISE ofrece una compensación entre estabilidad y plasticidad donde el modelo evita el sesgo de suavizado finito de la ZO práctica mientras aún se beneficia de las propiedades de mezcla de curvatura que reducen la exposición a la retención en regímenes de alta curvatura. El artículo concluye que este mecanismo es más visible cuando la dirección FO tiene una curvatura de retención superior al promedio y cuando el muestreo por bloques permite una realización estable del efecto de moldeado sin la varianza asociada a direcciones aleatorias globales de alta dimensión.