Why Zeroth-Order Adaptation May Forget Less: A Randomized Shaping Theory

Sintesi Tecnica: Perché l'Adattamento del Secondo Ordine Zero Può Dimenticare Meno: Una Teoria della Modellizzazione Randomizzata

Enunciato del Problema
L'apprendimento continuo richiede che i modelli si adattino a nuovi compiti senza cancellare le capacità acquisite da quelli precedenti. Sebbene recenti lavori empirici (ad es. ZeroFlow, ZO-FC) suggeriscano che l'ottimizzazione del secondo ordine zero (ZO) e l'adattamento nel passaggio in avanti possano mitigare l'oblio più efficacemente della discesa del primo ordine (FO), la visione prevalente tratta la ZO semplicemente come un estimatore rumoroso del gradiente FO. Questa prospettiva non riesce a spiegare perché la ZO potrebbe mantenere meglio, poiché l'accuratezza dell'estimazione riguarda il gradiente in ingresso, mentre l'oblio è governato dallo spostamento parametrico indotto e dalla curvatura di ritenzione che esso espone. Il documento mira a isolare il meccanismo locale dell'oblio dopo che il segnale in ingresso e la scala di adattamento sono stati abbinati, andando oltre la narrazione della "FO rumorosa" per comprendere le proprietà geometriche della forma dell'adattamento.

Metodologia: Modellizzazione Randomizzata del Gradiente
Gli autori propongono un framework in cui l'oblio è analizzato come "adattamento modellizzato". Invece di confrontare le traiettorie di ottimizzazione, confrontano il funzionale di danno quadratico $Q(\Delta) = \frac{1}{2}\Delta^\top H \Delta$ indotto da diversi operatori di spostamento $\Delta$, dove $H$ rappresenta la curvatura di ritenzione (ad es. l'Hessiana della perdita storica).

1. Calibrazione della ZO: Il documento scompone gli estimatori pratici ZO a differenze finite in tre componenti:
   • Allineamento della Media Grezza: La forma grezza ZO preserva il segnale FO in aspettativa.
   • Inflazione della Norma: La ZO grezza inflaziona la norma quadratica attesa dell'adattamento.
   • Corrispondenza della Norma: Per garantire un confronto equo, gli autori introducono una forma ZO corrispondente alla norma $P = \kappa^{-1/2}Z$, dove $Z$ è la matrice della forma grezza e $\kappa$ è un fattore di inflazione. Ciò garantisce $E[\|Pg\|^2] = \|g\|^2$ inducendo esplicitamente un fattore di contrazione della media di $\sqrt{q/(q+d+1)}$.
2. Analisi Teorica: Sotto questo confronto corrispondente alla norma, gli autori derivano un'identità esatta per la curvatura di ritenzione modellizzata attesa $\bar{H}_q = E[P^\top H P]$. Dimostrano che la ZO corrispondente alla norma non contrae uniformemente la curvatura, ma preserva la componente isotropa (la curvatura media $\bar{\lambda}I$) contraendo al contempo la componente anisotropa (la deviazione dalla media) di un fattore $(1-\tau)$, dove $\tau = d/(q+d+1)$.
3. Identità del Divario di Oblio: Proiettando questa identità di curvatura sul gradiente in ingresso $g$, il documento deriva un preciso divario quadratico di oblio FO–ZO. La riduzione dell'oblio si verifica se e solo se la direzione FO punta attraverso una regione di curvatura di ritenzione superiore alla media ($\lambda > \bar{\lambda}$). In questo regime, la ZO riduce il danno da "eccesso di curvatura" di una frazione dipendente dalla query. Viceversa, se la direzione FO si trova in una regione a bassa curvatura, la ZO può aumentare l'oblio, inquadrando il risultato come un controllo del rischio dipendente dalla geometria piuttosto che come un dominio universale.

Contributi Chiave

1. Formulazione dell'Oblio Locale come Adattamento Modellizzato: Il documento riformula il confronto tra FO e ZO come una questione di come diversi operatori di forma espone la curvatura di ritenzione sotto una norma quadratica attesa di adattamento abbinata, rimuovendo fattori confondenti come la dimensione del passo e la traiettoria.
2. Calibrazione della ZO a Differenze Finite: Separa rigorosamente l'allineamento della media grezza, i residui di smoothing finito, l'inflazione della norma grezza e la contrazione della media corrispondente alla norma, stabilendo un comparatore equo per l'analisi teorica.
3. Identità Esatta della Curvatura e Divario di Oblio: Gli autori dimostrano che la ZO corrispondente alla norma preserva il pavimento di ritenzione isotropo contraendo al contempo la componente anisotropa. Ciò produce un'identità esatta che mostra che la ZO riduce l'oblio quadratico medio precisamente quando la direzione FO attraversa una curvatura di ritenzione superiore alla media.
4. Trasferimento Algoritmico (RISE): Il documento introduce RISE (Modellizzazione Isotropa Consapevole della Ritenzione per Adattamento a Gradiente Esatto). RISE trasferisce il meccanismo di forma ZO calibrato all'adattamento a gradiente esatto. Calcola il gradiente FO esatto tramite backpropagation (rimuovendo il bias di smoothing delle differenze finite) ma applica l'operatore di modellizzazione randomizzato corrispondente alla norma blocco per blocco. Ciò permette al metodo di importare i benefici del mescolamento della curvatura di ritenzione della ZO mantenendo il segnale di plasticità dei gradienti esatti.

Risultati

• Validazione Teorica: In una sabbia quadratica, i residui operatori empirici e i divari di danno si allineano con le previsioni teoriche ($R^2 = 0.9999$), confermando che il meccanismo è dipendente dalla geometria e che il segno del divario di oblio cambia come previsto in base all'eccesso di curvatura direzionale.
• Apprendimento Continuo Visivo: Su CIFAR100, ImageNet-R e DomainNet utilizzando un backbone ViT-B/16, RISE applicato alla pipeline ZO-FC (sostituendo la ZO a differenze finite lato rappresentazione con una modellizzazione a gradiente esatto) ha migliorato l'accuratezza "Last" (plasticità) di 0,39–1,39 punti e ridotto il "Fgt" (oblio) di 0,28–1,72 punti rispetto alla ZO-FC standard. Ciò dimostra che i gradienti esatti possono recuperare la plasticità persa a causa dell'estimazione del gradiente mantenendo al contempo i benefici di stabilità della forma ZO.
• Apprendimento Continuo di Modelli Linguistici: Su modelli T5 attraverso varie sequenze di compiti (SeqLoRA e O-LoRA), RISE ha ridotto significativamente l'oblio (ad es. dal 35,57% al 7,01% in una sequenza SeqLoRA) mantenendo l'accuratezza "Last" vicina alla baseline FO. Ciò contrasta con la ZO grezza, che spesso riduce l'oblio a scapito di una scarsa plasticità (punteggi "Last" bassi).

Significato e Affermazioni
Il documento afferma di fornire il primo meccanismo locale controllato per scala che spiega perché la ZO possa dimenticare meno, andando oltre la spiegazione della "FO rumorosa". Stabilisce che il beneficio non è un dominio uniforme della ZO sulla FO, ma un miglioramento condizionale: la ZO agisce come un'esposizione isotropa "ottimale alla cieca" che protegge dalle direzioni ad alta curvatura quando la geometria specifica di ritenzione è sconosciuta.

Il significato di RISE risiede nella sua capacità di disaccoppiare il meccanismo di stabilità (modellizzazione randomizzata) dal meccanismo di plasticità (gradienti esatti). Applicando la forma ZO calibrata ai gradienti esatti, RISE offre un compromesso stabilità-plasticità in cui il modello evita il bias di smoothing finito della ZO pratica beneficiando al contempo delle proprietà di mescolamento della curvatura che riducono l'esposizione alla ritenzione nei regimi ad alta curvatura. Il documento conclude che questo meccanismo è più visibile quando la direzione FO ha una curvatura di ritenzione superiore alla media e quando il campionamento blocco per blocco permette una realizzazione stabile dell'effetto di modellizzazione senza la varianza associata alle direzioni randomiche globali ad alta dimensionalità.