Sintesi Tecnica: Il Bordo della Stabilità Modella Selettivamente l'Apprendimento attraverso la Distribuzione dei Dati

1. Definizione del Problema

La letteratura esistente sul Bordo della Stabilità (Edge of Stability, EoS) tratta il fenomeno principalmente come una proprietà globale dell'ottimizzazione, dove l'autovalore superiore dell'Hessiana si auto-stabilizza vicino alla soglia $2/\eta$ (dove $\eta$ è il tasso di apprendimento). Sebbene la dinamica di questo regime — caratterizzata da oscillazioni con segno alternato e un lento drift correttivo — sia ben documentata, le conseguenze funzionali dell'operare a questa soglia rimangono poco chiare. Nello specifico, non è noto se il vincolo di stabilità fornisca un beneficio uniforme o se modelli l'apprendimento in modo differenziato tra diversi sottoinsiemi dei dati di addestramento. La domanda centrale è: Il regime EoS induce un bias di apprendimento selettivo e, in caso affermativo, quali proprietà geometriche e dinamiche determinano quali sottoinsiemi di dati ne beneficiano?

2. Metodologia

2.1 Setup Sperimentale e Tassonomia dei Prototipi

Gli autori istanziano un framework sperimentale controllato utilizzando un compito di classificazione binaria su CIFAR-10 (Automobile vs. Truck) con un MLP a due strati nascosti addestrato con gradient descent a batch completo. Per isolare gli effetti della geometria dei dati, definiscono una tassonomia dei prototipi che partiziona la distribuzione di addestramento in quattro gruppi basati sulla loro posizione rispetto ai centroidi delle classi ($\mu_c$) e alla coerenza delle etichette, indipendentemente dal modello addestrato:

1. Inliers: Punti ad alta densità vicino al centroide della classe con etichette corrette.
2. Boundary (Confine): Punti in-distribuzione vicino al confine inter-classe (alta ambiguità di etichetta).
3. Input-outliers: Input geometricamente atipici (lontani da $\mu_c$) con etichette corrette.
4. Output-outliers: Input ad alta densità assegnati etichette errate (costruiti sinteticamente).

2.2 Intervento di Branching (Identificazione Causale)

Per identificare causalmente l'effetto del rimanere nel regime EoS rispetto all'uscirne, gli autori impiegano un intervento di branching:

• Baseline Branch: Continua l'addestramento con il tasso di apprendimento originale $\eta$, rimanendo nel regime EoS.
• Exit Branch: All'inizio dell'EoS (rilevata quando l'autovalore superiore dell'Hessiana $\lambda_1$ raggiunge $2/\eta$), il tasso di apprendimento viene dimezzato ($\eta \to \eta/2$). Questo eleva la soglia di stabilità a $4/\eta$, permettendo all'ottimizzatore di uscire dal regime EoS.
• Confronto: Confrontando la divergenza nelle perdite per gruppo ($\ell_k$) tra i due rami post-intervento, gli autori isolano l'impatto causale del vincolo di stabilità EoS.

2.3 Isolamento del Meccanismo

Gli autori testano due condizioni necessarie ipotizzate affinché un sottoinsieme benefici dell'EoS:

1. Allineamento Direzionale: Il gradiente aggregato del sottoinsieme deve allinearsi con l'autovettore superiore dell'Hessiana ($v_1$). Questo viene testato costruendo input-outlier a "direzione casuale" dove la distanza di spostamento è preservata, ma la direzione è randomizzata, distruggendo l'allineamento coerente.
2. Persistenza del Gradiente: Il sottoinsieme deve sostenere un modulo di gradiente non nullo. Questo viene testato confrontando la perdita MSE (Mean Squared Error, dove i gradienti persistono) rispetto alla perdita CE (Cross-Entropy, dove i gradienti svaniscono per punti classificati con alta confidenza).

3. Risultati Chiave

3.1 Trade-off dell'Apprendimento Selettivo

L'intervento di branching rivela che l'EoS è selettivo, non globale. Il vincolo di stabilità ridistribuisce lo sforzo di ottimizzazione in modo disomogeneo:

• Beneficiari: I sottoinsiemi i cui gradienti si allineano con $v_1$ e persistono (ad esempio, input-outliers sotto MSE, output-outliers sotto CE) mostrano una riduzione accelerata della perdita nel ramo EoS rispetto al ramo di uscita.
• Soppressori: I sottoinsiemi con gradienti ortogonali o moduli evanescenti (ad esempio, inliers e punti di confine in specifiche condizioni) mostrano un progresso soppresso nel ramo EoS rispetto al ramo di uscita.
• Questo trade-off si replica attraverso architetture (CNN, ResNet), ottimizzatori (SGD, Momentum) e coppie di classi.

3.2 Meccanismo: Allineamento $\times$ Persistenza

Due condizioni sono congiuntamente necessarie affinché un gruppo catturi il vantaggio dell'EoS:

1. Allineamento: Il gradiente aggregato del gruppo deve allinearsi con l'autovettore superiore dell'Hessiana ($v_1$).
   • Evidenza: Quando gli input-outlier vengono spostati in direzioni casuali (preservando la distanza ma distruggendo l'allineamento), la loro influenza di curvatura $(\nabla \ell_k \cdot v_1)^2$ crolla di un ordine di grandezza, e il vantaggio dell'EoS scompare.
2. Persistenza: Il gruppo deve mantenere un modulo di gradiente non nullo.
   • Evidenza: Sotto la perdita Cross-Entropy (CE), i gradienti per gli input-outlier classificati con alta confidenza saturano (svaniscono). Di conseguenza, il vantaggio dell'EoS si sposta verso gli output-outliers, i cui gradienti rimangono attivi a causa dell'incoerenza delle etichette, nonostante un potenziale minore allineamento.

3.3 La Geometria Determina il Beneficiario

Il sottoinsieme che beneficia dell'EoS è determinato dalla composizione geometrica della distribuzione dei dati:

• Nella configurazione standard di CIFAR-10, gli input-outliers (più lontani dai centroidi) dominano $v_1$ e ne beneficiano.
• In una coppia di classi più difficile (Gatto vs. Cane) o con diversi parametri di costruzione degli outlier, i punti di confine possono diventare il gruppo più distante, dominando $v_1$ e diventando il principale beneficiario.
• Dati Naturali: Sulla distribuzione naturale di CIFAR-10, emerge una correlazione positiva all'inizio dell'EoS tra la distanza dal centroide e l'allineamento con $v_1$, confermando che gli outlier geometrici guidano naturalmente il modo instabile.

3.4 Implicazioni sulla Generalizzazione e Robustezza

Il documento presenta prove preliminari che la selettività durante l'addestramento si trasferisce al comportamento durante il test:

• Robustezza Avversaria: L'EoS migliora la robustezza sui punti di confine solo quando i punti di confine dominano $v_1$. Se gli input-outlier dominano, il ramo EoS performa peggio sulla robustezza dei confini perché il budget di ottimizzazione viene deviato.
• Generalizzazione Out-of-Distribution (OOD): L'EoS migliora la performance OOD sugli input estrapolati solo quando tali input dominano $v_1$ durante l'addestramento.

4. Framework Teorico

Gli autori estendono il framework di auto-stabilizzazione (Damian et al., 2023) dalla perdita globale alla perdita per sottoinsieme. Derivano che il drift mediato sul ciclo nel regime EoS include un termine aggiuntivo proporzionale a $-\nabla S$ (dove $S$ è la nitidezza/sharpness). L'effetto differenziale su un sottoinsieme $k$ è governato dal selettore:
$$Q_k = \langle \nabla \ell_k, \nabla S \rangle$$
Sotto un'approssimazione a singolo modo, questo selettore è proporzionale al quadrato della proiezione del gradiente del sottoinsieme sull'autovettore superiore:
$$C_k = (\nabla \ell_k \cdot v_1)^2 = \|\nabla \ell_k\|^2 \cos^2 \theta_k$$
Questa decomposizione conferma che sia l'allineamento direzionale ($\cos^2 \theta_k$) che la persistenza del modulo del gradiente ($\|\nabla \ell_k\|^2$) sono richiesti affinché un sottoinsieme sperimenti il drift dell'EoS.

5. Significato e Rivendicazioni

Il lavoro sostiene che l'EoS sposti la comprensione della stabilità da un limite scalare di stabilità a un meccanismo che governa l'allocazione dell'apprendimento attraverso la distribuzione dei dati.

• Riformulazione della Flatness (Piattezza): Gli autori sostengono che la "flatness" non è una proprietà scalare della soluzione, ma una proprietà direzionale determinata dalla geometria dei dati. Il beneficio funzionale della bassa curvatura dipende interamente da quale sottoinsieme domina la direzione dell'autovettore superiore.
• Bias Induttivo: L'EoS agisce come un bias induttivo che seleziona specifici sottoinsiemi per l'ottimizzazione in base al loro rapporto geometrico con il modo instabile, piuttosto che limitarsi a selezionare tra minimizzatori equivalenti.
• Unificazione delle Prospettive: Il lavoro connette la regolarizzazione implicita nello spazio dei parametri (vincoli di curvatura) con il bias induttivo sulla distribuzione dei dati (quali esempi vengono appresi).
• Ambito Limitato: Gli autori riconoscono i limiti, notando che gli esperimenti sono limitati a modelli piccoli e addestramento a batch completo a causa del costo computazionale dei prodotti Hessiana-vettore. Affermano che resta da verificare se questi effetti di selettività persistano per dataset più grandi, ottimizzatori a mini-batch o prototipi nello spazio delle rappresentazioni.

In conclusione, il paper dimostra che il Bordo della Stabilità è un regime selettivo in cui il vincolo di stabilità amplifica l'apprendimento per i sottoinsiemi che si allineano con l'autovettore superiore dell'Hessiana e vi persistono, mentre lo sopprime altri, modellando così fondamentalmente le proprietà funzionali del modello.