Riepilogo Tecnico: Congelamento Progressivo per Livelli per Reti Binarie Scalabili in Profondità

Problema

L'addestramento delle Reti Neurali Binarie (BNN), in cui sia i pesi che le attivazioni sono vincolati a $\{-1, +1\}$, rimane una sfida, in particolare all'aumentare della profondità della rete. L'approccio di addestramento dominante si basa sull'Estimatore del Gradiente Straight-Through (STE), che sostituisce una funzione segno non differenziabile nel passaggio in avanti con un gradiente surrogato (tipicamente l'identità) nel passaggio all'indietro. Sebbene efficace per reti poco profonde, lo STE soffre di un fondamentale disallineamento tra forward e backward. Man mano che le reti si approfondiscono, questo disallineamento porta a un grave degrado dell'accuratezza.

La letteratura esistente tenta principalmente di mitigare questo problema raffinando lo STE stesso (ad esempio, migliori gradienti surrogati, modellazione del gradiente o scaling appreso). Tuttavia, questi metodi mantengono la struttura centrale di un operatore forward "hard" accoppiato a un passaggio backward surrogato. Questo articolo identifica un diverso asse di fallimento: blocchi del gradiente indotti dalle attivazioni. Nelle BNN complete, una volta che un'attivazione è "congelata" (impegnata in un valore binario netto), la sua derivata diventa zero quasi ovverosimile. Se le attivazioni vengono congelate ad altezze arbitrarie durante l'addestramento, il flusso del gradiente verso gli strati precedenti viene interrotto, impedendo un apprendimento efficace in architetture profonde. Questo problema è specifico per le BNN complete; le Reti con Pesi Binarie (BWN), dove le attivazioni rimangono continue, non soffrono di questo blocco.

Metodologia: StoMPP

Gli autori introducono StoMPP (Stochastic Masked Partial Progressive Binarization), un'impalcatura di addestramento che controlla quando e dove la binarizzazione viene imposta, piuttosto che migliorare il gradiente surrogato stesso.

Meccanismo Core

StoMPP mantiene variabili a valori reali per pesi e pre-attivazioni. Una maschera binaria determina se ogni voce è trattata come discreta (congelata) o continua (non congelata). Il metodo impiega due strategie chiave:

1. Programmazione Progressiva per Livelli (Layerwise Progressive Scheduling): A differenza della quantizzazione progressiva globale (dove i parametri vengono congelati casualmente in tutta la rete), StoMPP congela gli strati sequenzialmente dall'input all'output.

   • Prefisso Congelato (Frozen Prefix): Gli strati da $1$a$\ell-1$ sono completamente binarizzati.
   • Strato di Transizione (Transition Layer): Lo strato $\ell$ è parzialmente congelato, evolvendo da continuo a binario.
   • Suffisso Non Congelato (Unfrozen Suffix): Gli strati da $\ell+1$ a $N$ rimangono completamente continui.
   • Razionale: Ciò assicura che lo strato attualmente in fase di binarizzazione abbia sempre un suffisso a valle non congelato, preservando un percorso di gradiente valido verso la funzione di perdita. Questo previene i blocchi del gradiente causati dal congelamento precoce delle attivazioni a valle.

2. Congelamento Parziale Mascherato Stocastico con Soft Refresh: All'interno dello strato di transizione, la maschera non è impostata in modo deterministico. Invece, una frazione $p(\tau)$ di voci è congelata secondo uno schema (ad esempio, cubico). Fondamentalmente, l'insieme congelato subisce un "soft-refresh" ad ogni step: un piccolo sottoinsieme di indici ($1/r$) viene ricampionato da una distribuzione di Bernoulli. Questo evita l'impegno prematuro verso una specifica configurazione congelata e permette al modello di adattarsi al pattern binario emergente.

Gestione del Gradiente

Il metodo è agnostico rispetto al trattamento del gradiente per le voci congelate, supportando due regimi:

• StoMPP senza STE (STE-free): Le voci congelate ricevono gradiente zero ($Surr(u) = 0$). Questo fornisce una procedura di addestramento completamente priva di STE.
• StoMPP+STE: Le voci congelate ricevono un gradiente identità STE standard ($Surr(u) = 1$). Questo combina la struttura progressiva con i gradienti surrogati.

Gli autori conducono studi di ablazione nel regime STE-free per isolare il contributo dell'ordine di progressione dai benefici dei gradienti surrogati.

Contributi Chiave

1. Framework StoMPP: Una procedura di congelamento progressivo per livelli con maschera stocastica e soft refresh. Supporta sia l'addestramento completamente STE-free che l'addestramento ibrido con STE sulle voci congelate.
2. Ruolo Decisivo dell'Ordine di Progressione: L'articolo stabilisce che, per le BNN complete, l'ordine di binarizzazione è critico.
   • Progressione Forward (Input $\to$ Output): Ha successo su reti profonde.
   • Progressione Reverse (Output $\to$ Input): Causa un collasso catastrofico verso prestazioni vicine al caso.
   • Ordinamento Globale: Degrada significativamente con la profondità.
   • Insensibilità delle BWN: Le reti con pesi binari sono ampiamente insensibili all'ordinamento, confermando che il modo di fallimento è specifico per le attivazioni binarie che bloccano i gradienti.
3. Analisi della Dinamica di Addestramento: Gli autori caratterizzano le dinamiche di addestramento, notando un pattern di convergenza "a denti di sega" dove l'accuratezza scende quando un nuovo strato entra nella fase di congelamento e si recupera mentre il suffisso non congelato si adatta. Dimostrano che la programmazione per livelli è robusta alla forma dello schema e ai tassi di refresh, a differenza della programmazione globale.

Risultati Sperimentali

La valutazione utilizza un protocollo controllato con una ricetta di addestramento minima (learning rate costante, nessun weight decay) per isolare l'effetto della regola di binarizzazione.

• Scalabilità della Profondità: Su BNN ResNet-50, le prestazioni del vanilla STE scendono significativamente all'aumentare della profondità (ad esempio, dal 41,9% su ResNet-18 al 30,8% su ResNet-50 su ImageNet).
  • StoMPP (STE-free): Migliora rispetto al vanilla STE di +18,0% (CIFAR-10), +13,5% (CIFAR-100) e +3,8% (ImageNet) su ResNet-50.
  • StoMPP+STE: Ottiene guadagni ancora superiori, migliorando rispetto al vanilla STE di +27,1% (CIFAR-10), +19,8% (CIFAR-100) e +17,7% (ImageNet) su ResNet-50.
• Generalizzazione: Il pattern si mantiene su ResNet-18/34, MobileNetV2 e fine-tuning di BERT su SST-2. Notevolmente, su SST-2, il vanilla STE collassa vicino al caso (50,9%), mentre StoMPP+STE raggiunge l'82,8%.
• Ablazioni:
  • Ordinamento: L'ordinamento reverse per livelli causa il collasso delle BNN (ad esempio, 8,6% su CIFAR-100 ResNet-50), mentre l'ordinamento forward mantiene le prestazioni.
  • Iperparametri: Il metodo è robusto alla scelta dello schema (cubico, lineare, ecc.) e del tasso di refresh, purché venga utilizzata la progressione per livelli.
  • Architetture: StoMPP si trasferisce ad architetture specifiche per binarizzazione come Bi-Real Net senza modifiche, sebbene le interazioni di fine-tuning varino.

Significato e Rivendicazioni

L'articolo sostiene che il collo di bottiglia primario nell'addestramento di BNN profonde non è la qualità del gradiente surrogato, ma il tempo e la posizione della binarizzazione. Imponendo una progressione per livelli in avanti, StoMPP previene la formazione di blocchi del gradiente indotti dalle attivazioni che interrompono i segnali di apprendimento nelle reti profonde.

Gli autori sottolineano che questo è un approccio ortogonale al miglioramento di STE; cambia l'impalcatura di addestramento piuttosto che l'estimatore del gradiente. I risultati suggeriscono che il "collasso di profondità" osservato nelle BNN è una conseguenza strutturale dei blocchi del gradiente, che possono essere mitigati garantendo un percorso di gradiente continuo attraverso gli strati a valle non congelati durante il processo di binarizzazione. Il metodo è presentato come una procedura di addestramento che può essere combinata con i miglioramenti architettonici esistenti o con le tecniche di gradiente surrogato, offrendo una via per reti profonde completamente binarie e scalabili.