Riepilogo Tecnico: SURGE: Adattamento del Gradiente Surrogato nelle Reti Neurali Binarie

1. Enunciato del Problema

L'addestramento delle Reti Neurali Binarie (BNN) si basa sull'approssimazione dei gradienti per operazioni di binarizzazione non differenziabili, come la funzione segno. Lo standard prevalente, lo Stimatore Straight-Through (STE), sostituisce il gradiente nullo della funzione segno con la derivata della funzione identità durante la retropropagazione. Tuttavia, STE e le sue varianti soffrono di due limitazioni critiche:

1. Disallineamento del Gradiente: L'approssimazione del gradiente a valore fisso introduce un bias di stima e instabilità nell'ottimizzazione, poiché il gradiente reale della funzione segno è nullo quasi ovunque.
2. Perdita di Informazioni tramite Clipping: Per migliorare l'accuratezza, STE impiega tipicamente un clipping del gradiente a intervallo fisso (ad esempio, preservando i gradienti solo per gli input nell'intervallo $[-1, 1]$). Ciò scarta le informazioni sui gradienti per i valori esterni a questo intervallo, portando a un addestramento subottimale, in particolare per la quantizzazione delle attivazioni.

I metodi esistenti spesso si affidano a design euristici manuali (ad esempio, polinomi a tratti o funzioni di attivazione specifiche) per mitigare questi problemi, ma non garantiscono un'approssimazione del gradiente ottimale né affrontano il disallineamento fondamentale tra il passaggio in avanti binario e il flusso continuo del gradiente.

2. Metodologia: SURGE

Il documento propone SURrogate GradiEnt Adaptation (SURGE), un framework di compensazione del gradiente apprendibile progettato per correggere il disallineamento del gradiente senza alterare l'output del passaggio in avanti o introdurre sovraccarichi durante l'inferenza. SURGE è composto da due componenti principali:

2.1 Compensatore del Gradiente a Doppio Percorso (DPGC)

Il DPGC affronta il disallineamento del gradiente costruendo un ramo ausiliario parallelo a piena precisione per ogni strato binarizzato (il ramo principale).

• Architettura: Per uno strato binarizzato con output $f_b(x)$, il DPGC introduce un ramo a piena precisione con output $f_a(x)$. L'output finale dello strato è sintetizzato come:
  $$\text{output} = f_b(x) - \text{detach}(f_{ao}(x)) + f_{ao}(x)$$
  dove $f_{ao}(x) = \lambda f_a(x)$ è un calcolo a piena precisione scalato, e $\text{detach}(\cdot)$ blocca il flusso del gradiente dal termine sottratto.
• Meccanismo: Durante il passaggio in avanti, l'output rimane identico a una BNN standard. Durante la retropropagazione, il flusso del gradiente viene disaccoppiato in due percorsi:
  1. Percorso Binario: Fornisce il gradiente surrogato STE standard ($g_b$).
  2. Percorso Ausiliario: Fornisce un gradiente a piena precisione ($g_a$) che cattura termini di ordine superiore e compensa le informazioni perse a causa dell'approssimazione del primo ordine e del clipping dello STE.
• Risultato: Il ramo ausiliario inietta "gradienti di compensazione" per recuperare le regioni tagliate e ridurre il bias, mentre l'output in avanti rimane invariato. Dopo l'addestramento, il ramo ausiliario viene scartato.

2.2 Scalatore Adattivo del Gradiente (AGS)

Per prevenire che i gradienti di grande magnitudine provenienti dal percorso ausiliario a piena precisione destabilizzino la convergenza del ramo binario principale, SURGE introduce uno Scalatore Adattivo del Gradiente.

• Bilanciamento Dinamico: L'AGS bilancia dinamicamente i contributi dei gradienti binari e ausiliari utilizzando un fattore di scala basato sulla norma $\lambda_{AGS}$:
  $$\lambda_{AGS} = \eta \frac{\|g_b\|_2}{\|g_a\|_2 + \epsilon}$$
  dove $\eta$ è un coefficiente di scala di base e $\epsilon$ è un stabilizzatore.
• Base Teorica: Il fattore di scala è derivato da un'analisi teorica (Teorema 5.3) volta a minimizzare l'errore quadratico medio tra il gradiente composito e un gradiente di riferimento ideale. L'approssimazione del rapporto delle norme garantisce che il gradiente binario domini la direzione di aggiornamento, mentre il gradiente ausiliario fornisce una compensazione consapevole della magnitudine.

3. Contributi Chiave

1. Framework SURGE: Una strategia di compensazione del gradiente innovativa che impiega un Compensatore del Gradiente a Doppio Percorso per affrontare il disallineamento del gradiente nelle BNN. Preserva l'efficienza di inferenza standard delle BNN scartando il ramo ausiliario dopo l'addestramento.
2. Scalatore Adattivo del Gradiente (AGS): Un meccanismo che equilibra dinamicamente i contributi dei gradienti dai rami binari e ausiliari basandosi su un fattore di scala ottimale derivato teoricamente, garantendo un addestramento stabile.
3. Prestazioni all'Avanguardia: Numerosi esperimenti dimostrano che SURGE ottiene prestazioni superiori in compiti di classificazione di immagini, rilevamento di oggetti e comprensione del linguaggio rispetto ai metodi esistenti.

4. Risultati Sperimentali

Gli autori hanno valutato SURGE su quattro benchmark standard:

• Classificazione di Immagini (CIFAR-10): SURGE ha superato tutti i metodi all'avanguardia (SOTA), inclusi ReCU, IR-Net e RBNN, su backbones ResNet-18, ResNet-20 e VGG-Small. Ad esempio, su ResNet-18, SURGE ha raggiunto un'accuratezza Top-1 del 93.1%, superando ReCU (92.8%).
• Classificazione di Immagini (ImageNet-1K):
  • Addestramento in una Fase: ResNet-18 addestrato con SURGE ha raggiunto un'accuratezza Top-1 del 62.0%, superando RBONN (61.4%) e ReCU (61.0%).
  • Addestramento in Due Fasi: SURGE ha raggiunto un'accuratezza Top-1 del 66.7%, superando leggermente RBONN (66.5%).
• Rilevamento di Oggetti (PASCAL VOC): Utilizzando un framework Faster-RCNN con un backbone ResNet-18, SURGE ha raggiunto un mAP del 77.0%, superando il precedente SOTA IDa-Det (76.5%) e la baseline a valori reali (76.4%), offrendo al contempo significativi risparmi di memoria e computazionali.
• Comprensione del Linguaggio (GLUE): Su BERT-base, SURGE ha raggiunto un punteggio medio di 72.0, superando BiT (70.6) e BiBERT (63.2).

Studi di Ablazione:

• La rimozione del DPGC ha ridotto l'accuratezza dello 0.4% su CIFAR-10.
• La rimozione dell'AGS ha ridotto ulteriormente l'accuratezza dello 0.2%.
• Lo studio ha confermato che compensare tutti i gradienti di attivazione (sia tagliati che non tagliati) produce i migliori risultati, validando la necessità di recuperare le informazioni perse dal clipping fisso dello STE.

5. Significato e Affermazioni

Il documento afferma che SURGE rappresenta un avanzamento significativo nell'addestramento delle BNN, superando le approssimazioni del gradiente manuali a favore di un framework di compensazione apprendibile e fondato teoricamente.

• Fondamento Teorico: A differenza dei precedenti approcci euristici, SURGE deriva il suo meccanismo di scala da un'analisi basata sui momenti delle statistiche del gradiente, fornendo un modo principiato per bilanciare i contributi dei gradienti.
• Efficienza: Il metodo non introduce sovraccarichi computazionali aggiuntivi durante l'inferenza, poiché il ramo ausiliario a piena precisione viene scartato dopo l'addestramento. Il sovraccarico di addestramento è modesto (circa +25% di tempo e +7.6% di memoria per le CNN), che gli autori ritengono accettabile data la significativa guadagno di accuratezza.
• Generalizzabilità: Il framework è agnostico rispetto all'architettura ed è stato applicato con successo a reti convoluzionali (ResNet, VGG), rilevatori di oggetti (Faster-RCNN) e transformer (BERT).

Gli autori concludono che SURGE mitiga efficacemente il divario di prestazioni tra le reti binarie e quelle a piena precisione, rendendo le BNN più fattibili per dispositivi edge con risorse limitate senza sacrificare l'accuratezza.