Riepilogo Tecnico: Backbone Senza Attivazione per il Riconoscimento di Immagini

Enunciato del Problema

Le architetture visive moderne, inclusi i backbone in stile MetaFormer, fanno affidamento pesante su funzioni di attivazione puntuali (ad esempio, ReLU, GELU, SiLU) e operazioni esponenziali all'interno dell'attenzione softmax per introdurre non linearità. Sebbene questi componenti permettano alle reti neurali di approssimare funzioni complesse, non sono l'unica fonte di non linearità. Il documento sostiene che queste attivazioni non sono strettamente necessarie per prestazioni competitive. Inoltre, l'affidamento su operazioni non polinomiali (come esponenziali e attivazioni puntuali) crea un sovraccarico significativo per la Crittografia Omomorfa Completamente (FHE), un paradigma di calcolo che preserva la privacy in cui le reti standard sostengono costi sostanziali a causa della loro natura non polinomiale. Le reti polinomiali esistenti (ad esempio, MONet, DTTN) hanno dimostrato potenziale ma spesso richiedono architetture personalizzate e strettamente accoppiate che ne limitano l'utilità pratica e non riescono a eguagliare le prestazioni dei corrispettivi basati su attivazione a costi computazionali comparabili.

Metodologia

Gli autori propongono un framework per sostituire le non linearità standard con alternative polinomiali, preservando le interfacce input-output dei backbone visivi modulari esistenti. Questo approccio consente l'integrazione di moduli polinomiali in framework consolidati come MetaFormer senza ridisegnare l'intera architettura.

Primitivi Core

Il documento introduce tre moduli senza attivazione che sostituiscono le non linearità standard con prodotti di Hadamard (moltiplicazione elemento per elemento) di proiezioni lineari apprese:

1. PolyMLP (Mixing dei Canali): Sostituisce l'attivazione puntuale nelle reti feedforward con il prodotto di Hadamard di due proiezioni lineari parallele: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$. Ciò produce un polinomio di secondo grado nelle caratteristiche di input.
2. PolyConv (Mixing Spaziale): Sostituisce l'attivazione nelle convoluzioni separabili fondendo rami convoluzionali paralleli con campi ricettivi diversi tramite moltiplicazione elemento per elemento. Nello specifico, combina un ramo "grezzo" (convoluzione depthwise dilatata) e un ramo "fine" (convoluzione depthwise standard), applicando un ribaltamento dei canali a un ramo prima della fusione per decorrelare le caratteristiche.
3. PolyAttn (Mixing Spaziale Globale): Sostituisce la funzione esponenziale nell'attenzione softmax con un kernel polinomiale: $A = (s \cdot QK^\top + 1)^p$, seguito da normalizzazione $\ell_1$. Ciò crea un meccanismo di attenzione senza attivazione che rimane compatibile con varianti strutturali come l'attenzione a finestra.

Tecniche di Stabilizzazione

Gli autori identificano che i prodotti di Hadamard possono amplificare valori grandi, portando a instabilità nell'addestramento di reti profonde. Per abilitare un addestramento stabile di reti fino a ~200 livelli, introducono:

• Sigmoid-Scale: Uno scalare apprendibile limitato da una funzione sigmoide ($\sigma(\lambda)$) che scala i contributi residui ($y = x + \sigma(\lambda)f(x)$), prevenendo una crescita illimitata.
• Connessioni Skip Multi-Input: Ispirato da NASNet, ogni cella riceve input dalle due celle precedenti ($x_{t-1}$ e $x_{t-2}$), migliorando il flusso dei gradienti.
• Design Profondità-sopra-Larghezza: Gli autori sostengono l'impilamento di livelli più stretti più in profondità piuttosto che l'uso di configurazioni più larghe e superficiali. Questo design sfrutta il fatto che il grado polinomiale cresce esponenzialmente con la profondità ($2^L$ per profondità $L$), massimizzando la capacità rappresentativa senza un aumento lineare dei parametri.

Architettura: PolyNeXt

Questi moduli sono istanziati all'interno di un'architettura gerarchica a quattro stadi in stile MetaFormer. Vengono proposti due varianti:

• CPolyNeXt: Utilizza PolyConv per il mixing spaziale in tutti gli stadi.
• APolyNeXt: Un design ibrido che utilizza PolyConv negli stadi ad alta risoluzione e PolyAttn negli stadi a bassa risoluzione.

Risultati Chiave

I modelli sono stati valutati sulla classificazione ImageNet-1K, sulla robustezza fuori distribuzione (OOD) e sulla segmentazione semantica ADE20K.

• Classificazione ImageNet-1K: I modelli PolyNeXt eguagliano o superano le istanze di MetaFormer basate su attivazione (ConvFormer, CAFormer) attraverso tutte le scale di modello (da Tiny a Large). Ad esempio, CPolyNeXt-S (26M parametri) raggiunge un'accuratezza Top-1 dell'83,9%, superando ConvFormer-S18 (83,0%) e le precedenti reti polinomiali come DTTN-S (79,4%) con margini significativi (2-3 punti percentuali) e con un costo computazionale inferiore.
• Robustezza: I backbone polinomiali dimostrano una robustezza superiore su ImageNet-C (corruzioni), ImageNet-A (avversari), ImageNet-R (rendite) e ImageNet-Sketch. CPolyNeXt-B (40M parametri) supera ConvFormer-B36 (100M parametri) su diversi benchmark OOD.
• Predizione Densa: Sulla segmentazione semantica ADE20K, CPolyNeXt-S supera sia ConvFormer-S18 che CAFormer-S18 di +2,0 e +1,7 mIoU rispettivamente a parità di conteggio parametri.
• Varianti Completamente Polinomiali: Sostituendo LayerNorm con un BatchNorm compatibile con i polinomi (utilizzando statistiche in esecuzione per evitare la divisione), gli autori hanno creato modelli completamente polinomiali. CPolyNeXt-S (BN) raggiunge l'82,7% su ImageNet, un miglioramento di 5,0 punti rispetto al miglior modello completamente polinomiale precedente (MONet-T BN) e supera il ConvNeXt-T basato su attivazione (82,1%).

Insight delle Ablazioni

• Le Attivazioni sono Dannose: Reintrodurre attivazioni (ad esempio, GELU) nei moduli polinomiali degrada costantemente le prestazioni. Gli autori attribuiscono ciò alla perturbazione dell'"accoppiamento reciproco dei gradienti" intrinseco al prodotto di Hadamard, dove il gradiente di ciascun ramo è scalato dall'output dell'altro.
• La Stabilizzazione è Critica: Rimuovere Sigmoid-Scale o le connessioni skip multi-input porta a cali significativi delle prestazioni o al collasso dell'addestramento.
• Sensibilità della Ricetta: I guadagni di prestazioni sono attribuiti alla progettazione del modulo e alle tecniche di stabilizzazione piuttosto che a una ricetta di addestramento unica, poiché i moduli si trasferiscono bene quando scambiati in altre architetture.

Significato e Affermazioni

Il documento afferma che le funzioni di attivazione non sono una necessità rappresentazionale per i backbone visivi moderni, ma piuttosto una soluzione alle sfide di ottimizzazione. Affrontando la stabilità dell'addestramento attraverso meccanismi specifici (Sigmoid-Scale, profondità-sopra-larghezza), le interazioni polinomiali possono servire come fonti efficaci di non linearità.

I contributi principali sono:

1. Alternative Polinomiali: L'introduzione di PolyMLP, PolyConv e PolyAttn, che sostituiscono le non linearità standard con prodotti di Hadamard mantenendo la compatibilità con i miglioramenti architetturali.
2. Evidenza Empirica: Dimostrazione che i backbone senza attivazione (PolyNeXt) possono eguagliare o superare i corrispettivi basati su attivazione in accuratezza e robustezza attraverso le scale.
3. Ricetta di Stabilizzazione: Un insieme leggero di tecniche che abilitano l'addestramento di reti polinomiali profonde (fino a 200 livelli).
4. Progressi FHE: Un passo verso l'inferenza compatibile con la Crittografia Omomorfa Completamente rimuovendo le operazioni non polinomiali, inclusa una variante completamente polinomiale che supera le reti polinomiali precedenti e si avvicina alle baseline basate su attivazione.

Gli autori concludono che, sebbene il loro lavoro non implichi benefici immediati in termini di sicurezza o equità, apre una strada verso l'inferenza che preserva la privacy e suggerisce che il settore dovrebbe rivalutare la necessità delle funzioni di attivazione tradizionali nei modelli di visione profonda.