Forward-Only Convolutional Neural Networks with Learnable Channel-Class Assignment

Sintesi Tecnica: Reti Neurali Convoluzionali Solo-Forward con Assegnazione Canale-Classe Apprendibile

Problema
L'algoritmo Forward-Forward (FF) offre un'alternativa biologicamente plausibile alla backpropagation, sostituendo l'assegnazione del credito globale basata sul gradiente con obiettivi locali, esclusivamente forward. Sebbene adattamenti recenti abbiano esteso l'FF alle Reti Neurali Convoluzionali (CNN), le formulazioni esistenti (ad es., CwComp, DeeperForward) si affidano a partizioni canale-classe statiche. In questi metodi, i canali convoluzionali sono assegnati permanentemente a specifiche classi tramite meccanismi di raggruppamento fissi. Gli autori sostengono che questa rigidità limita la capacità della rete di adattare dinamicamente la specializzazione dei canali alle evoluzioni delle distribuzioni di caratteristiche durante l'addestramento, portando a un utilizzo inefficiente delle feature, a una ridotta flessibilità rappresentativa e all'incapacità di sfruttare appieno le architetture più profonde. Inoltre, l'inferenza standard dell'FF spesso si basa solo sull'ultimo strato o su una semplice aggregazione, rischiando di ignorare preziose rappresentazioni intermedie.

Metodologia
Il metodo proposto introduce un meccanismo di Assegnazione Canale-Classe Apprendibile e una Strategia di Contributo dello Strato Sensibile alla Perdita integrati in CNN residue.

1. Assegnazione Canale-Classe Apprendibile (CAW-Conv):

   • Invece di assegnare staticamente i canali alle classi, gli autori introducono una matrice di parametri apprendibili $U \in \mathbb{R}^{C_{out} \times J}$ (dove $C_{out}$ è il numero di canali di output e $J$ è il numero di classi).
   • Una funzione softmax viene applicata alle righe di $U$ per generare una matrice di pesi $M$, che rappresenta il tasso di contributo di ciascun canale a ciascuna classe. Ciò consente ai canali di specializzarsi dinamicamente in base alla struttura dei dati.
   • Il punteggio di "bontà" (goodness) per ogni classe è calcolato come una rappresentazione aggregata (pooled) delle mappe di caratteristiche ($A_{pooled}$) moltiplicata per la matrice di assegnazione $M$.
   • Regolarizzazione: Per prevenire soluzioni degenerate e promuovere un apprendimento efficace, vengono aggiunti due termini di regolarizzazione alla funzione di perdita:
     • Regolarizzazione dell'Entropia: Minimizza l'entropia dei pesi classe-canale per incoraggiare la sparsità, assicurando che i canali contribuiscano significativamente solo a poche classi.
     • Regolarizzazione dell'Ortogonalità: Impone l'ortogonalità tra i vettori di peso classe-canale normalizzati per promuovere la diversità nell'estrazione delle feature tra le diverse classi.

2. Strategia di Contributo dello Strato Sensibile alla Perdita:

   • A differenza delle reti tradizionali che prendono decisioni solo nell'ultimo strato, il framework proposto aggrega le predizioni da tutti gli strati.
   • Il contributo di ogni strato alla decisione finale è pesato in modo adattivo in base alla sua perdita di validazione (validation loss). Gli strati con perdite di validazione inferiori (che indicano una migliore affidabilità predittiva) ricevono pesi più elevati tramite una trasformazione softmax.
   • La predizione finale è una somma pesata dei punteggi di bontà di tutti gli strati.

3. Addestramento e Inferenza:

   • La rete viene addestrata utilizzando un processo contrastivo per strato, esclusivamente forward. Ogni strato è ottimizzato indipendentemente utilizzando una perdita di cross-entropy locale combinata con i termini di regolarizzazione.
   • Viene applicata la normalizzazione dell'istanza (instance normalization) tra gli strati per disaccoppiare la scala delle feature dalla direzione rappresentativa.
   • Durante l'inferenza, l'aggregazione pesata degli output degli strati viene utilizzata per determinare la predizione della classe finale.

Contributi Chiave

• Specializzazione Dinamica: Il documento propone di sostituire il raggruppamento statico dei canali con un meccanismo di assegnazione apprendibile, consentendo una specializzazione dei canali convoluzionali adattiva e guidata dai dati.
• Capacità Rappresentativa Potenziata: Utilizzando la regolarizzazione dell'entropia e dell'ortogonalità, il metodo promuove un utilizzo dei canali sparso e diversificato, migliorando la discriminabilità delle feature.
• Inferenza Adattiva: L'introduzione di una strategia di contributo dello strato sensibile alla perdita permette al modello di sfruttare le rappresentazioni intermedie in modo più efficace rispetto ai metodi che si affidano esclusivamente agli output dell'ultimo strato.
• Efficienza: Il metodo proposto raggiunge prestazioni superiori con significativamente meno canali rispetto agli approcci di raggruppamento statico.

Risultati Sperimentali
Il metodo è stato valutato su MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 e Tiny-ImageNet utilizzando tre architetture: TinyCNN-4, VGG-14 e ResNet-17.

• Prestazioni su CIFAR-10: Il metodo proposto ha raggiunto un'accuratezza dell'89,37% con una ResNet a 17 strati, superando il precedente stato dell'arte basato su FF (DeeperForward) di oltre 3 punti percentuali. Ha inoltre superato DeeperForward di oltre il 5% con un'architettura leggera a 4 strati.
• Prestazioni su Dataset Più Complessi: Su CIFAR-100, il metodo proposto ha raggiunto il 63,52% (rispetto al 53,09% di DeeperForward). Su Tiny-ImageNet, ha ottenuto il 49,87% (rispetto al 41,36% di DeeperForward).
• Efficienza dei Canali: Il metodo proposto ha costantemente superato DeeperForward anche quando la dimensione dei canali veniva ridotta del 30–50% (ad esempio, ottenendo l'86,52% su CIFAR-10 con ResNet-17 a 0,6x della scala dei canali, rispetto all'86,22% di DeeperForward a scala completa).
• Confronto con la Backpropagation: Sebbene sia ancora indietro rispetto alla backpropagation (BP) completa in termini di accuratezza assoluta (ad esempio, 89,37% vs 95,52% per un modello BP a 152 strati su CIFAR-10), il metodo FF proposto restringe sostanzialmente il divario di prestazioni rispetto ai precedenti tentativi di FF, in particolare su MNIST e Fashion-MNIST, dove ha superato alcuni baseline basati su BP.

Significatività e Rivendicazioni
Il documento afferma che l'introduzione della specializzazione dei canali apprendibile e del pesatura del contributo dello strato potenzia significativamente la capacità rappresentativa dell'apprendimento solo-forward nelle CNN profonde. Gli autori sostengono che il loro approccio stabilisce un nuovo stato dell'arte tra i modelli basati su FF, dimostrando che l'apprendimento solo-forward può essere scalato efficacemente ad architetture più profonde e compiti complessi senza i vincoli delle assegnazioni statiche dei canali. I risultati suggeriscono che il framework proposto è un'alternativa biologicamente ispirata viabile che può competere con i metodi basati sul gradiente, offrendo al contempo maggiore scalabilità ed efficienza nell'uso dei canali. Gli autori osservano con modestia che, sebbene la matrice apprendibile migliori le prestazioni, il lavoro futuro potrebbe concentrarsi su meccanismi ausiliari per guidare ulteriormente il suo apprendimento e regolare meglio l'influenza della perdita globale.