Riepilogo Tecnico: HCL-FF

Enunciato del Problema

Le reti neurali profonde addestrate tramite backpropagation (BP) hanno raggiunto prestazioni all'avanguardia nelle attività di visione, ma soffrono di scarsa plausibilità biologica, elevate richieste computazionali (che richiedono l'archiviazione del gradiente e la propagazione all'indietro) e rappresentazioni interne opache. L'algoritmo Forward-Forward (FF) offre un'alternativa biologicamente plausibile addestrando ogni livello indipendentemente utilizzando un obiettivo locale di "bontà" (la magnitudine delle attivazioni). Tuttavia, gli approcci FF standard presentano due limitazioni critiche:

1. Mancanza di Coordinamento Gerarchico: FF costringe i livelli superficiali a discriminare direttamente classi dettagliate, portando a rappresentazioni subottimali nei livelli iniziali. A differenza di BP, che apprende naturalmente una progressione da segnali di basso livello a semantica di alto livello, FF manca di un meccanismo per coordinare tale progressione tra i livelli.
2. Il Dilemma del Disaccoppiamento: Per impedire che i livelli più profondi ereditino trivialmente il segnale di bontà dai livelli precedenti, FF disaccoppia la bontà dalla rappresentazione delle caratteristiche tramite normalizzazione (rimuovendo le informazioni sulla magnitudine). Sebbene ciò prevenga l'overfitting sui segnali precedenti, lascia le caratteristiche risultanti semanticamente ambigue e non vincolate, poiché l'obiettivo di ottimizzazione mira solo alla magnitudine dell'attivazione e non alla struttura geometrica relativa delle caratteristiche.

Metodologia

Gli autori propongono HCL-FF (Hierarchical and Contrastive Learning for Forward-Forward), un framework che preserva l'indipendenza livello per livello di FF affrontando le limitazioni sopra descritte attraverso due innovazioni chiave.

1. Apprendimento Gerarchico (Strategia dal Grossolano al Fine)

Per risolvere la mancanza di coordinamento, HCL-FF introduce una strategia di curriculum learning in cui la supervisione è organizzata dalla granularità grossolana a quella fine:

• Obiettivi di Super-Classe: I livelli superficiali sono supervisionati utilizzando obiettivi di super-classe grossolani, mentre ai livelli più profondi vengono assegnati progressivamente etichette più dettagliate, culminando nella discriminazione di classi dettagliate nel livello finale.
• Costruzione della Gerarchia: La gerarchia delle classi è costruita tramite un approccio guidato dai dati. Un modello viene prima pre-addestrato senza gerarchia e un classificatore lineare viene addestrato sulle caratteristiche del livello finale. I pesi del classificatore fungono da prototipi di classe, che vengono poi raggruppati utilizzando il clustering gerarchico agglomerativo per formare un albero semantico.
• Funzione di Perdita HierCwC Gerarchica e Competitiva per Canale: La funzione di perdita FF standard è modificata per calcolare la bontà a livello di super-classe per i livelli superficiali. La bontà della super-classe è derivata mediando la bontà per classe all'interno di ciascun gruppo di super-classe. Ciò riduce la complessità degli obiettivi dei livelli iniziali e incoraggia le rappresentazioni a evolvere da strutture semantiche ampie alla discriminazione dettagliata.

2. Apprendimento Contrastivo (Fondamentazione Semantica)

Per risolvere il dilemma del disaccoppiamento, HCL-FF applica un obiettivo contrastivo supervisionato direttamente alle caratteristiche disaccoppiate dalla bontà (i vettori di caratteristiche normalizzati $z^{(\ell)}$):

• Proiezione delle Caratteristiche: A ogni livello, le caratteristiche disaccoppiate dalla bontà vengono sottoposte a pooling globale della media e proiettate in uno spazio di embedding latente.
• Funzione di Perdita Contrastiva Supervisionata: Una funzione di perdita contrastiva supervisionata standard viene applicata a questi embedding, incoraggiando i campioni della stessa classe a raggrupparsi e le classi diverse a separarsi.
• Significato: Vincolando la geometria relazionale delle caratteristiche dopo il disaccoppiamento della bontà, questo obiettivo ripristina il significato semantico perso quando le informazioni sulla magnitudine vengono rimosse. Garantisce che, mentre la scala (bontà) è disaccoppiata, la direzione (contenuto semantico) rimanga discriminativa.

3. Framework Complessivo

La funzione di perdita totale per ogni livello $\ell$ combina la funzione di perdita HierCwC e la funzione di perdita contrastiva:
$$L_{total}^{(\ell)} = L_{HierCwC}^{(\ell)} + \lambda L_{Con}^{(\ell)}$$
dove $\lambda$ è impostato a 1. Il framework utilizza un'architettura Forward-Forward residua basata su livelli di Convoluzione per Canale (CW-Conv), dove ogni livello opera indipendentemente senza propagazione del gradiente tra i livelli.

Contributi Chiave

1. Framework HCL-FF: Un nuovo framework FF che integra supervisione gerarchica e apprendimento contrastivo per affrontare la mancanza di coordinamento e il dilemma del disaccoppiamento.
2. Curriculum dal Grossolano al Fine: Una strategia che riduce la complessità dei livelli iniziali supervisionando i livelli superficiali con super-classi, consentendo una progressione naturale dell'astrazione semantica.
3. Fondamentazione Contrastiva: La prima applicazione dell'apprendimento contrastivo specificamente alle caratteristiche disaccoppiate dalla bontà in FF, preservando efficacemente la struttura semantica senza violare il vincolo di indipendenza livello per livello.
4. Prestazioni all'Avanguardia: Il metodo ottiene nuovi risultati all'avanguardia tra i metodi basati su FF su diversi benchmark.

Risultati Sperimentali

Gli esperimenti sono stati condotti su CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST e Tiny-ImageNet.

• Miglioramenti delle Prestazioni: HCL-FF ottiene significativi miglioramenti di accuratezza rispetto al miglior metodo FF precedente (DeeperForward):
  • +5,46% su CIFAR-10 (91,68% contro 86,22%).
  • +17,00% su CIFAR-100 (70,09% contro 53,09%).
  • +12,51% su Tiny-ImageNet (48,46% contro 35,95%).
• Confronto con BP: Su CIFAR-10, HCL-FF supera il ResNet-20 addestrato con BP standard (91,68% contro 91,25%) e riduce il divario rispetto alle varianti BP con parametri corrispondenti.
• Studi di Ablazione:
  • L'aggiunta dell'apprendimento contrastivo da solo ha migliorato l'accuratezza su CIFAR-100 del +9,12%, confermando il suo ruolo nel stabilizzare le caratteristiche disaccoppiate.
  • L'aggiunta dell'apprendimento gerarchico da solo ha migliorato l'accuratezza su CIFAR-100 del +6,96%, evidenziando il suo beneficio per spazi di etichette più ampi.
  • L'aumento dei dati (data augmentation) forte è stato efficace solo quando combinato con la supervisione gerarchica, poiché ha ridotto il carico sui livelli superficiali.
• Analisi:
  • Accuratezza Livello per Livello: HCL-FF mostra guadagni costanti di accuratezza attraverso i livelli, mentre i metodi precedenti raggiungono un plateau precocemente.
  • Disaccoppiamento: Le valutazioni tramite sonda lineare mostrano che HCL-FF mantiene un'alta accuratezza anche dopo la normalizzazione, dimostrando di preservare la struttura semantica nelle caratteristiche disaccoppiate, a differenza di DeeperForward dove l'accuratezza cala significativamente dopo la normalizzazione.
  • Visualizzazione: Le visualizzazioni t-SNE confermano che HCL-FF mantiene una chiara separazione delle classi sia nelle risposte di bontà che nelle caratteristiche disaccoppiate dalla bontà.

Significato e Affermazioni

Il documento afferma che HCL-FF rappresenta un passo significativo verso paradigmi di apprendimento scalabili, efficaci e biologicamente plausibili. Risolvendo il fondamentale dilemma del disaccoppiamento e introducendo il coordinamento gerarchico, il metodo dimostra che l'addestramento indipendente livello per livello può raggiungere prestazioni paragonabili, e in alcuni casi superiori, ai metodi basati sulla backpropagation.

Gli autori notano che, sebbene HCL-FF migliori i metodi FF esistenti, eredita ancora determinati vincoli, come una convergenza più lenta rispetto alla BP end-to-end e la necessità che il numero di canali sia scalato in base al numero di classi (sebbene ciò sia alleviato nei livelli superficiali). Il lavoro suggerisce che combinare la supervisione gerarchica con la fondazione contrastiva è un percorso praticabile per superare le sfide di lunga data nell'apprendimento senza backpropagation.