Synthetic Benchmarks Overstate Forward-Forward Scaling: Real-Data Limits of Layer-Local Training

Sintesi Tecnica: I benchmark sintetici sopravvalutano lo scaling del Forward-Forward

Problematica
L'algoritmo Forward-Forward (FF), proposto da Hinton [2022], offre un'alternativa strettamente locale per livello rispetto alla backpropagation (BP), sostituendo il passaggio globale all'indietro con aggiornamenti di "goodness" (bontà) locali. Sebbene recenti varianti FF-CNN abbiano ridotto il divario di accuratezza con la BP su benchmark su piccola scala (es. 32×32 CIFAR-10), rimane incerto se l'addestramento locale per livello sia un'alternativa valida a scale realistiche o per distribuzioni di dati reali complessi. Una domanda critica è se le prestazioni osservate di FF siano limitate da implementazioni subottimali o da vincoli architettonici fondamentali. Inoltre, i way esistenti di benchmark sintetici suggeriscono spesso che FF scali bene con il numero di classi ($K$), ma non è noto se questa trasferibilità si applichi a distribuzioni di immagini reali dove $K$ correla con la difficoltà di discriminazione fine. Infine, il rivendicato vantaggio sistemistico di FF — specificamente la sua complessità di memoria delle attivazioni $O(1)$ rispetto al $O(L)$ della BP — non è stato rigorosamente verificato contro baseline BP ottimizzate per la memoria su hardware comune.

Metodologia: DTG-FF
Per affrontare queste questioni, gli autori introducono DTG-FF, un nuovo strumento progettato per testare i limiti dell'addestramento locale per livello. DTG-FF integra tre miglioramenti specifici a livello di meccanismo per stabilire un nuovo stato dell'arte (SOTA) per la famiglia FF:

1. Dynamic Temperature Goodness (DTG): Invezione di una scalatura fissa, ogni livello $l$ apprende un parametro scalare di temperatura $T_l$ tramite un parametro apprendibile $\alpha_l$. Questa temperatura scala il segnale di goodness locale ($\tilde{u}_l = u_l / T_l$) prima che venga passato a una readout di proiezione casuale fissa. Ciò consente al magnitudo del segnale di ottimizzazione di adattarsi per livello senza alterare il contenuto della rappresentazione.
2. Decoupled Normalization (Normalizzazione Disaccoppiata): Gli autori identificano che la Batch Normalization (BN) interrompe l'apprendimento basato sulla goodness collassando la varianza condizionale alla classe nelle norme delle attivazioni al quadrato. DTG-FF impiega un'architettura a tre percorsi:
   • Percorso di Goodness: Le attivazioni post-ReLU grezze alimentano direttamente la loss locale (senza normalizzazione).
   • Percorso di Propagazione: Le attivazioni passano attraverso una LayerNorm non affine (operante in una regione no_grad) per controllare la scala per il livello successivo senza influenzare il segnale di addestramento FF.
   • Percorso del Classificatore: Le feature vengono estratte tramite Global Average Pooling (GAP), concatenate e inviate a un classificatore apprendibile.
3. Multi-Layer Fusion: Le feature da più livelli intermedi vengono concatenate e processate da un classificatore globale (o aggregate tramite logit-sum per l'inferenza). Ciò aggrega ipotesi non ridondanti da diversi livelli, affrontando la mancanza di flusso di gradiente tra i livelli.

Gli autori valutano DTG-FF attraverso nove benchmark del mondo reale (CIFAR-10/100, Tiny ImageNet, ImageNet-100 e varianti di MedMNIST) utilizzando backbone VGG8 e VGG11. Crucialmente, impiegano controllo BP-DeepSup con architettura corrispondente addestrato con ricette, backbone e iperparametri identici per garantire un confronto equo.

Risultati Chiave

• Cielo di Scaling sui Dati Reali: Nonostante l'aver stabilito un nuovo SOTA per la famiglia FF (91,79% su CIFAR-10, 67,28% su CIFAR-100 e il primo baseline FF su ImageNet-100 a 224×224 con 49,4%), DTG-FF segue costantemente la BP-DeepSup con architettura corrispondente.
  • Su CIFAR-10 ($K=10$), il divario è di 2,40 punti percentuali (pp).
  • Su CIFAR-100 ($K=100$), il divario si amplia a 5,93 pp.
  • Su ImageNet-100 (224×224), DTG-FF raggiunge il 49,4%, mentre le tipiche baseline BP superano il 75%. Ciò espone un "tetto di dati reali" invisibile alle risoluzioni 32×32.
• Conflitto Sintetico vs Reale su $K$: Nei compiti sintetici insegnante-studente, il vantaggio di DTG-FF rispetto a BP aumenta all'aumentare del numero di classi $K$ (raggiungendo +2,00 pp a $K=50$). Al contrario, sulle immagini reali (CIFAR-10/100), il divario si inverte e si amplia all'aumentare di $K$. Una sonda all'interno del dataset su CIFAR-100 (coarse $K=20$ vs fine $K=100$) conferma che il vantaggio sintetico deriva dalla dimensionalità dell'output, mentre le prestazioni sui dati reali sono ostacolate dalla difficoltà di discriminazione fine.
• Audit Sistemistico: Il paper mette in discussione la giustificazione dell'efficienza di memoria per FF. Su hardware comune da 8 GB (RTX 4060 Laptop), un'implementazione pipelined di DTG-FF (picco di memoria 7,90 GB, 138 imgs/s) è superata dalla BP standard con accumulo di gradiente (picco di memoria 4,18 GB, 157 imgs/s) allo stesso effective batch size. Sebbene FF raggiunga il suo limite teorico di memoria delle attivazioni $O(1)$, ciò non si traduce in un vantaggio pratico di sistema rispetto alla BP ottimizzata per la memoria in questo regime.

Contributi Chiave

1. Strumento DTG-FF: Un'architettura della famiglia FF robusta che stabilisce lo SOTA attraverso nove benchmark, fornendo un "pavimento" credibile per l'audit dei limiti dell'addestramento locale per livello.
2. Diagnosi di Scaling: Evidenza empirica che il divario FF–BP si amplia con il numero di classi e la risoluzione sui dati reali, contraddicendo le tendenze osservate negli ambienti sintetici.
3. Discrepanza Sintetico-Reale: Una dimostrazione che i sweep di $K$ sintetici confondono la dimensionalità dell'output con la discriminazione fine, portando a una sovrastima della trasferibilità di FF sui dati reali.
4. Audit Sistemistico: Un confronto con baseline eque che mostra come il vantaggio strutturale di memoria di FF non produca un vantaggio di throughput o di memoria rispetto alla BP standard con accumulo di gradiente sull'attuale hardware comune.

Significato e Rivendicazioni
Il paper sostiene che gli attuali benchmark FF, in particolare quelli che si affidano a compiti sintetici o dataset su piccola scala 32×32, sopravvalutano la viabilità dell'addestramento locale per livello per carichi di lavoro realistici. Gli autori propongono una "lente BP-shadow", interpretando i miglioramenti stabiliti di FF (label overlay, spatial goodness, multi-layer fusion) come sostituti parziali del segnale supervisionato cross-layer che la BP fornisce nativamente. Il divario residuo tra DTG-FF e BP suggerisce che nessun sostituto attuale riesce a recuperare pienamente la coordinazione e la supervisione inerenti alla backpropagation.

Gli autori concludono che, sebbene DTG-FF rappresenti lo stato dell'arte per la famiglia FF, l'addestramento strettamente locale per livello affronta attualmente un tetto di prestazioni sui dati reali e non offre un vantaggio sistemistico rispetto alla BP ottimizzata per la memoria su hardware standard. Il lavoro funge da audit rigoroso piuttosto che da rivendicazione della superiorità di FF, evidenziando la necessità di ulteriori ricerche su come i metodi locali per livello possano scalare verso compiti del mondo reale più complessi e ad alta risoluzione.