Riepilogo Tecnico: Dove Legare Conta: Pesi Veloci Hebbiani nei Vision Transformer per il Riconoscimento di Caratteri in Few-Shot

Enunciato del Problema

Le architetture standard di Vision Transformer (ViT) eccellono nell'apprendimento supervisionato su larga scala, ma si basano su "pesi lenti" fissi appresi tramite discesa del gradiente. Questi pesi sono congelati durante l'inferenza, rendendo i modelli incapaci di adattarsi rapidamente a nuove informazioni all'interno di un singolo episodio. Questa limitazione è particolarmente acuta negli scenari di apprendimento in few-shot, dove i modelli devono riconoscere concetti nuovi da solo un pugno di esempi. Mentre i sistemi neurali biologici utilizzano la plasticità hebbiana per formare memorie associative transitorie per un adattamento rapido, i transformer standard mancano di meccanismi espliciti per questo apprendimento a doppia scala temporale. Sebbene recenti lavori teorici suggeriscano che l'attenzione lineare esegua implicitamente aggiornamenti hebbiani, questo articolo indaga se rendere questi aggiornamenti espliciti, apprendibili e architecturalmente distinti possa migliorare l'adattabilità nei compiti visivi in few-shot.

Metodologia

Gli autori propongono l'integrazione di moduli Hebbian Fast-Weight (HFW) nei backbone dei transformer per creare una memoria transitoria a livello di episodio. I componenti fondamentali della metodologia includono:

1. Il Modulo Hebbian Fast-Weight (HFW)

Il modulo HFW introduce una matrice di memoria associativa transitoria $M$ che viene aggiornata online durante il passaggio in avanti di un episodio e resettata all'inizio del successivo.

• Aggiornamento della Memoria: Il modulo calcola una matrice di co-attivazione $A$ dalle proiezioni chiave ($K$) e valore ($V$) dei token di input. La matrice di memoria viene aggiornata tramite una regola hebbiana: $M \leftarrow \lambda M + \eta A$, dove $\eta$ è un tasso di plasticità apprendibile e $\lambda$ è un fattore di decadimento temporale apprendibile.
• Stabilizzazione: L'aggiornamento include una soglia di clipping per prevenire attivazioni elevate e una normalizzazione della norma di Frobenius per stabilizzare la magnitudine della memoria.
• Recupero: La rappresentazione della query ($Q$) recupera informazioni dalla memoria ($\hat{r} = QM$). Questo segnale recuperato è governato da una funzione sigmoide e aggiunto all'output del backbone, consentendo alla rete di controllare adattivamente l'influenza della memoria veloce.
• Apprendibilità: I parametri che governano la formazione della memoria ($\eta, \lambda, W_K, W_V, W_Q, W_g$) sono appresi end-to-end tramite backpropagation standard, mentre la matrice di memoria $M$ stessa non viene salvata nei checkpoint.

2. Strategie di Integrazione Architettonica

Lo studio valuta tre architetture di backbone (ViT-Small, DeiT-Small, Swin-Tiny) con due strategie di integrazione distinte:

• Posizionamento per Blocco (ViT & DeiT): Un modulo HFW viene inserito in ogni blocco transformer (12 blocchi in totale). Questo permette un legame veloce in tutta la profondità della rete, ma introduce molteplici percorsi di memoria indipendenti.
• Posizionamento Singolo nella Fase Finale (Swin-Tiny): Un singolo modulo HFW viene applicato solo dopo la fase gerarchica finale del backbone Swin, a seguito di LayerNorm e appiattimento della sequenza. Questo design mira alle rappresentazioni di funzionalità più astratte e semanticamente ricche.

3. Protocollo Sperimentale

• Compito: Riconoscimento di caratteri in 5-way few-shot sul benchmark Omniglot.
• Framework: Le Reti Prototipiche (ProtoNet) fungono da testa di classificazione basata su metriche.
• Impostazioni: Valutato su compiti 1-shot e 5-shot, con studi di ablazione da 1 a 10 shot.
• Addestramento: I modelli sono addestrati da zero (nessun pre-addestramento su ImageNet) utilizzando l'ottimizzazione AdamW per 60 epoche.

Risultati Chiave

La valutazione empirica rivela che il posizionamento del modulo HFW è un determinante critico delle prestazioni:

• Superiorità di Swin-Hebbian: Il modello Swin-Hebbian (modulo a fase finale singola) ha raggiunto la massima accuratezza tra tutti i modelli: 96,2% (1-shot) e 99,2% (5-shot). Questo rappresenta un miglioramento del +0,3% rispetto alla baseline Swin non-Hebbiana nell'impostazione 1-shot.
• Degrado nei Modelli per Blocco: Al contrario, i modelli ViT-Hebbian e DeiT-Hebbian (posizionamento per blocco) hanno ottenuto prestazioni significativamente inferiori rispetto alle loro baseline. ViT-Hebbian è sceso del 3,7% (1-shot), e DeiT-Hebbian è sceso del 6,9% (1-shot).
• Efficienza Parametrica: La variante Swin-Hebbian ha aggiunto solo ~1,8M di parametri, mentre le varianti per blocco ViT/DeiT hanno aggiunto ~6,3M di parametri, eppure Swin-Hebbian ha raggiunto un'accuratezza superiore.
• Dinamiche Apprese: In Swin-Hebbian, il modello ha appreso un tasso di plasticità basso ($\eta \approx 0,019$) e una forte persistenza ($\lambda \approx 0,880$), indicando un mantenimento stabile della memoria attraverso l'insieme di supporto. Nei modelli per blocco, i tassi di plasticità sono stati uniformemente bassi su tutti i livelli, suggerendo che i moduli hanno soppresso i propri contributi.

Analisi delle Differenze Architettoniche

Il documento attribuisce il divario di prestazioni a tre fattori principali:

1. Interferenza dei Gradienti: Nei design per blocco, il percorso dei pesi veloci compete con il percorso di attenzione dei pesi lenti a ogni livello. In regimi a bassa quantità di dati, questo crea segnali di gradiente conflittuali che destabilizzano l'apprendimento di embedding stabili. Il design gerarchico di Swin isola il modulo HFW alla fase finale, evitando questa interferenza.
2. Stabilità Rappresentativa: I moduli per blocco in ViT/DeiT operano su funzionalità evolutive di basso livello dove le rappresentazioni dei token non sono ancora semanticamente stabili. Il modulo Swin-Hebbian opera sulle funzionalità finali di alto livello, stabilizzate da LayerNorm, permettendo un legame efficace fin dal primo episodio.
3. Allineamento del Bias Induttivo: L'attenzione a finestra spostata di Swin cattura strutture spaziali locali (tratti, curve) intrinseche ai caratteri. Il modulo HFW a fase finale opera su questi codici topologici olistici, allineando l'estrazione di funzionalità "da locale a globale" di Swin con il legame "da globale a episodico" del meccanismo hebbiano.

Significato e Affermazioni

Il documento afferma che "dove legare conta tanto quanto se viene utilizzato". Il contributo principale è dimostrare che i meccanismi espliciti di pesi veloci hebbiani possono migliorare l'apprendimento in few-shot nei transformer, ma solo quando integrati in un'architettura che fornisce stabilità rappresentativa ed evita l'interferenza dei gradienti.

Gli autori posizionano l'architettura Swin-Hebbian come un passo verso l'adattività cognitiva, separando l'acquisizione di conoscenza a pesi lenti dal legame associativo rapido e dipendente dal contesto. Osservano che, sebbene i guadagni siano modesti nel regime 5-shot, il vantaggio è più pronunciato nell'impostazione 1-shot, che è il regime in cui l'adattamento rapido all'interno dell'episodio è più critico. Lo studio conclude che un'integrazione singola a fase finale in backbone gerarchici come Swin-Tiny offre una soluzione più stabile ed efficiente dal punto di vista parametrico rispetto all'integrazione densa per blocco in backbone piatti come ViT.