Attention Retention for Continual Learning with Vision Transformers

Riepilogo Tecnico: Ritenzione dell'Attenzione per l'Apprendimento Continuativo con Vision Transformers

Problema

L'Apprendimento Continuativo (CL - Continual Learning) mira a consentire ai sistemi di IA di acquisire conoscenza progressivamente da flussi di dati non stazionari. Tuttavia, il catastrophic forgetting (oblio catastrofico) rimane una barriera critica, in cui l'apprendimento di nuovi compiti degrada le prestazioni su quelli precedentemente appresi. Sebbene esistano varie strategie (replay, espansione, regolarizzazione), questo articolo identifica un meccanismo specifico di oblio nei Vision Transformers (ViT): l'attention drift (deriva dell'attenzione).

Gli autori osservano che, mentre i ViT apprendono nuovi compiti, i loro meccanismi di attenzione si spostano significativamente lontano dalle caratteristiche discriminative dei concetti visivi precedentemente appresi. A differenza dei sistemi visivi umani, che mantengono un'attenzione selettiva sulle caratteristiche chiave anche man mano che vengono acquisiti nuovi concetti, i ViT perdono questa stabilità, portando all'erosione della conoscenza appresa. I metodi esistenti spesso non riescono ad affrontare questo specifico drift nel meccanismo di attenzione dei ViT, in particolare nei contesti senza replay dove la memorizzazione dei dati dei compiti precedenti è proibita.

Metodologia: ARCL-ViT

Il framework proposto, ARCL-ViT (Attention-Retaining Continual Learning with Vision Transformers), affronta l'attention drift vincolando esplicitamente gli aggiornamenti del gradiente durante l'apprendimento di nuovi compiti. Il metodo opera senza memorizzare i dati dei compiti precedenti e consiste in due fasi primarie:

1. Generazione di Maschere Adattive

Dopo aver completato un compito $T_{t-1}$, il modello genera una maschera binaria per identificare le regioni di attenzione critiche.

• Layer-wise Rollout: Invece di utilizzare le mappe di attenzione grezze da un singolo livello, il metodo impiega un meccanismo di layer-wise rollout. Aggrega le matrici di attenzione attivate attraverso tutti i livelli ($L$) per calcolare una mappa di attenzione completa $\hat{S}^l_{t-1}$. Ciò comporta la moltiplicazione delle matrici di attenzione trasformate ($\tilde{S} = I + S$) per catturare il flusso di informazioni dall'input al token di classe.
• Soglia Instance-Adaptive: Per gestire le dimensioni variabili delle regioni discriminative tra le immagini, si evita una soglia fissa. Il metodo ordina i valori di attenzione e identifica un punto di inflessione (tramite la derivata del secondo ordine) dove i valori transitano dalle regioni di sfondo a quelle salienti. Questo determina una soglia adattiva $\tau$, generando una maschera binaria $M$ dove le regioni ad alta attenzione sono contrassegnate come 0 (da preservare) e le regioni a bassa attenzione come 1.

2. Mascheramento del Gradiente e Adattamento dell'Ottimizzatore

Durante l'addestramento del compito corrente $T_t$, la maschera generata viene utilizzata per sopprimere gli aggiornamenti che altererebbero i pattern di attenzione dei compiti precedenti.

• Zeroing del Gradiente: La maschera viene applicata elemento per elemento ai gradienti delle proiezioni dei pesi Query ($Q$), Key ($K$) e Value ($V$) ($W_q, W_k, W_v$). Nello specifico, i gradienti corrispondenti alle regioni ad alta attenzione del compito precedente vengono azzerati. Ciò impedisce al processo di ottimizzazione di spostare il focus del modello lontano dai concetti visivi precedentemente appresi.
• Compatibilità con l'Ottimizzatore: Lo azzeramento dei gradienti può disturbare gli ottimizzatori moderni (es. Adam) che si basano su statistiche di momentum e varianza, causando potenzialmente aggiornamenti instabili. Per mitigare questo problema, gli autori propongono un meccanismo di scaling. L'aggiornamento del parametro $\Delta W'$ viene scalato proporzionalmente al rapporto tra il gradiente mascherato e il gradiente originale. Ciò assicura che l'entità relativa degli aggiornamenti sia mantenuta, permettendo all'ottimizzatore di funzionare correttamente pur rispettando i vincoli di attenzione.

Contributi Chiave

1. Identificazione dell'Attention Drift: L'articolo stabilisce l'attention drift nei ViT come una fonte primaria di catastrophic forgetting nell'apprendimento continuativo, evidenziando la necessità di preservare l'attenzione selettiva sui precedenti concetti visivi.
2. Nuovo Framework (ARCL-ViT): Viene introdotto un framework basato sul gradiente che vincola l'attention drift senza richiedere il replay dei dati. Utilizza un layer-wise rollout per un'estrazione robusta delle mappe di attenzione e una strategia di soglia adattiva per la generazione precisa della maschera.
3. Mascheramento del Gradiente Consapevole dell'Ottimizzatore: Il metodo introduce una tecnica di scaling per garantire che il mascheramento del gradiente sia compatibile con gli ottimizzatori adattivi, prevenendo l'instabilità dell'ottimizzazione pur preservando efficacemente i pattern di attenzione appresi.
4. Prestazioni allo Stato dell'Arte (SOTA): L'approccio raggiunge risultati superiori in diversi benchmark e schemi di pre-training, dimostrando una robusta generalizzabilità.

Risultati Sperimentali

Il metodo è stato valutato su quattro benchmark di class-incremental learning: 10-split e 20-split ImageNet-R, 10-split CIFAR-100 e 10-split DomainNet.

• Prestazioni: ARCL-ViT ha raggiunto prestazioni state-of-the-art (SOTA), superando i metodi recenti (es. VPT-CPG, SD-LoRA, BiLoRA) con un incremento medio di accuratezza del 1,8% - 3,7% attraverso i benchmark.
• Riduzione dell'Oblio: Il metodo ha ridotto significativamente il catastrophic forgetting. Ad esempio, su 10-split ImageNet-R, ha raggiunto l'81,17% di accuratezza con un 4,84% di forgetting, rispetto alla baseline di fine-tuning sequenziale (Seq-FT) che ha subito un 44,31% di forgetting e solo il 49,43% di accuratezza.
• Studi di Ablazione:
  • Costruzione della Maschera: La combinazione di layer-wise rollout e soglia adattiva ha prodotto i risultati migliori, superando l'attenzione grezza o le soglie fisse.
  • Regioni Mascherate: Il mascheramento delle specifiche regioni di attenzione dei compiti precedenti si è rivelato essenziale; il mascheramento di regioni casuali o non-attenzione ha portato a un forgetting significativamente più alto.
• Generalizzazione:
  • Pesi di Pre-training: Il metodo si è generalizzato bene attraverso diversi pesi pre-addestrati (DINO-1k e iBOT-1k), superando costantemente i baseline con un guadagno di accuratezza di circa il 37% rispetto a Seq-FT.
  • Long-Sequence CL: In scenari di sequenza lunga più impegnativi (50 e 100 split), ARCL-ViT ha mantenuto un'accuratezza superiore e ha ottenuto un migliore compromesso tra plasticità e stabilità rispetto ai metodi SOTA esistenti.
• Visualizzazione: L'analisi quantitativa dell'attention drift ha mostrato che ARCL-ViT ha mantenuto il drift più basso (6,0%) rispetto a Seq-FT (25,9%), confermando visivamente la preservazione dell'attenzione sulle chiavi concettuali visive.

Significato e Rivendicazioni

L'articolo sostiene che, allineando il meccanismo di attenzione dei ViT con i principi biologici dell'attenzione selettiva, sia possibile mitigare efficacementamente il catastrophic forgetting senza l'overhead di memorizzazione dei metodi basati sul replay. Gli autori pongono il loro lavoro come un passo significativo verso la costruzione di sistemi di apprendimento continuativo che somiglino all'intelligenza biologica, specificamente stabilizzando le "risorse neurali" (attenzione) dedicate ai concetti visivi precedentemente appresi. Il metodo è presentato come una soluzione robusta, data-free, compatibile con le moderne tecniche di ottimizzazione e generalizzabile attraverso diverse strategie di pre-training e scenari di apprendimento a lungo termine.