Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

Titolo del Rapporto

Distillazione della Conoscenza Multi-Livello e Apprendimento Auto-Supervisionato Dinamico per l'Apprendimento Continuo: Relazione Tecnica per la 5ª Sfida CLVISION di CVPR 2024.

1. Problema e Contesto

Il documento affronta una variante realistica dell'Apprendimento Incrementale di Classe (Class-Incremental Learning - CIL), denominata Class-Incremental with Repetition (CIR).

• Scenario CIR: A differenza del CIL tradizionale, che assume l'introduzione di nuove classi non viste in ogni task, lo scenario CIR prevede che le classi precedentemente apprese vengano ripetutamente introdotte insieme a nuove classi in compiti futuri. Questo riflette meglio le situazioni del mondo reale (es. Federated Learning non-IID, confini di task sfocati).
• Vincoli e Sfide:
  • Obiettivo: Massimizzare l'accuratezza finale mantenendo la stabilità (evitare l'oblio catastrofico delle classi vecchie) e la plasticità (capacità di apprendere nuove classi).
  • Limitazione dei dati: Non è possibile memorizzare grandi quantità di dati etichettati precedenti a causa di vincoli di privacy e di archiviazione.
  • Risorsa disponibile: Si assume l'accesso a una grande quantità di dati non etichettati provenienti da fonti esterne (es. Internet), che possono essere scaricati, utilizzati durante l'addestramento e successivamente scartati.

2. Metodologia Proposta

Gli autori propongono due componenti principali per sfruttare efficacemente i dati non etichettati, integrandoli su una baseline di apprendimento continuo (che include Cross-Entropy asincrona e replay di feature):

A. Distillazione della Conoscenza Multi-Livello (MLKD)

Per garantire la stabilità e mitigare l'oblio catastrofico, il metodo distilla la conoscenza da modelli precedenti attraverso molteplici prospettive:

• Distillazione a livello di Feature: Utilizza una perdita L2 per allineare le feature estratte dai modelli precedenti, assicurando che le rappresentazioni rimangano coerenti nel tempo. Il peso di questa perdita aumenta linearmente con il numero di task.
• Distillazione a livello di Logit (Correlazione): Poiché i dati non etichettati possono causare uno spostamento nella distribuzione dei dati (distribution shift) rispetto ai dati di addestramento, una distillazione logit standard è inefficace. Gli autori introducono una distillazione basata sulle matrici di Gram per catturare le correlazioni:
  • Tra le istanze all'interno di un batch.
  • Tra le diverse classi.
• Modelli Multipli e EMA: Invece di usare un solo modello precedente, il sistema mantiene e combina le uscite di più modelli precedenti. Questi modelli vengono aggiornati gradualmente tramite Exponential Moving Average (EMA) con il modello corrente, permettendo di incorporare nuove conoscenze nel processo di distillazione.

B. Apprendimento Auto-Supervisionato Dinamico (Dynamic SSL)

Per garantire la plasticità e accelerare l'apprendimento delle nuove classi, viene utilizzato un loss auto-supervisionato sui dati non etichettati:

• Obiettivo: Estrarre feature generali utili per compiti diversi, aiutando il modello a identificare caratteristiche rilevanti per classi non viste.
• Pesatura Dinamica: L'applicazione ingenua di SSL può degradare le prestazioni del compito principale (classificazione). Per bilanciare questo effetto, viene introdotta una pesatura dinamica del loss SSL ($\alpha$):
  • $\alpha = c \cdot \omega^t$, dove $t$ è il numero del task.
  • Poiché $\omega < 1$, il peso dell'SSL diminuisce progressivamente nel tempo. Questo assicura che il modello si concentri principalmente sulla classificazione (task primario) nelle fasi avanzate, pur beneficiando della generalizzazione iniziale dell'SSL.

3. Contributi Chiave

1. Framework CIR Realistico: Adattamento efficace della metodologia di apprendimento continuo a scenari con ripetizione di classi e accesso a dati non etichettati esterni.
2. MLKD Avanzato: Introduzione di una distillazione che combina feature, logit basati su correlazioni (matrici di Gram) e l'uso aggregato di più modelli storici aggiornati via EMA.
3. Strategia SSL Dinamica: Un meccanismo di pesatura adattiva che bilancia l'apprendimento auto-supervisionato con il compito di classificazione, prevenendo il degrado delle prestazioni.
4. Prestazioni di Stato dell'Arte: Il metodo ha ottenuto il 2° posto nella 5ª Sfida CLVISION di CVPR 2024.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un subset di ImageNet-1K (130 classi: uccelli, animali marini, insetti) con un flusso di 50 task.

• Configurazione: ResNet-18, buffer di memoria limitato a 200 campioni, vincoli di GPU (8GB) e tempo (600 min).
• Confronto delle Prestazioni (Accuratezza Finale):
  • Fine-tuning: 5.82% (Oblio catastrofico severo).
  • Baseline: 19.54%.
  • Baseline + Dynamic SSL: 23.82%.
  • Baseline + MLKD: 39.82%.
  • Metodo Completo (Ours): 42.00%.
• Studi Ablativi:
  • L'uso di 3 modelli precedenti si è rivelato ottimale (42.00%), superando l'uso di 1 o 2 modelli, mentre 4 modelli hanno portato a un leggero calo (41.84%) a causa della ridondanza e dei costi computazionali.
  • La pesatura dinamica dell'SSL ha migliorato l'accuratezza da 40.76% (senza pesatura) a 42.00%.
  • Tra le varie tecniche SSL testate, la Rotazione delle immagini (Rotation Prediction) ha superato metodi più complessi come SimCLR o VICReg, probabilmente a causa dei vincoli di dimensione del batch e tempo di addestramento della sfida.

5. Significato e Conclusione

Il lavoro dimostra che è possibile ottenere alte prestazioni nell'apprendimento continuo senza violare la privacy o richiedere grandi buffer di memoria, sfruttando intelligentemente i dati non etichettati esterni.
La combinazione di MLKD (per preservare la conoscenza passata attraverso più livelli e modelli) e Dynamic SSL (per accelerare l'adattamento a nuovi concetti) rappresenta un approccio robusto per colmare il divario tra le impostazioni teoriche dell'CIL e gli scenari reali complessi. Il successo nella sfida CLVISION conferma l'efficacia di queste strategie nel gestire la stabilità e la plasticità in ambienti dinamici.