Riepilogo Tecnico: ACIL – Active Class Incremental Learning per la Classificazione di Immagini

1. Definizione del Problema

Il documento affronta la sfida dell'Apprendimento Incrementale di Classe (Class Incremental Learning - CIL) nella visione artificiale, uno scenario in cui le reti neurali profonde (DNN) devono apprendere nuove classi sequenzialmente da dati episodici, mantenendo al contempo la conoscenza delle classi precedentemente apprese. Un ostacolo primario nel CIL è l'oblio catastrofico (catastrophic forgetting), in cui l'ottimizzazione della rete per le nuove classi cancella la conoscenza di quelle vecchie.

La ricerca esistente sul CIL si concentra principalmente sulla mitigazione dell'oblio, assumendo spesso che tutti i campioni di addestramento in ogni episodio siano completamente annotati. Gli autori sostengono che questa assunzione sia irrealistica e inefficiente per due ragioni:

1. Alto Costo di Annotazione: L'annotazione manuale è costosa in termini di tempo, lavoro e competenza.
2. Spreco di Annotazione: Negli scenari episodici, la maggior parte dei dati di un episodio corrente è inaccessibile negli episodi futuri. Annotare tutti i campioni di un episodio è quindi uno spreco di sforzo, poiché solo un sottoinsieme di questi campoli (exemplars) sarà necessario per prevenire l'oblio nei passaggi successivi.

Il documento propone un nuovo scenario in cui, in ogni episodio, solo una piccola porzione di dati viene annotata, mentre la maggior parte rimane non etichettata. L'obiettivo è sviluppare un framework che selezioni un set minimo di campioni esemplari (exemplar samples) da annotare e propagare agli episodi futuri, riducendo così i costi di annotazione pur prevenendo efficacemente l'oblio catastrofico.

2. Metodologia: Il Framework ACIL

Gli autori propongono ACIL (Active Class Incremental Learning), un framework che integra strategie di Apprendimento Attivo (Active Learning - AL) nel processo CIL. Il meccanismo centrale prevede la selezione di un set di esemplari di dimensione fissa $k$ in ogni episodio, da annotare manualmente e aggiungere ai dati dell'episodio successivo.

2.1 Configurazione del Problema

• Flusso di Dati: I dati di addestramento arrivano in $N$ episodi sequenziali. Ogni episodio $n$ contiene un piccolo set etichettato ($X^L_n$), un grande set non etichettato ($X^U_n$) e un set di esemplari ($E_{n-1}$) proveniente dall'episodio precedente.
• Vincolo: Il modello è addestrato su $X^L_n$ ed $E_{n-1}$. Dal episodio corrente, il sistema deve selezionare un nuovo set di esemplari $E_n$ di dimensione $k$ da annotare.
• Fonte di Selezione: $E_n$ è costruito selezionando campioni da $X^U_n$ (dati correnti non etichettati), $E_{n-1}$ (esemplari precedenti) e potenzialmente $X^L_n$ (sebbene gli autori notino che $X^U_n$ è prioritario a causa delle dimensioni).

2.2 Strategia di Divisione del Budget

Per bilanciare l'apprendimento di nuove classi e la conservazione della vecchia conoscenza, ACIL divide il budget di annotazione $k$ tra l'attuale set non etichettato ($X^U_n$) e il precedente set di esemplari ($E_{n-1}$).

• La divisione è proporzionale al numero di classi presenti in ciascun set ($|C_{episode}|$ vs. $|C_{exemplar}|$).
• Formula:
  $$k_{unlabeled} = \left( \frac{|C_{episode}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$$
  $$k_{exemplar} = \left( \frac{|C_{exemplar}|}{|C_{episode}| + |C_{exemplar}|} \right) \cdot k$$
• Ciò garantisce che il set di esemplari $E_n$ mantenga una rappresentazione di tutte le classi viste finora, mitigando l'oblio.

2.3 Strategia di Campionamento Attivo

La selezione dei campioni specifici all'interno del budget allocato è guidata da un criterio che combina incertezza e diversità.

• Incertezza: Misurata tramite l'entropia di Shannon delle predizioni del modello.
• Diversità: Ottenuta partizionando l'insieme dei candidati in $B$ cluster (dove $B$ è il budget) in modo che la varianza all'interno di ogni cluster sia minimizzata.
• Ottimizzazione: Gli autori formulano un problema di partizione di set pesato per minimizzare la varianza pesata all'interno delle partizioni, dove il peso è l'incertezza della predizione.
  $$\text{argmin}_P \sum_{b=1}^{B} \sum_{x \in X_b} I(x) ||F(x) - c_b||^2$$
  Dove $I(x)$ è l'incertezza (entropia) e $F(x)$ è l'embedding delle caratteristiche (feature embedding).
• Algoritmo: Un problema NP-difficile approssimato tramite Weighted K-Means. Il campione più vicino al centroide pesato in ogni partizione viene selezionato per l'annotazione.

2.4 Funzione di Perdita (Loss Function)

La DNN è addestrata utilizzando una combinazione di:

1. Weighted Cross-Entropy Loss ($L_{WCE}$): Applicata ai dati etichettati ($X^L_n \cup E_{n-1}$) per gestire lo sbilanciamento delle classi, con pesi inversamente proporzionali alla frequenza della classe.
2. Knowledge Distillation Loss ($L_D$): Applicata al set di esemplari $E_{n-1}$ per trasferire la conoscenza dal modello precedente ($M_{n-1}$) al modello corrente ($M_n$), prevenendo l'oblio.
   $$L = L_{WCE} + \lambda L_D$$

3. Contributi Chiave

1. Nuovo Paradigma di Apprendimento: Introduzione di un setting CIL in cui non si assume l'annotazione completa dei dati episodici, affrontando l'alto costo e l'inefficienza degli attuali benchmark CIL.
2. Framework ACIL: Un algoritmo specifico che seleziona gli esemplari basandosi su un duplice criterio di incertezza e diversità, utilizzando una strategia di divisione del budget per garantire la copertura sia delle nuove che delle vecchie classi.
3. Efficienza vs. Performance: Dimostrazione che ACIL può raggiungere prestazioni paragonabili ai metodi CIL allo stato dell'arte (che assumono la piena annotazione) riducendo drasticamente il numero di campioni che richiedono l'annotazione umana.

4. Risultati Sperimentali

Il framework è stato valutato su sei dataset di visione: MNIST, SVHN, CIFAR-10, CIFAR-100, COIL e Tiny ImageNet.

• Accuratezza: ACIL ha superato significativamente i baseline di Active Learning (Random, Coreset, BADGE), poiché tali metodi non riuscivano a mantenere la conoscenza degli episodi precedenti campionando solo dal set non etichettato corrente. ACIL ha raggiunto un'accuratezza comparabile, e in alcuni casi leggermente superiore, ai baseline CIL a piena annotazione (iCaRL, GDumb, Rainbow Memory).
• Sforzo di Annotazione: ACIL ha prodotto lo sforzo di annotazione più basso tra tutti i metodi. Ad esempio, su CIFAR-10, ACIL ha richiesto circa 4,13 volte meno annotazioni per episodio rispetto ai baseline CIL, mantenendo un'accuratezza simile.
• Ritenzione: ACIL ha dimostrato una forte ritenzione della conoscenza dal primo episodio, paragonabile ai metodi CIL basati sul replay, validando la sua capacità di mitigare l'oblio catastrofico.
• Robustezza: Gli esperimenti variando la dimensione del set di esemplari (budget) hanno mostrato che ACIL mantiene trend di performance coerenti con i baseline CIL attraverso diversi vincoli di memoria.

5. Significato e Rivendicazioni

Il documento afferma che ACIL offre una soluzione pratica per le applicazioni di apprendimento incrementale nel mondo reale dove:

• La memoria è limitata: La dimensione del set di esemplari è fissa, simulando una memoria limitata.
• L'annotazione è costosa: Il framework riduce drasticamente il lavoro umano richiesto per addestrare i modelli nel tempo.
• I dati sono effimeri: La capacità di apprendere da un set limitato di campioni annotati in ogni episodio si allinea ai vincoli di privacy e archiviazione dove i dati passati non possono essere mantenuti interamente.

Gli autori concludono che, selezionando intelligentemente un piccolo sottoinsieme di campioni informativi da propagare, ACIL riesce a bilanciare con successo il compromesso tra costo di annotazione e performance del modello, rendendo l'apprendimento continuo più fattibile per ambienti con risorse limitate. Si nota come il lavoro futuro possa potenzialmente estendere questo framework ai compiti di regressione.