Riepilogo Tecnico: Prototype Latent World Model Replay per il Class-Incremental Learning

1. Definizione del Problema

Il Class-Incremental Learning (CIL) richiede che un modello apprenda nuove categorie nel tempo senza avere accesso ai dati grezzi dei task precedenti. La sfida principale è il dimenticanza catastrofica (catastrophic forgetting), in cui l'apprendimento di nuove classi sovrascrive le regioni decisionali e le rappresentazioni delle caratteristiche delle classi vecchie. Le soluzioni esistenti affrontano limitazioni specifiche:

• I metodi basati sulla regolarizzazione vincolano le variazioni dei parametri ma non preservano esplicitamente le distribuzioni delle caratteristiche delle classi vecchie.
• I metodi basati sul rehearsal memorizzano esemplari grezzi, il che è spesso limitato da vincoli di archiviazione, privacy o scenari di deployment in cui i vecchi dati non possono essere conservati.
• I metodi di replay generativo tentano di sintetizzare vecchie immagini, ma possono essere computazionalmente costosi e instabili, producendo spesso artefatti che danneggiano l'addestramento del classificatore.

Il documento pone una domanda centrale: Un modello può ricordare le vecchie classi senza memorizzare o rigenerare vecchie immagini? Gli autori sostengono che, sebbene le immagini grezze non siano disponibili, le vecchie classi possono comunque essere rappresentate dai loro stati semantici all'interno di uno spazio latente stabile.

2. Metodologia: Prototype Latent World Model Replay

Il framework proposto, Prototype Latent World Model Replay, scinde il sistema di apprendimento in due spazi distinti per preservare la vecchia conoscenza pur adattandosi a nuovi task.

2.1 Architettura Core

1. Spazio dello Stato Latente Stabile ($\mathcal{H}$):
   • Un encoder ($E$) congelato, pre-addestrato su ImageNet, mappa le immagini di input in uno spazio di stato latente $\mathcal{H}$.
   • L'encoder è congelato durante l'apprendimento incrementale per garantire che il sistema di coordinate rimanga fisso. Ciò evita che il significato semantico dei prototipi memorizzati derivi man mano che vengono appresi nuovi task.
2. Spazio di Classificazione Adattivo ($\mathcal{Z}$):
   • Un adapter ($A$) leggero e addestrabile mappa gli stati latenti stabili $h \in \mathcal{H}$ in uno spazio di caratteristiche adattivo al task $z \in \mathcal{Z}$.
   • Un classificatore ($G$) opera su $z$ per produrre i logit per tutte le classi osservate.
   • Solo l'adapter e il classificatore vengono aggiornati durante l'addestramento incrementale, permettendo la plasticità per le nuove classi mantenendo stabile la sottostante "memoria del mondo".

2.2 Memoria del Mondo Prototipale Latente

Invece di memorizzare immagini grezze, il metodo memorizza le vecchie classi come distribuzioni su stati latenti.

• Rappresentazione Multi-Prototipo: Per ogni classe $c$, gli stati latenti $\{h_i\}$ sono raggruppati in $K$ gruppi per catturare le variazioni intra-classe (ad esempio, diverse pose o sfondi).
• Modellazione della Distribuzione: Ogni cluster $k$ è riassunto da una media $\mu_{c,k}$ e una varianza diagonale $\sigma^2_{c,k}$.
• Struttura della Memoria: La memoria per una classe è un mix di queste distribuzioni centrate sui prototipi:
  $$p(h | c) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{N}(h; \mu_{c,k}, \text{diag}(\sigma^2_{c,k}))$$
  Questo costituisce un "modello del mondo latente" che descrive i possibili stati semantici per una classe senza ricostruire i pixel.

2.3 Procedura di Addestramento

Quando arriva un nuovo task $t$:

1. Replay Latente: Per ogni vecchia classe, il modello campiona stati latenti sintetici $\tilde{h}_{old}$ dalle distribuzioni dei prototipi memorizzate. Questi stati vengono immessi direttamente nell'adapter e nel classificatore (bypassando l'encoder congelato).
2. Apprendimento delle Nuove Classi: Le immagini reali del task corrente vengono elaborate attraverso l'encoder congelato e l'adapter.
3. Funzione Obiettivo: La perdita totale combina tre termini:
   • $L_{new}$: Cross-entropy standard per le nuove classi.
   • $L_{replay}$: Cross-entropy per i campionati stati latenti vecchi, garantendo che il classificatore mantenga i segnali delle vecchie classi.
   • $L_{con}$: Una perdita contrastiva supervisionata applicata nello spazio dell'adapter $\mathcal{Z}$. Questo termine avvicina le caratteristiche della stessa classe (sia nuove reali che vecchie riprodotte) e allontana le caratteristiche di classi diverse, imponendo esplicitamente la separazione geometrica tra vecchie e nuove classi.

3. Contributi Chiave

1. Framework del Modello del Mondo Latente: Un framework CIL privo di memoria che preserva le vecchie classi come distribuzioni su stati latenti stabili pre-addestrati anziché come immagini grezze.
2. Memoria di Classe Basata su Prototipi: Un meccanismo che rappresenta ogni classe con molteplici prototipi latenti e varianze, catturando la variazione intra-classe multi-modale, combinato con il replay latente e la separazione contrastiva supervisionata.
3. Validazione Empirica: Valutazione completa su Split CIFAR-100 dimostrando che il replay dello stato latente stabile è il principale motore dei guadagni di prestazione, con la separazione contrastiva che affina la geometria decisionale.

4. Risultati Sperimentali

Il metodo è stato valutato su Split CIFAR-100 sotto tre protocolli incrementali: Inc5 (5 nuove classi per fase), Inc10, e Inc20.

• Prestazioni vs Fine-Tuning: Il modello completo (Ours-LWM+Con) supera significativamente il fine-tuning standard senza memorizzare immagini esemplari grezze.
  • Inc5: L'accuratezza finale (Last Accuracy) è migliorata dal 4.55% (Fine-tuning) al 31.64%.
  • Inc10: L'accuratezza finale è migliorata dal 9.06% al 37.06%.
  • Inc20: L'accuratezza finale è migliorata dal 16.96% al 43.10%.
• Confronto con i Baseline:
  • Il metodo supera i baseline senza memoria (es. LwF, FeTrIL, SimpleCIL) ed è competitivo con i forti metodi basati su esemplari (es. DER, iCaRL), nonostante memorizzi zero immagini grezze.
  • Ottiene Accuratezze Medie (AvgAcc) del 45.86%, 52.19% e 56.18% per Inc5, Inc10 e Inc20, rispettivamente.
• Studi di Ablazione:
  • Spazio H-Stabile: Il guadagno più significativo deriva dallo spazio latente stabile. Rimuovendolo (tornando al fine-tuning standard), l'accuratezza finale scende a singole cifre.
  • Perdita Contrastiva: L'aggiunta del termine contrastivo supervisionato fornisce un miglioramento marginale ma costante nella separazione dei confini decisionali tra vecchi e nuovi (es. +0.12% in Inc10 LastAcc), raffinando la geometria piuttosto che guidare il guadagno primario.

5. Significato e Rivendicazioni

Il documento sostiene che la dimenticanza catastrofica può essere mitigata preservando le distribuzioni delle classi in uno spazio latente stabile piuttosto che memorizzare dati grezzi o fare affidamento esclusivamente su pesi mutabili.

• Cambio di Paradigma della Memoria: Il lavoro suggerisce uno spostamento dall'apprendimento continuo "basato su esemplari" (memorizzare un sottoinsieme di osservazioni passate) all'apprendimento continuo "basato su distribuzione di stato" (memorizzare un modello compatto di dove risiede una classe nello spazio semantico).
• Evidenza Comportamentale: Le analisi di interpretabilità (visualizzazioni t-SNE e heatmap di ritenzione del task) mostrano che, mentre il fine-tuning fa collassare l'accuratezza del vecchio task vicino allo zero, il metodo proposto mantiene un'accuratezza non nulla sui vecchi task. Ciò indica che le distribuzioni latenti memorizzate rimangono interrogabili e significative anche dopo molti nuovi task appresi.
• Ambito Modesto: Gli autori riconoscono che il metodo dipende dalla qualità dell'encoder pre-addestato congelato. Se l'encoder non riesce a separare classi semanticamente simili, le distribuzioni latenti potrebbero sovrapporsi, limitando le prestazioni. L'implementazione attuale utilizza un semplice campionamento Gaussiano, lasciando spazio per future esplorazioni con stimatori di densità più espressivi o obiettivi auto-supervisionati.

In conclusione, il documento dimostra che un Prototype Latent World Model può servire come memoria compatta e riutilizzabile per il riconoscimento continuo, colmando efficacementamente il divario tra apprendimento di rappresentazioni pre-addestrate, replay latente e riconoscimento incrementale delle classi senza la necessità di memorizzare esemplari grezzi.