Sintesi Tecnica: HERMAN per il Class-Incremental Learning

Definizione del Problema

Il Class-Incremental Learning (CIL) mira ad acquisire continuamente nuove classi preservando la conoscenza delle categorie apprese in precedenza. Una sfida primaria in questo contesto è il catastrofico oblio (catastrophic forgetting), in cui l'apprendimento di nuove informazioni degrada le prestazioni sui vecchi task. Sebbene approcci recenti sfruttino modelli pre-addestrati come CLIP per fornire un forte allineamento cross-modale e una conoscenza a priori, i metodi basati su CLIP soffrono di due criticità fondamentali:

1. Rappresentazione della Conoscenza Fragile: La maggior parte dei metodi si affida a un allineamento a livello singolo e grossolano tra l'ultimo strato visivo e template testuali fissi (ad es., "una foto di un [CLASS]"). Ciò costringe gli aggiornamenti a grana fine (ad es., distinguere un "lupo" da un "cane") nello stesso spazio semantico utilizzato per separazioni grossolane (ad es., "canide" vs "felide"). Di conseguenza, gli aggiornamenti per nuovi dettagli possono involontariamente spostare i confini decisionali, degradando le prestazioni sulle classi precedenti.
2. Sottoutilizzo della Semantica Gerarchica: Gli encoder visivi e testuali di CLIP catturano intrinsecamente caratteristiche e descrittori a più livelli, che spaziano dai concetti grossolani agli attributi a grana fine. Tuttavia, i metodi esistenti tipicamente ignorano queste rappresentazioni intermedie, concentrandosi esclusivamente sull'ultimo strato.

Metodologia: HERMAN

Gli autori propongono HERMAN (HiErarchical Representation MAtchiNg), un framework progettato per strutturare, allineare e instradare adattivamente la semantica gerarchica all'interno del CIL basato su CLIP. Il metodo consiste in tre componenti principali:

1. Corrispondenza di Rappresentazione Gerarchica

Invece di utilizzare un singolo prompt fisso, HERMAN sfrutta i Large Language Models (LLM) per generare un insieme di $M$ descrittori testuali per ogni classe, che spaziano da indizi di identità grossolani a dettagli visivi a grana fine.

• Generazione Testuale: Per una classe $i$, un LLM genera ricorsivamente i descrittori $T_i = \{t_{i,1}, \dots, t_{i,M}\}$. Ad esempio, per "Aston Martin Virage", i descrittori variano da "auto sportiva" (grossolano) a "pannelli laterali scolpiti" (fine).
• Allineamento Multi-livello: Questi descrittori vengono codificati tramite l'encoder testuale di CLIP per formare uno spazio testuale gerarchico. Il modello allinea esplicitamente questi embedding testuali con gli strati visivi intermedi dell'encoder visivo di CLIP (non solo l'ultimo strato).
• Aggregazione Top-K: Per ridurre il rumore, il modello seleziona i top-$K$ descrittori più allineati per ogni strato visivo e li aggrega in un embedding testuale compatto $h_i^b$ per lo strato $b$.

2. Instradamento Gerarchico Adattivo

Riconoscendo che l'importanza di diversi livelli gerarchici varia in base all'input e al task, HERMAN introduce un router adattivo condizionato dall'input.

• Ponderazione Dinamica: Un livello lineare leggero genera pesi non negativi $\beta_i$ basati sulla rappresentazione visiva finale. Questi pesi bilanciano dinamicamente i contributi degli embedding testuali gerarchici unificati provenienti da diversi strati per formare la rappresentazione finale $\tilde{h}_i$.
• Aggiornamento Basato su Proiezione (Anti-Oblio): Per evitare che il router dimentichi le policy apprese per i task precedenti, i pesi del router vengono aggiornati utilizzando una strategia basata sulla proiezione.
  • La matrice dei pesi $W_r$ viene decomposta tramite la Decomposizione ai Valori Singolari (SVD).
  • Viene costruita una matrice di proiezione $P_{old}$ per preservare il sottospazio contenente i pattern di instradamento dei task precedenti.
  • I nuovi aggiornamenti vengono decomposti in componenti all'interno di questo sottospazio preservato (stabilità) e direzioni ortogonali (plasticità). L'aggiornamento finale combina questi elementi per adattarsi ai nuovi task senza interrompere la conoscenza stabilita.

3. Corrispondenza Cross-Modale e Addestramento

Il framework impiega un adapter visivo leggero e un obiettivo contrastivo.

• Embedding Misti: La predizione finale utilizza un'interpolazione convessa dell'embedding gerarchico aggregato $\tilde{h}_i$ e dell'embedding del template standard $e_i$, controllata da un fattore $\lambda$.
• Replay Generativo: Per mitigare ulteriormente l'oblio senza memorizzare immagini grezze, il metodo utilizza il replay generativo a livello di feature. Modella la distribuzione del token visivo finale ($x_{cls}^B$) per ogni classe come una distribuzione Gaussiana, campionando pseudo-feature durante l'addestramento incrementale per stabilizzare la conoscenza passata.

Contributi Chiave

1. Strutturazione Semantica Gerarchica: Il paper introduce un metodo per generare e allineare descrittori testuali multi-livello con caratteristiche visive intermedie, andando oltre l'allineamento a singolo strato per creare uno spazio semantico strutturato.
2. Meccanismo di Instradamento Adattivo: Un nuovo router bilancia dinamicamente i contributi gerarchici per ogni istanza, permettendo al modello di dare priorità a indizi grossolani o fini secondo necessità.
3. Adattamento Continuo Basato su Proiezione: Una strategia di aggiornamento basata sulla proiezione per il router assicura che l'apprendimento di nuovi task non sovrascriva le policy di instradamento essenziali per i task precedenti, mitigando efficacemente il catastrofico oblio.
4. Prestazioni allo Stato dell'Arte: L'integrazione di questi componenti risulta in un framework che migliora la discriminazione e la robustezza negli scenari di apprendimento continuo.

Risultati Sperimentali

Gli autori hanno valutato HERMAN su nove dataset benchmark (inclusi CIFAR100, ImageNet-R, CUB200, StanfordCars e SUN397) sotto varie impostazioni incrementali (ad es., Base0 Inc10, Base50 Inc10).

• Prestazioni: HERMAN supera costantemente i metodi allo stato dell'arte (inclusi L2P, DualPrompt, CODA-Prompt, RAPF e PROOF) del 1% al 5% in termini di accuratezza media ($\bar{A}$) e accuratezza finale ($A_B$).
• Robustezza: Il metodo dimostra stabilità attraverso diversi seed casuali per la partizione delle classi e rimane robusto alle variazioni degli iperparametri (ad es., numero di descrittori Top-K, fattore di miscelazione $\lambda$ e parametri di proiezione $\delta, \rho$).
• Efficienza: HERMAN richiede meno tempo di addestramento rispetto ai metodi concorrenti pur mantenendo prestazioni superiori, rendendolo computazionalmente efficiente per task su larga scala.
• Studi di Ablazione: Gli esperimenti confermano che ogni componente (descrittori LLM, router adattivo e aggiornamenti di proiezione) contribuisce positivamente alle prestazioni finali. Il meccanismo di proiezione è specificamente dimostrato essere in grado di mantenere un'alta similarità del coseno tra gli embedding visivi e testuali delle classi vecchie nel tempo, a differenza dei metodi senza proiezione che subiscono un rapido degrado.

Significato e Rivendicazioni

Il paper sostiene che HERMAN affronti la fragilità fondamentale degli esistenti metodi CIL basati su CLIP attraverso il disaccoppiamento dell'apprendimento tra diverse granularità semantiche. Isolando gli aggiornamenti a grana fine a specifici livelli della gerarchia mentre ancora le separazioni grossolane, il metodo previene gli spostamenti distruttivi dei confini. Gli autori affermano che il loro approccio sfrutta efficacementamente la capacità gerarchica intrinseca dei modelli pre-addestrati, trasformandoli in apprenditori continui più robusti capaci di adattarsi a nuove categorie senza dimenticare la conoscenza precedente. Il lavoro evidenzia il potenziale di combinare la ricchezza semantica generata dagli LLM con un allineamento strutturato e adattivo nei modelli visione-linguaggio.