Riepilogo Tecnico: Scalare l'Apprendimento Continuo a 300+ Attività con il Mixture-of-Experts a Routing Bi-Livello (CaRE)

1. Enunciato del Problema

L'apprendimento continuo, in particolare l'Apprendimento Incrementale di Classe (CIL), mira a consentire ai modelli di apprendere nuove attività in sequenza senza dimenticare le conoscenze precedenti. Sebbene gli approcci recenti che sfruttano Modelli Pre-addestrati (PTM) e Fine-Tuning Efficiente in Parametri (PEFT) abbiano mostrato promesse, affrontano sfide significative quando si scalano a sequenze di attività molto lunghe (ad esempio, centinaia di attività).

Le difficoltà principali identificate sono:

• Bilanciamento tra Rappresentazioni Discriminative e Comprehensive: I metodi esistenti spesso faticano a generare rappresentazioni che siano altamente discriminative per classi specifiche e allo stesso tempo sufficientemente complete per sfruttare conoscenze complementari da attività storiche semanticamente correlate. Le strategie a grana grossa (ad esempio, prompt globali) non riescono a sfruttare efficacemente segnali complementari a grana fine.
• Decisioni Locali a Più Livelli: I modelli visivi possiedono diversi livelli di astrazione attraverso diverse profondità della rete. Una strategia di routing statica non riesce a prendere decisioni locali ottimali a ogni livello intermedio per incorporare selettivamente la conoscenza storica.
• Mancanza di Benchmark Scalabili: La maggior parte dei benchmark CIL esistenti (ad esempio, CIFAR-100, sottoinsiemi standard di ImageNet) è limitata a un piccolo numero di classi (spesso <100), rendendoli inadatti a valutare le prestazioni su sequenze lunghe (100–300+ attività). Ciò lascia in gran parte inesplorata la scalabilità dei metodi attuali verso flussi di attività reali e illimitati.

2. Metodologia: CaRE e BR-MoE

Gli autori propongono CaRE (Continual Learner with efficient Bi-Level Routing Mixture-of-Experts), costruito su una spina dorsale (backbone) di Vision Transformer (ViT) congelata. L'innovazione centrale è il modulo Mixture-of-Experts a Routing Bi-Livello (BR-MoE), integrato in ogni blocco costruttivo del ViT.

2.1 Panoramica dell'Architettura

Per ogni attività incrementale $t$, CaRE apprende una tripletta di componenti efficienti in parametri all'interno di ogni modulo BR-MoE:

1. Perceptron di Classe ($C_t$): Estrae informazioni discriminative a livello di classe.
2. Rete Router ($R_t$): Genera coefficienti di gating per la selezione degli esperti.
3. Esperto/Adattatore ($E_t$): Un adattatore specifico per l'attività per la trasformazione delle caratteristiche.
   Inoltre, viene mantenuto un Esperto Condiviso ($\bar{E}$), aggiornato tramite Media Mobile Esponenziale (EMA) su tutte le attività per codificare conoscenze consolidate tra le attività.

2.2 Il Meccanismo di Routing Bi-Livello

Il processo di routing avviene in due fasi dinamiche per ogni caratteristica di input $z_a$ a ogni livello:

Fase 1: Selezione Dinamica del Router

• Il token [CLS] della caratteristica di input viene inviato a tutti i perceptron di classe appresi $\{C_t\}$.
• Ogni perceptron produce una distribuzione di probabilità sulle classi della sua attività.
• Viene calcolata l'entropia di queste distribuzioni. Un'entropia più bassa indica una maggiore fiducia che l'input appartenga a quell'attività.
• Il sistema seleziona le reti router Top-M associate ai valori di entropia più bassi (attività più probabili). Ciò garantisce che il modello recuperi conoscenze dalle attività storiche semanticamente più rilevanti.

Fase 2: Routing Dinamico degli Esperti

• Ciascuno dei $M$ router selezionati genera punteggi di gating per il suo insieme associato di esperti specifici per l'attività (adattatori).
• Per ogni router, gli Top-K esperti con i punteggi di gating più alti vengono attivati e aggregati.
• L'Esperto Condiviso ($\bar{E}$) viene sempre attivato per arricchire la rappresentazione con conoscenze generali tra le attività.
• L'output finale è la somma delle caratteristiche specifiche per l'attività aggregate e l'output dell'esperto condiviso.

2.3 Obiettivi di Addestramento

• Perdita di Classificazione: Viene applicata una perdita standard con penalità angolare al livello finale.
• Supervisione del Perceptron di Classe: Per garantire una guida semantica robusta ai livelli intermedi, il perceptron di classe a ogni livello $\ell$ è supervisionato non solo dalla propria perdita di classificazione, ma anche da una perdita di divergenza KL rispetto alle probabilità softmax del livello finale. Ciò costringe i livelli intermedi a imitare astrazioni semantiche di alto livello, consentendo decisioni locali efficaci.

3. Contributi Chiave

3.1 Il Framework CaRE

CaRE è il primo apprenditore continuo progettato per scalare efficacemente a sequenze di attività molto lunghe (da 100 a 300+ attività non sovrapposte). Sfruttando un meccanismo di routing bi-livello, inietta dinamicamente sia rappresentazioni discriminative che complete in ogni livello intermedio della rete, consentendo un recupero di conoscenze personalizzato a diversi livelli di astrazione.

3.2 OmniBenchmark-1K

Per affrontare la mancanza di protocolli di valutazione adatti per sequenze lunghe, gli autori introducono OmniBenchmark-1K. Curato da OmniBenchmark-V2, questo dataset contiene 1.000 classi attraverso 21 domini visivi con circa 190.000 immagini. È specificamente progettato per facilitare valutazioni CIL scalabili con centinaia di attività, superando i limiti dei benchmark esistenti come CIFAR-100.

3.3 Validazione Empirica

Esperimenti estensivi dimostrano che CaRE supera i metodi CIL basati su PTM all'avanguardia (ad esempio, L2P, DualPrompt, TUNA, MOS, MIN) in contesti diversi:

• Sequenze Lunghe: Su OmniBenchmark-1K, CaRE ottiene guadagni significativi nell'accuratezza finale ($A_B$) rispetto alle linee di base attraverso impostazioni di 100, 151, 200 e 301 attività. Ad esempio, supera TUNA del 8,23% e MIN dell'8,68% in $A_B$ rispettivamente su 100 e 151 attività.
• Sequenze Brevi: CaRE mantiene anche prestazioni superiori sui benchmark classici (CIFAR-100, ImageNet-R, ImageNet-A, VTAB) con 5–20 attività, dimostrando robustezza attraverso le lunghezze delle sequenze.
• Efficienza: CaRE raggiunge un compromesso favorevole tra prestazioni e costo computazionale, utilizzando significativamente meno parametri addestrabili e una latenza di inferenza inferiore rispetto a metodi come MOS e TUNA, pur fornendo una maggiore accuratezza.

4. Significato e Affermazioni

Il documento afferma che CaRE rappresenta un passo significativo in avanti nel rendere l'apprendimento continuo pratico per scenari reali in cui i flussi di dati sono non stazionari e le sequenze di attività sono potenzialmente illimitate.

• Scalabilità: Il lavoro è presentato come il primo a scalare con successo il CIL a oltre 300 attività non sovrapposte mantenendo una chiara superiorità nelle prestazioni.
• Validità del Meccanismo: Gli autori sostengono che il meccanismo di routing bi-livello affronta efficacemente il dilemma "stabilità-plasticità" consentendo al modello di recuperare dinamicamente conoscenze storiche rilevanti (tramite selezione del router) e aggregare caratteristiche complementari (tramite routing degli esperti) a ogni livello.
• Impatto sulla Comunità: Rilasciando sia il codice di CaRE che il dataset OmniBenchmark-1K, gli autori mirano a ispirare ulteriori ricerche su sequenze di attività estremamente lunghe, un dominio precedentemente ostacolato dalla mancanza di benchmark appropriati e metodi scalabili.

Il documento conclude con un riconoscimento modesto che, sebbene CaRE si estenda a 300+ attività, la complessità del modello cresce ancora linearmente con il numero di attività (a causa dell'aggiunta di nuovi moduli), e il lavoro futuro potrebbe concentrarsi su un'ulteriore semplificazione architetturale e sull'estensione di questi protocolli ai modelli visione-linguaggio.