LDEPrompt: Layer-importance guided Dual Expandable Prompt Pool for Pre-trained Model-based Class-Incremental Learning

1. Il Problema: Apprendimento Incrementale di Classe (CIL) e Limitazioni Attuali

L'apprendimento incrementale di classe (Class-Incremental Learning - CIL) mira a far acquisire a un modello di deep learning nuove conoscenze (nuove classi) senza dimenticare quelle apprese in precedenza, evitando allo stesso tempo di memorizzare i dati dei task passati (impostazione exemplar-free).

Sebbene i metodi basati su Prompting (che utilizzano modelli pre-addestrati - PTM - congelati e aggiungono vettori di prompt addestrabili) abbiano mostrato risultati promettenti, le approcci esistenti soffrono di tre limitazioni critiche:

1. Rischio di Sovrascrittura: I prompt selezionati ripetutamente per task diversi tendono a sovrascriversi, aggravando il "dimenticamento catastrofico".
2. Pool Fisso: Il pool di prompt è di dimensione fissa, limitando la capacità del modello di adattarsi a nuovi task complessi.
3. Dipendenza dal Backbone: La selezione dei prompt dipende esclusivamente dalle embedding del modello pre-addestrato congelato, che mancano di informazioni specifiche per il task, creando una forte dipendenza dal backbone originale.

2. Metodologia: LDEPrompt

Gli autori propongono LDEPrompt (Layer-importance guided Dual Expandable Prompt Pool), un framework che risolve i problemi sopra citati attraverso due meccanismi principali: la selezione adattiva dei livelli e un'architettura a doppio pool espandibile.

A. Valutazione dell'Importanza del Livello (Layer Importance Evaluation)

Invece di inserire prompt in tutti i livelli o in livelli fissi, LDEPrompt seleziona dinamicamente i livelli più informativi del backbone pre-addestrato prima di ogni nuovo task:

• Viene eseguita una valutazione del guadagno di informazione (Information Gain - IG) per ogni livello $l$, calcolato come la differenza tra l'informazione mutua dell'input e dell'output del livello.
• I punteggi di importanza vengono normalizzati e i livelli con un punteggio superiore alla media vengono selezionati per l'inserimento dei prompt. Questo riduce la ridondanza dei parametri e allinea l'allocazione dei prompt alle caratteristiche specifiche del task.

B. Pool di Prompt Duali Espandibili (Dual Expandable Prompt Pools)

Per prevenire la sovrascrittura e gestire la crescita delle conoscenze, viene introdotta un'architettura a due pool:

1. Pool Globale ($P_g$): Memorizza i prompt di tutti i task passati. Questi prompt vengono congelati dopo l'addestramento per preservare la conoscenza storica.
2. Pool di Addestramento ($P_c$): Contiene solo i prompt specifici per il task corrente, con una capacità fissa $S$.

Meccanismo di Interazione:

• All'inizio di un nuovo task, il modello recupera i prompt più simili (tramite similarità coseno delle feature intermedie, es. token [CLS]) dal Pool Globale e li fissa.
• I prompt rimanenti nel Pool di Addestramento vengono inizializzati casualmente e addestrati.
• Dopo l'addestramento, i nuovi prompt appresi vengono aggiunti al Pool Globale, espandendolo dinamicamente. Questo permette la condivisione dei prompt tra task senza sovrascrivere le conoscenze precedenti.

3. Contributi Chiave

• Selezione Adattiva dei Livelli: Introduce un metodo basato sul guadagno di informazione per determinare dove inserire i prompt, ottimizzando l'efficienza e l'efficacia rispetto all'inserimento in tutti i livelli.
• Architettura a Doppio Pool: Risolve il compromesso tra conservazione della conoscenza (congelamento) e apprendimento di nuove informazioni (addestramento) separando i prompt globali da quelli specifici per il task.
• Espansione Dinamica: Il pool globale cresce con l'aggiunta di nuovi task, superando il limite dei pool di dimensione fissa presenti negli stati dell'arte precedenti.
• Indipendenza dal Backbone: La selezione dei prompt è guidata dall'analisi dell'informazione del task corrente, riducendo la dipendenza esclusiva dalle embedding del modello pre-addestrato.

4. Risultati Sperimentali

Il metodo è stato valutato su benchmark ampiamente utilizzati per l'apprendimento incrementale: CIFAR100, CUB (Caltech-UCSD Birds) e VTAB.

• Performance Complessiva: LDEPrompt ha raggiunto lo stato dell'arte (SOTA) su tre dei quattro scenari di test principali.
• Miglioramenti Specifici:
  • Su CIFAR100 (B0-Inc10): Superiore del 0,50% rispetto al secondo miglior metodo (in termini di accuratezza finale).
  • Su CUB (B0-Inc20): Superiore del 2,91% in accuratezza finale.
  • Su VTAB (B0-Inc10): Superiore del 1,37% in accuratezza finale.
• Analisi di Ablazione: Gli esperimenti dimostrano che sia il congelamento dei prompt globali che l'espansione dinamica sono essenziali. Inoltre, l'inserimento selettivo dei prompt (basato sull'importanza del livello) è superiore all'inserimento in tutti i livelli, che introduce ridondanza parametrica.

5. Significato e Impatto

LDEPrompt rappresenta un avanzamento significativo nel campo dell'apprendimento continuo basato su prompt. Dimostra che:

1. La allocazione dei prompt a livello di strato è cruciale per l'efficienza e le prestazioni.
2. Un'architettura espandibile e dinamica è necessaria per scalare l'apprendimento incrementale senza dimenticare i task precedenti.
3. È possibile combinare la stabilità della conoscenza (tramite il pool globale congelato) con la plasticità necessaria per nuovi task (tramite il pool di addestramento), offrendo una direzione promettente per futuri sistemi di intelligenza artificiale capaci di apprendere continuamente in ambienti reali.

Il codice è disponibile pubblicamente su GitHub, facilitando la riproducibilità e l'ulteriore ricerca in questo settore.