Riepilogo Tecnico: CMAP – Prompting Adattivo Cross-Modale per l'Apprendimento Incrementale di Task Multi-Dominio

1. Definizione del Problema

Il documento affronta l'Apprendimento Incrementale di Task Multi-Dominio (MTIL), un contesto in cui un modello deve apprendere sequenzialmente task provenienti da domini visivamente diversificati senza accesso ai dati passati e senza conoscere l'identità del task al momento dell'inferenza. Questo scenario presenta due sfide principali:

• Dimenticanza Catastrofica: La tendenza di un modello a sovrascrivere le conoscenze acquisite in precedenza quando si adatta a nuovi task.
• Dimenticanza Avanzata: Il degrado della capacità del modello di generalizzare su task non visti quando ci si adatta in modo troppo aggressivo ai task già osservati.

Sebbene i metodi di fine-tuning efficiente dei parametri (PEFT) basati su Modelli Linguaggio-Visivo (VLM) congelati come CLIP abbiano mostrato promesse, gli approcci esistenti soffrono di una limitazione fondamentale: si affidano esclusivamente a caratteristiche visive per l'instradamento dei task, la stima della confidenza e l'adattamento dell'encoder. Ciò ignora lo spazio di embedding testuale cross-modale, ricco e semanticamente stabile, intrinseco a CLIP, trattando un modello cross-modale come se fosse esclusivamente visivo.

2. Metodologia: CMAP

Gli autori propongono CMAP (Cross-Modal Adaptive Prompting), un framework che integra la consapevolezza cross-modale in ogni fase del processo di inferenza e adattamento. Il metodo si basa sulla linea di base IAP (che utilizza un gating Hard Gumbel per livello e una confidenza Gaussiana visiva) introducendo tre specifici meccanismi cross-modali:

2.1 Instradamento dei Task nello Spazio Testuale

I metodi esistenti instradano i task calcolando la log-probabilità delle caratteristiche visive sotto Gaussianhe visive specifiche per task. CMAP sostituisce questo con la somiglianza coseno rispetto a prototipi testuali CLIP congelati.

• Meccanismo: Per ogni task $t$, un prototipo testuale $\tau_t$ viene calcolato mediando gli embedding testuali congelati di tutti i nomi delle classi nell'insieme di etichette di quel task.
• Inferenza: Al momento dell'inferenza, la caratteristica visiva dell'immagine di input viene confrontata con tutti i $\tau_t$ tramite somiglianza coseno per selezionare il task più probabile.
• Vantaggio: Questo non richiede parametri aggiuntivi apprendibili, è invariante rispetto all'ordine di arrivo dei task e rimane robusto anche con dati di training scarsi, poiché si basa su conoscenze semantiche pre-addestrate piuttosto che su statistiche visive apprese.

2.2 Confidenza Visivo-Testuale Multi-Prototipo (MPVTC)

Il lavoro precedente modella la confidenza di classe utilizzando una singola Gaussiana visiva e soglie globali fisse. CMAP introduce una strategia di stima della confidenza più robusta:

• Visuali Multi-Prototipo: Invece di un singolo centroide, ogni classe è rappresentata da $K$ centroidi di cluster visivi (tramite K-means) per gestire distribuzioni visive multi-modali (ad esempio, diversi angoli di un oggetto).
• Allineamento Cross-Modale: Il punteggio di confidenza per una classe combina la massima somiglianza con i prototipi visivi con la somiglianza con l'embedding testuale della classe.
• Soglie Adattive al Task: Invece di utilizzare soglie globali fisse, CMAP calibra automaticamente le soglie di confidenza superiore e inferiore basandosi sull'80° e sul 20° percentile della distribuzione di training per ogni specifico task.
• Output: Da questo punteggio di confidenza congiunto viene derivato un peso di prompting dinamico, che determina se applicare i prompt (alta confidenza), sopprimerli (bassa confidenza) o applicarli in proporzione.

2.3 Gating Cross-Modale Simmetrico

Nella linea di base, solo l'encoder delle immagini è sottoposto a gating. Se il gate dell'immagine si chiude (ad esempio, su input fuori distribuzione), l'encoder del testo riceve comunque prompt specifici per il task, rompendo l'allineamento cross-modale che CLIP è stato addestrato a mantenere.

• Meccanismo: CMAP estende il meccanismo di gating Hard Gumbel in modo simmetrico all'encoder del testo.
• Condizionamento: La decisione di gating per l'encoder del testo è condizionata alle caratteristiche medie delle immagini del batch.
• Risultato: Sia l'encoder delle immagini che quello del testo aprono o chiudono i loro meccanismi di iniezione dei prompt simultaneamente. Ciò garantisce che la coerenza cross-modale sia preservata anche quando il modello incontra input fuori distribuzione.

3. Contributi Chiave

Il documento identifica tre lacune specifiche nella letteratura MTIL esistente e le affronta come segue:

1. Instradamento dei Task nello Spazio Testuale: Sostituisce l'instradamento Gaussiano visivo con la somiglianza coseno rispetto a prototipi testuali congelati, ottenendo un instradamento indipendente dall'ordine con zero parametri aggiuntivi apprendibili.
2. Confidenza Visivo-Testuale Multi-Prototipo (MPVTC): Combina prototipi visivi K-means con punteggi di allineamento cross-modale e soglie adattive al task per fornire una stima affidabile della confidenza a livello di istanza.
3. Gating Cross-Modale Simmetrico: Estende il gating per livello all'encoder del testo condizionato alle caratteristiche delle immagini, garantendo una co-adattazione e una co-soppressione coerenti di entrambe le modalità.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark MTIL, che copre 11 dataset e 1.201 classi, sotto due ordinamenti dei task (Order-I e Order-II) e in un setting con dati scarsi da 16 shot.

• Prestazioni (Order-I): CMAP ha raggiunto il 73,6% Transfer, l'81,4% Average e l'88,9% Last. Questo supera lo stato dell'arte precedente (IAP) rispettivamente di 4,4, 4,6 e 3,2 punti percentuali.
• Efficienza dei Dati: Nel setting da 16 shot, il divario del metrico Transfer rispetto alla linea di base Gaussiana visiva si è ampliato al 6,2%, dimostrando che i prototipi testuali scalano elegantemente laddove le statistiche visive si degradano a causa di campioni limitati.
• Efficienza dei Parametri: Il metodo introduce solo 0,09M parametri aggiuntivi (per il gating del testo), portando il totale dei parametri addestrabili a 2,5M. Questo è significativamente inferiore al fine-tuning completo (211M) o a MoE-Adapter (59,8M), pur superandoli nelle prestazioni.
• Studi di Ablazione:
  • La rimozione dell'instradamento nello spazio testuale ha causato il calo più ampio nelle prestazioni di Transfer.
  • La rimozione del gating simmetrico ha causato i cali più ampi nelle metriche Average e Last, evidenziando il suo ruolo nel mantenimento delle conoscenze.
  • La combinazione dei segnali di confidenza visiva e testuale ha prodotto risultati migliori rispetto all'uso di una sola modalità, confermando che catturano informazioni complementari.

5. Significato e Affermazioni

Il documento afferma che la principale fonte di potenziale inesplorato nei metodi MTIL attuali è il mancato utilizzo dello spazio di embedding testuale cross-modale dei VLM pre-addestrati. Trattando CLIP come un modello esclusivamente visivo, i metodi esistenti trascurano la stabilità semantica e le capacità di generalizzazione zero-shot intrinseche nell'encoder del testo.

Il significato di CMAP risiede nel dimostrare che sfruttare l'allineamento cross-modale pre-addestrato è una strategia di adattamento più efficiente in termini di parametri rispetto al semplice aumento della capacità del modello o all'uso di buffer di memoria complessi. Gli autori affermano che il loro approccio raggiunge prestazioni all'avanguardia su tutte le metriche con parametri addestrabili minimi e senza dati esterni, dimostrando che i segnali cross-modali sono fondamentali per un apprendimento incrementale robusto in contesti con dati scarsi e domini diversificati.