Evolving Prompt Adaptation for Vision-Language Models

Il paper propone EvoPrompt, un nuovo framework che utilizza un proiettore di prompt condiviso tra modalità e una strategia di addestramento evolutiva con regolarizzazione geometrica per guidare l'adattamento dei modelli visione-linguaggio su compiti con pochi dati, garantendo alte prestazioni few-shot senza dimenticare le capacità zero-shot pre-addestrate.

L'essenziale

Immagina di avere un genio della lampada (il modello di intelligenza artificiale chiamato VLM) che ha viaggiato per tutto il mondo, leggendo milioni di libri e guardando miliardi di foto. Questo genio sa tutto: sa riconoscere un gatto, capire una poesia, o distinguere un'auto da un camion, anche se non gli hai mai detto esplicitamente "ecco come si fa". È un esperto universale.

Il problema è: cosa succede se vuoi che questo genio impari a fare qualcosa di molto specifico, come riconoscere solo le razze di cani rari o i tipi di nuvole, ma hai a disposizione pochissime foto (solo 5 o 10 per ogni tipo)?

Se provi a "rieducare" completamente il genio mostrandogli queste poche foto, succede una cosa terribile: dimentica tutto il resto. Dimentica come riconoscere un gatto, o come capire le poesie. Questo si chiama "dimenticanza catastrofica". È come se un cuoco stellato, per imparare a fare un nuovo tipo di pasta, decidesse di dimenticare come si fa la pizza, la pasta al pomodoro e il risotto.

Gli scienziati hanno provato a usare dei "prompts" (dei piccoli suggerimenti o istruzioni che si aggiungono al modello) per insegnargli il nuovo compito senza toccare il cervello del genio. Ma spesso, anche questi suggerimenti finiscono per "confondere" il genio, facendogli perdere la sua saggezza originale.

La Soluzione: EvoPrompt (Il "Viaggio Evolutivo")

Gli autori di questo paper hanno creato un nuovo metodo chiamato EvoPrompt. Immaginalo non come un semplice suggerimento, ma come una bussola evolutiva che guida il genio in un viaggio sicuro.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Proiettore Condiviso (Il "Ponte Magico")

Prima, ogni suggerimento era come un adesivo appiccicato su un singolo strato di un edificio. Se cambiavi un adesivo, non aiutava gli altri piani.
EvoPrompt usa un Proiettore Condiviso. Immagina di avere un unico "piano maestro" (un progetto centrale) che genera suggerimenti per tutti i piani dell'edificio contemporaneamente. Questo assicura che il messaggio sia coerente dall'inizio alla fine, come se un direttore d'orchestra coordinasse tutti i musicisti invece di lasciarli suonare ognuno per conto proprio.

2. La Strategia Evolutiva (La "Bussola e la Velocità")

Questa è la parte più geniale. Quando il genio impara qualcosa di nuovo, il suo cervello cambia in due modi:

• La Direzione: Dove sta andando il suo pensiero? (Es. "Sto pensando a un cane").
• L'Intensità: Quanto forte è questo pensiero? (Es. "È un cane molto specifico").

EvoPrompt dice: "Non cambiare mai la direzione fondamentale che hai imparato all'inizio, cambia solo l'intensità!".

• Metafora: Immagina di guidare un'auto su una strada di montagna. La direzione della strada (il sentiero sicuro che conosci da sempre) non deve mai cambiare, altrimenti ti precipiti nel burrone (dimentichi le conoscenze vecchie). Ma puoi cambiare la velocità (l'intensità) con cui percorri quel sentiero per adattarti alle curve nuove.
• In pratica, il sistema "congela" la direzione delle conoscenze vecchie e permette di modificare solo quanto sono forti. Così, il modello impara il nuovo compito senza cancellare quello vecchio.

3. La Regolarità Geometrica (Il "Disordine Ordinato")

A volte, quando impariamo cose nuove, le nostre idee diventano un groviglio confuso (come un armadio pieno di vestiti mischiati).
EvoPrompt aggiunge una regola speciale che forza le nuove idee a rimanere ordinate e separate tra loro, come se ogni oggetto nell'armadio avesse il suo cassetto dedicato. Questo evita che le informazioni si "collassino" e diventino inutili.

4. La Riduzione del Rango (Il "Ridurre il Bagaglio")

Man mano che il viaggio continua e il modello impara sempre di più, il sistema riduce automaticamente la quantità di "bagaglio" (parametri) che può aggiungere. È come se, dopo aver imparato le basi, smettessimo di aggiungere nuovi oggetti alla valigia e ci concentrassimo solo su come sistemare meglio quelli che abbiamo già. Questo previene l'eccesso di zelo (overfitting) dove il modello impara a memoria le poche foto invece di capire il concetto.

Il Risultato?

Grazie a questo metodo, EvoPrompt riesce a:

1. Imparare nuovi compiti con pochissimi esempi (pochi shot).
2. Non dimenticare mai cosa sapeva fare prima (mantiene la capacità di riconoscere cose nuove senza essere stato addestrato su di esse).
3. Essere molto veloce ed efficiente, senza bisogno di computer giganti.

In sintesi, EvoPrompt è come un tutor saggio che insegna a un genio una nuova abilità senza fargli perdere la sua saggezza millenaria, guidandolo passo dopo passo lungo un sentiero sicuro, senza mai fargli smarrire la strada di casa.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "Evolving Prompt Adaptation for Vision-Language Models" (EvoPrompt), presentata in italiano.

1. Il Problema

L'adattamento dei grandi modelli visione-linguaggio (VLM) pre-addestrati, come CLIP, a compiti specifici con dati etichettati limitati (few-shot learning) rimane una sfida significativa.

• Limiti degli approcci attuali: I metodi di prompt learning esistenti (es. CoOp, MaPLe) sono efficienti in termini di parametri, ma soffrono di dimenticanza catastrofica (catastrophic forgetting). Durante l'adattamento ai nuovi compiti, i prompt appresi tendono a deviare rapidamente dalle "ancore semantiche" pre-addestrate, portando a un'overfitting sui dati di destinazione e alla perdita delle capacità di generalizzazione zero-shot originali del modello.
• Limiti strutturali: Le architetture attuali spesso trattano i prompt come parametri isolati per ogni layer, interrompendo il flusso di informazioni semantiche gerarchiche e mostrando un bias verso il testo piuttosto che un'interazione complementare visione-linguaggio.

2. Metodologia: EvoPrompt

Il paper propone EvoPrompt, un nuovo framework che governa esplicitamente il "percorso evolutivo" dei prompt per garantire un adattamento stabile e privo di dimenticanza. L'approccio si basa su tre pilastri principali:

A. Modality-Shared Prompt Projector (MPP)

Invece di inserire prompt indipendenti in ogni layer, EvoPrompt introduce uno spazio di embedding unificato e condivisibile tra le modalità (visiva e testuale).

• Meccanismo: Un embedding condiviso viene proiettato in prompt specifici per ogni layer tramite adattatori a basso rango (Low-Rank Adapters).
• Vantaggio: Questo crea un ponte per la sinergia cross-layer e cross-modale, permettendo al modello di distillare e propagare informazioni benefiche attraverso la profondità dell'encoder, riducendo la ridondanza dei parametri.

B. Strategia di Apprendimento Consapevole della Traiettoria Evolutiva

Questa è l'innovazione centrale per prevenire la dimenticanza catastrofica. Il processo di adattamento è concettualizzato come un'accumulazione progressiva di conoscenza.

• Decoupling Magnitudine-Direzione: Gli aggiornamenti a basso rango ($\Delta W$) vengono scomposti in una direzione (matrice normalizzata) e una magnitudine (coefficiente scalare $\alpha$).
• Congelamento delle Direzioni: Durante l'addestramento, le direzioni apprese nelle fasi iniziali vengono congelate per preservare la struttura geometrica e le conoscenze semantiche fondamentali. Solo le magnitudini vengono aggiornate per ricalibrare l'influenza della conoscenza passata, mentre nuove direzioni vengono aggiunte progressivamente.
• Riduzione Adattiva del Rango: Per stabilizzare l'adattamento nelle fasi successive ed evitare l'overfitting, il rango delle matrici appribili viene ridotto progressivamente nel tempo, imponendo una regolarizzazione strutturale.

C. Regularizzazione Geometrica delle Feature (FGR)

Per prevenire il collasso delle rappresentazioni (feature collapse) in scenari con pochi dati, viene introdotta una regolarizzazione basata sul framework Soft-HGR (Soft Hirschfeld-Gebelein-Rényi).

• Obiettivo: Minimizzare la covarianza intra-modale, forzando le dimensioni delle feature a essere decorrelate (ortogonali). Questo preserva la struttura geometrica dello spazio delle feature e riduce la ridondanza.
• Loss Totale: L'obiettivo di addestramento combina la perdita di allineamento contrastiva (InfoNCE), la regolarizzazione geometrica (FGR) e una Knowledge Constancy Loss (KCL) che mantiene i prompt vicini alle feature originali del CLIP congelato.

3. Contributi Chiave

1. Nuovo Paradigma: Introduzione di EvoPrompt, che governa l'evoluzione dei prompt tramite una strategia di adattamento consapevole della traiettoria, risolvendo efficacemente il problema della dimenticanza catastrofica.
2. Architettura Innovativa: Progettazione di un proiettore condiviso (MPP) accoppiato a una strategia di training che permette il controllo disaccoppiato di direzione e magnitudine dei prompt, integrato da regolarizzazione geometrica.
3. Prestazioni SOTA: Dimostrazione che EvoPrompt raggiunge lo stato dell'arte (SOTA) in compiti di trasferimento cross-dataset, generalizzazione di dominio e riconoscimento di immagini few-shot, mantenendo al contempo le capacità zero-shot originali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su 11 benchmark di classificazione di immagini (incluso ImageNet, Caltech101, ecc.) e vari scenari di valutazione:

• Generalizzazione Base-to-Novel: EvoPrompt supera i metodi SOTA (come MaPLe, PromptSRC, TCP) ottenendo un miglioramento medio del 0.96% sulle classi "novel" e del 0.76% sulla media armonica (HM), indicando un miglior equilibrio tra adattamento al compito e conservazione della conoscenza generale.
• Trasferimento Cross-Dataset: Addestrato su ImageNet, il modello ottiene la massima accuratezza media (66.82%) su 10 dataset target diversi, superando MaPLe e MMA.
• Generalizzazione di Dominio: Il modello mostra una robustezza superiore su varianti di ImageNet (V2, Sketch, A, R), preservando meglio le capacità di generalizzazione out-of-distribution rispetto ai competitor.
• Few-Shot Learning: Le prestazioni migliorano significativamente all'aumentare del numero di esempi di addestramento, dimostrando che il framework sfrutta efficacemente i segnali supervisionati aggiuntivi senza dimenticare le conoscenze pregresse.
• Efficienza: Il metodo richiede solo 0.764M di parametri addestrabili (paragonabile o inferiore ai metodi più efficienti) e mantiene un'alta velocità di inferenza (1282 FPS), grazie alla struttura leggera e alla riduzione adattiva del rango.

5. Significato e Impatto

EvoPrompt rappresenta un passo avanti fondamentale nell'adattamento efficiente dei VLM. Dimostra che trattare l'adattamento non come un'iniezione statica di parametri, ma come un processo evolutivo guidato, permette di superare il compromesso tra adattamento specifico e conservazione della conoscenza.

• Impatto Pratico: Offre una soluzione scalabile ed efficiente per adattare modelli multimodali massicci a compiti reali con dati limitati, senza richiedere risorse computazionali proibitive o sacrificare la versatilità zero-shot.
• Contributo Teorico: L'idea di separare e congelare le direzioni semantiche mentre si adattano le magnitudini fornisce una nuova prospettiva teorica su come gestire la plasticità e la stabilità nell'apprendimento continuo per i modelli foundation.