SAMPLe: SAM-based Optimizer for Prompt Learning in VLMs

Sintesi Tecnica: SAMPLe: Un ottimizzatore basato sulla Sharpness-Aware Minimization per il Prompt Learning nei Modelli Vision-Language

Problematica
I modelli pre-addestrati Vision-Language (VLM), come CLIP, fungono da potenti modelli di base per applicazioni downstream. Tuttavia, l'adattamento di questi modelli tramite il prompt learning presenta un significativo dilemma tra performance e generalizzazione. Sebbene il prompt learning permetta un adattamento efficiente del compito ottimizzando un set limitato di parametri apprendibili (prompt) mantenendo congelato il backbone, questo vincolo spesso porta all'overfitting. Lo spazio dei parametri limitato rende il processo di ottimizzazione altamente sensibile, causando frequentemente la convergenza dei modelli verso "minimi acuti" (sharp minima) nel panorama della perdita (loss landscape). Queste soluzioni acute producono un'elevata accuratezza sulle distribuzioni di addestramento viste, ma soffrono di una scarsa generalizzazione su dati o classi non viste. I metodi esistenti di Sharpness-Aware Minimization (SAM) tentano di affrontare questo problema cercando minimi più piatti, ma spesso non riescono a bilanciare il compromesso tra la minimizzazione della perdita di addestramento (sfruttamento/exploitation) e l'esplorazione di regioni piatte (esplorazione/exploration), particolarmente quando applicati al sottospazio vincolato del prompt learning.

Metodologia: SAMPLe
Gli autori propongono SAMPLe (Sharpness-Aware Minimization Prompt Learning), un ottimizzatore agnostico rispetto al modello progettato specificamente per migliorare la generalizzabilità dei prompt nei VLM. A differenza degli ottimizzatori convenzionali o delle varianti standard di SAM (ad esempio, F-SAM, SAGM) che possono applicare perturbazioni uniformi o fare affidamento su iperparametri euristici, SAMPLe introduce un framework a doppio obiettivo che si adatta dinamicamente allo stato di ottimizzazione corrente.

Il nucleo di SAMPLe prevede tre meccanismi strategici:

1. Ottimizzazione a Doppio Obiettivo: Il metodo ottimizza per un minimo della perdita che sia simultaneamente basso nella perdita di addestramento e piatto nel panorama della perdita. Ciò garantisce stabilità e robustezza senza sacrificare l'accuratezza sui dati visti.
2. Allineamento del Gradiente e Ortogonalità: SAMPLe assicura che gli aggiornamenti del gradiente calcolati in un punto deviato (perturbato da SAM) siano coerentemente allineati con i gradienti di Empirical Risk Minimization (ERM). Fondamentalmente, esso vincola gli aggiornamenti del gradiente SAM nel punto perturbato affinché siano ortogonali al gradiente full-batch.
   • Decompone il gradiente mini-batch in una componente allineata con il gradiente full-batch e una componente "specifica del batch" ortogonale ad esso.
   • La funzione obiettivo include termini che guidano il gradiente perturbato verso la componente specifica del batch (esplorazione) pur resistendo alla componente full-batch (che può portare a un eccessivo livellamento e a una ridotta generalizzazione).
3. Adattamento Dinamico: L'ottimizzatore bilancia automaticamente lo sfruttamento (minimizzazione della perdita ERM) e l'esplorazione (ricerca di minimi piatti) ad ogni iterazione in base alla curvatura locale e alle proprietà del gradiente, piuttosto che fare affidamento su iperparametri fissi.

L'analisi teorica nel paper dimostra che, sotto ipotesi standard (gradienti limitati e continuità K-Lipschitz), SAMPLe converge con un tasso di $O(\frac{\log T}{\sqrt{T}})$, comparabile a SGD e Adam.

Contributi Chiave

• Nuovo Ottimizzatore: Introduzione di SAMPLe, il primo ottimizzatore basato su SAM specificamente adattato per il prompt learning dei VLM, che definisce un framework a doppio obiettivo che bilancia adattivamente la bassa perdita ERM e i minimi piatti.
• Insight Teorico: Un'analisi che stabilisce i limiti degli esistenti metodi di consapevolezza della nitidezza (sharpness-aware) nel contesto dello spazio dei parametri limitato del prompt learning, motivando la necessità di un approccio adattivo a doppio obiettivo.
• Valutazione Comprensiva: Esperimenti estesi che integrano SAMPLe in molteplici framework di prompt learning (CoOp, CoCoOp, MaPLe, TCP e Co-Prompt) attraverso diversi dataset.

Risultati Sperimentali
Il paper valuta SAMPLe attraverso tre scenari primari utilizzando 11 dataset di classificazione di immagini e varie varianti di ImageNet:

1. Generalizzazione Base-to-New: Negli scenari di few-shot learning, SAMPLe migliora costantemente la media armonica (HM) delle accuratezze delle classi base e nuove rispetto ai baseline e ad altre varianti SAM (SAM, F-SAM, SAGM). Ad esempio, mediamente CoOp è migliorato da 77.65 (con SAGM) a 78.88 con SAMPLe.
2. Generalizzazione Zero-Shot Cross-Dataset: Quando i modelli addestrati su ImageNet vengono testati su 10 dataset target non visti, SAMPLe aumenta costantemente le prestazioni di trasferimento. Per CoOp, l'accuratezza media è aumentata dal 63.88% al 65.85%.
3. Generalizzazione Cross-Domain: Su varianti di ImageNet che rappresentano shift di distribuzione (V2, Sketch, Adversarial, Rendition), SAMPle ha potenziato la robustezza. CoOp+SAMPLe ha raggiunto un'accuratezza media del 60.41%, superando il CoOp standard (59.28%) e altri forti baseline.

I risultati indicano che SAMPLe raggiunge un compromesso più stabile tra la specializzazione sulle classi base e il trasferimento alle classi non viste, superando spesso i metodi allo stato dell'arte senza degradare drasticamente le prestazioni sulle distribuzioni viste.

Significato e Rivendicazioni
Il paper sostiene che SAMPLe stabilisce una soluzione robusta e agnostica rispetto al modello per il prompt learning, affrontando direttamente la natura incline all'overfitting dello spazio dei parametri apprendibili limitato nei VLM. Incorporando la consapevolezza del panorama della perdita e bilanciando dinamicamente esplorazione e sfruttamento, SAMPLe preserva il potenziale di generalizzazione dei modelli pre-addestrati. Gli autori affermano che il loro approccio eleva gli esistenti framework di prompt learning, fornendo un incremento costante delle prestazioni in diversi contesti e dimostrando che l'ottimizzazione attenta del panorama della perdita è critica per un efficace prompt learning nei VLM.