Sintesi Tecnica: PRiSM - Regolarizzazione dei Prototipi per i VLM Few-Shot

Definizione del Problema

Il documento identifica due limitazioni critiche negli attuali metodi di adattamento few-shot privi di addestramento (training-free) per i modelli visivi-linguistici (VLM):

1. Protocolli di Valutazione Irrealistici: I benchmark standard si affidano a set di supporto e query bilanciati per classe. Questa assunzione maschera un grave bias dei prototipi che si verifica negli scenari reali, dove le distribuzioni dei dati sono naturalmente sbilanciate (squilibrio delle classi) e l'insieme delle classi osservate può essere incompleto.
2. Degradazione all'Aumentare dei Dati: Contrariamente alle comuni assunzioni few-shot, gli autori osservano che, sotto un regime di squilibrio delle classi realistico, l'aumento del numero di shot (campioni etichettati) spesso degrada le prestazioni dei metodi state-of-the-art privi di addestramento. Invece di raffinare i confini decisionali, ulteriori campioni da distribuzioni sbilanciate amplificano il bias verso le classi maggioritarie, portando a prototipi distorti e a un aumento della confusione inter-classe.

I metodi esistenti (ad es., Tip-Adapter, APE, GDA, ProKeR) richiedono spesso la sintonizzazione di iperparametri specifici per il task tramite set di validazione — una pratica che viola l'assunzione few-shot quando tali set non sono disponibili o sono costosi da annotare. Inoltre, questi metodi mancano di meccanismi per correggere il bias inerente nella stima dei prototipi causato da distribuzioni di supporto sbilanciate.

Metodologia: PRiSM

Gli autori propongono PRiSM (Prototype Regularization for Few-Shot VLMs), un framework plug-and-play progettato per rettificare i prototipi di classe distorti senza richiedere un set di validazione.

1. Funzione Obiettivo

PRiSM ottimizza una nuova funzione di perdita multi-termine per apprendere prototipi regolarizzati $w$ a partire dai prototipi $a$ di un classificatore di base. L'obiettivo $L(w, \phi)$ combina tre termini:
$$L(w, \phi) = \beta \sum_{c} \|w_c - \mu_c(\phi)\|_2^2 + \gamma \sum_{c} \|w_c - a_c\|_2^2 - \frac{\lambda}{2(C-1)} \sum_{c \neq c'} \|w_c - w_{c'}\|_2^2$$
Dove:

• Allineamento Supporto-Feature ($\beta$): Incoraggia il prototipo rettificato $w_c$ ad allinearsi con la media delle feature visive $\mu_c(\phi)$ del set di supporto, garantendo la coerenza con la distribuzione dei dati osservati.
• Fedeltà al Baseline ($\gamma$): Ancoraggio del prototipo rettificato al prototipo originale del baseline $a_c$, per prevenire deviazioni sostanziali dalla conoscenza zero-shot pre-addestrata.
• Separazione Inter-Classe ($\lambda$): Un regolarizzatore a coppie che massimizza la distanza tra diversi prototipi di classe, riducendo l'interferenza e migliorando la separabilità in condizioni di squilibrio.

L'ottimizzazione coinvolge due blocchi di variabili: i prototipi corretti $w$ e i parametri dell'encoder visivo $\phi$.

2. Strategia di Ottimizzazione: Block Majorize-Minimize (MM)

Per risolvere l'obiettivo non convesso in modo efficiente, gli autori introducono un ottimizzatore block Majorize-Minimize (MM) che alterna tra:

• Rettificazione dei Prototipi: Aggiornamento di $w$ mantenendo fisso $\phi$. Poiché l'obiettivo è quadratico rispetto a $w$, gli autori derivano una costante di Lipschitz per blocco $\rho$ valida (un limite sulla norma spettrale dell'Hessiana). Ciò consente un passo di apprendimento implicito di $1/\rho$, eliminando la necessità di costose ricerche a griglia per i learning rate. Il limite è calcolato efficientemente utilizzando il teorema del cerchio di Gershgorin.
• Adattamento delle Feature: Aggiornamento di $\phi$ mantenendo fisso $w$. Questo viene eseguito tramite back-propagation standard utilizzando LoRA (Low-Rank Adaptation) per garantire l'efficienza dei parametri, aggiornando solo un piccolo sottoinsieme degli strati dell'encoder visivo.

Contributi Chiave

1. Benchmarking Realistico: Gli autori espongono i limiti dei protocolli few-shot standard introducendo un benchmark che varia lo squilibrio delle classi e il numero effettivo di classi utilizzando il campionamento di Dirichlet. Dimostrano che i metodi standard degradano all'aumentare del numero di shot in presenza di forte squilibrio.
2. Framework PRiSM: Un modulo di regolarizzazione dei prototipi validation-free e plug-and-play che può essere implementato sopra qualsiasi baseline training-free esistente. Mitiga efficacementamente la dominanza della classe maggioritaria preservando la struttura discriminativa dello spazio di embedding del VLM.
3. Ottimizzazione Efficiente: La derivazione di una costante di Lipschitz per blocco per l'aggiornamento del prototipo, che consente una selezione del passo di apprendimento basata sulla teoria, efficiente dal punto di lato computazionale e senza necessità di validazione.
4. Validazione Empirica: Esperimenti estesi che mostrano come PRiSM migliori significativamente le prestazioni di diversi baseline (Tip-Adapter, APE, GDA, ProKeR), in particolare in scenari con forte squilibrio delle classi e alto numero di classi.

Risultati Sperimentali

Gli esperimenti sono stati condotti su 10 dataset di classificazione di immagini diversificati (es. Oxford-Pets, EuroSAT, Food-101) utilizzando CLIP con un backbone ViT-B/16.

• Squilibrio Severo (Classi Effettive Elevate): Sotto un forte squilibrio, i metodi baseline spesso degradano all'aumentare del numero di shot (ad es., Tip-Adapter è sceso da circa il 63% al 33% di accuratezza passando da 2 a 16 shot). PRiSM ha invertito questa tendenza, migliorando l'accuratezza media di Tip-Adapter del +35,05% nell'impostazione a 16 shot e del +23,22% in quella a 4 shot.
• Impostazioni Quasi Bilanciate: Anche in condizioni quasi bilanciate, PRiSM ha fornito guadagni costanti, con un miglioramento di Tip-Adapter del +29,79% nel setting a 16 shot.
• Classi Effettive Basse: Nei regimi con meno classi effettive, PRiSM ha comunque prodotto miglioramenti significativi, particolarmente per i baseline più deboli, confermando che il bias dei prototipi persiste anche con spazi di etichette ridotti.
• Confronto: PRiSM ha permesso a metodi più semplici (come Tip-Adapter) di raggiungere livelli di prestazione comparabili o superiori a metodi state-of-the-art più complessi (come ProKeR) una volta regolarizzati i prototipi.
• Analisi del Learning Rate: È stato dimostrato che il passo di apprendimento basato sulla Lipschitz corrisponde alla regione di prestazione ottimale attraverso i dataset senza richiedere una sintonizzazione esaustiva degli iperparametri, convalidando la derivazione teorica.

Significato e Rivendicazioni

Il documento sostiene che il collo di bottiglia primario nell'adattamento few-shot dei VLM non è necessariamente il meccanismo di adattamento in sé, ma la qualità dei prototipi di classe utilizzati per la predizione, che sono spesso distorti dai dati sbilanciati.

Gli autori sostengono che:

1. Il Bias dei Prototipi è un Modo di Fallimento Comune: Lo squilibrio indotto agisce come un modo di fallimento sistematico attraverso diversi metodi di adattamento. Rettificare questo bias può elevare sistematicamente le prestazioni di diversi approcci.
2. L'Adattamento Senza Validazione è Fattibile: Derivando un passo di apprendimento teoricamente fondato e utilizzando una perdita a più termini che bilancia allineamento, fedeltà e separazione, PRiSM ottiene prestazioni competitive senza l'assunzione irrealistica di avere accesso a un set di validazione etichettato.
3. Realismo nella Valutazione: Il benchmark proposto evidenzia come le attuali affermazioni state-of-the-art possano essere gonfiate da assunzioni irrealistiche di bilanciamento delle classi. Gli autori raccomandano protocolli di valutazione che riflettano le distribuzioni sbilanciate del mondo reale per favorire lo sviluppo di tecniche di adattamento più robuste.

Il documento conclude che PRiSM offre una correzione semplice ma efficace che regolarizza la geometria dei prototipi, preservando la fedeltà semantica e prevenendo il collasso verso le classi dominanti, migliorando così la robustezza in regimi few-shot impegnativi.