Riassunto Tecnico: Scoperta della Fusione dei Prompt Specifica per Layer tramite Ricerca Differenziabile nei Vision Foundation Models

1. Definizione del Problema

Il Visual Prompt Tuning (VPT) è emerso come una strategia di fine-tuning parametricamente efficiente (PEFT) per adattare i Vision Transformer (ViT) su larga scala a task di downstream. Nel VPT standard, token di prompt apprendibili vengono iniettati negli spazi di input e di feature di un backbone ViT congelato. L'operazione fondamentale consiste nel fondere questi token di prompt con i token dell'immagine prima che entrino nei layer del transformer.

Attualmente, la comunità si affida prevalentemente a uno schema di fusione singolo e fisso — ovvero concatenazione o addizione — applicato uniformemente a tutti i layer del transformer. Il paper identifica una lacuna fondamentale in questo approccio: non è noto se un singolo schema di fusione sia ottimale per tutti i layer e i task, e se una modalità di fusione ibrida (che combina diversi schemi in diversi layer) possa sfruttare meglio la semantica layer-wise dei ViT. La letteratura esistente esplora raramente il design della regola di fusione stessa come componente apprendibile, trattandola spesso come un iperparametro statico.

2. Metodologia: Auto-Prompting

Gli autori propongono un framework unificato, denominato Auto-Prompting, che tratta la fusione tra prompt e token dell'immagine come una componente ricercabile e differenziabile. Il metodo è formulato come un problema di ottimizzazione bi-livello risolto tramite Ricerca di Architetture Neurali Differenziabili (DARTS).

2.1 Design dello Spazio di Ricerca

Per arricchire lo spazio di ricerca oltre la standard concatenazione e addizione, gli autori introducono due ulteriori operatori di fusione leggeri:

1. Concatenazione ($\Delta_{concat}$): Prefissa i token del prompt ai token dell'immagine e applica una matrice di riduzione che preserva i token per mantenere l'interfaccia fissa del backbone ($k \times d$).
2. Addizione ($\Delta_{add}$): Inietta un bias residuo dipendente dal prompt riassumendo i prompt tramite LayerNorm-mean e trasponendoli (broadcasting).
3. Trasformazione Affine ($\Delta_{affine}$): Applica una Modulazione Lineare per Caratteristiche (FiLM), utilizzando i riassunti dei prompt per generare parametri di scala e shift per canale.
4. Cross-Attention ($\Delta_{cross}$): Abilita un routing adattivo al contenuto in cui i token dell'immagine prestano attenzione a una memoria del prompt (trattata come sorgente key/value).

2.2 Ottimizzazione Bi-livello

Il framework opera in due fasi:

• Inner Loop (Training): Ottimizza i parametri del prompt apprendibili ($\phi$) e i pesi interni degli operatori di fusione sul set di addestramento.
• Outer Loop (Validation): Ottimizza i logit dell'architettura ($\alpha$), che determinano i pesi di miscelazione ($\pi$) per gli operatori di fusione in ogni layer. Ciò avviene tramite un'approssimazione unrolled a un passo con prodotti Hessian-vector per approssimare il gradiente della loss di validazione rispetto ai parametri dell'architettura.

L'obiettivo esterno include termini di regolarizzazione:

• Regolarizzazione dell'Entropia: Incoraggia l'esplorazione dello spazio di ricerca per prevenire il collasso prematuro verso un singolo operatore.
• Regolarizzazione del Costo: Favorisce la ricerca verso operatori più leggeri (Add/Concat) a meno che operatori più pesanti (Affine/Cross-Attention) non forniscano guadagni significativi in termini di accuratezza, garantendo un trade-off accuratezza-latenza.

2.3 Discretizzazione

Dopo la fase di ricerca, i pesi di miscelazione continui vengono discretizzati selezionando l'operatore con la probabilità più alta per ogni layer. Segue una breve fase di fine-tuning per recuperare le prestazioni con l'architettura discreta e potata (pruned).

2.4 Prospettiva Teorica: Information Bottleneck (IB)

Gli autori interpretano il metodo attraverso la lente del principio di Information Bottleneck (IB). Osservano che l'ottimizzazione congiunta di prompt e schemi di fusione porta a un surrogato IB empirico inferiore rispetto all'ottimizzazione dei soli prompt. Nello specifico, la fusione ibrida appresa permette ai layer più profondi di comprimere la variazione dipendente dall'input (riducendo $I(T; X)$) pur allineandosi meglio con l'informazione del label (aumentando $I(T; Y)$), suggerendo un trade-off compressione-rilevanza più favorevole.

3. Contributi Chiave

1. Indagine Fondamentale: Il paper mette in discussione l'assunto che un singolo schema di fusione sia sufficiente, rivelando che la fusione fissa (concatenazione o addizione) non riesce a produrre prestazioni ottimali attraverso diversi task e layer.
2. Nuovo Framework di Ottimizzazione: Propone un metodo di fusione ibrida formulato come problema di ottimizzazione bi-livello, risolto tramite ricerca di architettura differenziabile per apprendere congiuntamente i prompt e le regole di fusione specifiche per layer.
3. Espansione dello Spazio di Ricerca: Introduce Trasformazione Affine e Cross-Attention come nuovi primitivi leggeri allo spazio di ricerca VPT, abilitando una base di fusione più espressiva ma efficiente.
4. Validazione Completa: Il lavoro fornisce sia un'interpretazione teorica (tramite IB) che ampie valutazioni empiriche, rispondendo a domande chiave sulla necessità e scalabilità della fusione ibrida nel visual prompt tuning.

4. Risultati Sperimentali

Il metodo è stato valutato su 34 dataset attraverso tre principali benchmark: VTAB-1k (19 dataset), FGVC (5 dataset fine-grained) e HTA (10 dataset diversificati). Il backbone utilizzato è un ViT-Base/16 congelato.

• Guadagni di Performance:

  • VTAB-1k: Ha raggiunto un'accuratezza media del 77.01%, superando il forte baseline VPT-Deep (69.43%) del +7.58% e varianti recenti come VFPT (75.49%) del +1.52%.
  • FGVC: Ha raggiunto un'accuratezza media del 92.5%, superando VPT-Deep (85.5%) del +7.0%.
  • HTA: Ha raggiunto un'accuratezza media del 91.6%, migliorando rispetto a VPT-Deep (85.5%) del +6.1%.
  • Efficienza dei Parametri: Il metodo ottimizza solo lo 0.75% dei parametri del ViT (incluso l'head specifico per il task), un valore comparabile o inferiore ad altri metodi SOTA di PEFT.

• Generalizzazione:

  • Il metodo ha dimostrato robustezza attraverso diversi paradigmi di pre-training (MAE e MoCo v3), superando costantemente i baseline sia sotto obiettivi di ricostruzione che di contrasto.
  • È stato inoltre validato su Swin-Base, mostrando guadagni simili e adattabilità a backbone gerarchici.

• Studi di Ablazione:

  • Singolo vs. Ibrido: Nessun operatore singolo (Concat, Add, Affine o Cross-Attention) era uniformemente ottimale. L'approccio ibrido ricercabile ha costantemente superato qualsiasi baseline a operatore singolo fisso.
  • Pattern per Layer: L'analisi ha rivelato che i layer superficiali preferiscono operatori leggeri (Concat/Add) per preservare gli indizi strutturali, mentre i layer profondi si spostano verso operatori semantici (Affine/Cross-Attention) per la calibrazione delle feature e il routing adattivo al contenuto.
  • Efficienza: Sebbene la fase di ricerca comporti un overhead di addestramento (circa 1.38x rispetto a VPT-Deep), il modello discretizzato finale aggiunge solo il 7.4% di latenza di inferenza (15.9ms vs 14.8ms) fornendo al contempo significativi miglioramenti di accuratezza.

5. Significato e Rivendicazioni

Il paper afferma che il modo in cui i prompt si fondono con i token dell'immagine è un fattore di primo ordine per la generalizzazione nel visual prompt tuning. Passando da uno schema di fusione fisso a una fusione ibrida specifica per layer e appresa, il metodo sfrutta efficacemente le distinte necessità rappresentazionali dei diversi layer del ViT.

Gli autori sostengono che le loro scoperte forniscano una nuova prospettiva per la ricerca sul visual prompt-tuning, colmando il divario tra la Neural Architecture Search (NAS) e il fine-tuning leggero. Concludono che una modalità di fusione ibrida non è solo ottimale ma anche altamente scalabile, capace di incorporare senza problemi nuovi schemi di fusione singola nello spazio di ricerca. Questo approccio consente ai backbone congelati di adattarsi più efficacementamente ai cambiamenti di dominio e ai task complessi (particolarmente il ragionamento strutturato) senza ricorrere a head più pesanti o bias induttivi progettati a mano.