Riepilogo Tecnico: PERL (Reasoning Efficiente in Parametri nello Spazio Latente di CLIP)

Enunciato del Problema

I modelli visione-linguaggio addestrati in modo contrastivo come CLIP eccellono nel trasferimento zero-shot allineando immagini e testo in uno spazio di embedding condiviso. Tuttavia, adattare questi modelli a compiti specifici downstream senza degradare la loro generalizzazione open-vocabulary rimane una sfida. I metodi esistenti di adattamento efficiente in parametri (ad esempio, prompt appresi, adattatori o trasformazioni multimodali) tipicamente aumentano la capacità di adattamento aggiungendo parametri addestrabili. Gli autori indagano se la capacità di adattamento possa emergere non dall'aumento del numero di parametri, ma dal ragionamento iterativo sulle rappresentazioni latenti. Nello specifico, si chiedono se un modello visione-linguaggio discriminativo congelato possa essere adattato guidando progressivamente le rappresentazioni pre-addestrate verso regioni decisionali rilevanti per il compito attraverso calcoli ripetuti, piuttosto che memorizzando più parametri specifici per il compito.

Metodologia

Gli autori propongono PERL (Reasoning Efficiente in Parametri nello Spazio Latente di CLIP), un framework leggero che potenzia un modello CLIP congelato con un modulo di ragionamento compatto e condiviso applicato ricorsivamente.

Architettura e Meccanismo

1. Split dell'Encoder: Per ogni modalità (visione $v$ e testo $t$), l'encoder CLIP congelato viene diviso alla profondità $J$ in un modulo base ($B_m$, blocchi inferiori) e un modulo di raffinamento ($R_m$, blocchi superiori). Il modulo base elabora l'input per produrre una rappresentazione raggruppata iniziale ($h^{(0)}_m$).
2. Ragionamento Ricorrente: Invece di un singolo passaggio in avanti, PERL esegue $K$ passaggi di raffinamento. A ogni passo $k$:
   • Un proiettore di pensiero ($\phi_m$) leggero e addestrabile, implementato come un MLP a due livelli con un collo di bottiglia di rango-$r$, mappa la rappresentazione raggruppata corrente $h^{(k-1)}_m$ in un token di ragionamento $z^{(k)}_m$.
   • Questo token viene aggiunto alla sequenza dei token precedentemente generati e alla sequenza base originale.
   • Il modulo di raffinamento ($R_m$) elabora questa sequenza aumentata per produrre una rappresentazione raggruppata aggiornata $h^{(k)}_m$.
   • Crucialmente, lo stesso proiettore $\phi_m$ viene riutilizzato in tutti i $K$ passaggi, il che significa che la capacità di adattamento cresce con il numero di applicazioni ricorrenti piuttosto che con il numero di parametri.
3. Invarianza della Lettura: La previsione finale viene sempre letta dalla posizione originale del token CLS (immagine) o EOS (testo), non dai token di pensiero generati. I token di pensiero influenzano la lettura tramite self-attention ma non servono come output essi stessi.
4. Obiettivo di Addestramento: Il modello viene addestrato utilizzando una combinazione di:
   • Perdita Cross-Entropy ($L_{cls}$): Per migliorare la separabilità specifica del compito.
   • Perdita Anchor ($L_{anchor}$): Una penalità di similarità coseno tra l'embedding raffinato $v^{(K)}_i$ e l'embedding zero-shot originale $v^{(0)}_i$. Questo garantisce che i raffinamenti rimangano compatibili con la geometria multimodale pre-addestrata di CLIP, prevenendo l'overfitting su piccoli set di supporto.

Principi di Progettazione

• Calcolo come Risorsa: La capacità di adattamento è scambiata con il calcolo (passaggi iterativi) piuttosto che con il numero di parametri.
• Ragionamento Specifico per Modalità: Vengono utilizzati proiettori separati per visione e testo.
• Inserimento Intermedio: I token di ragionamento vengono iniettati a livelli intermedi per raffinare le rappresentazioni semantiche preservando al contempo le caratteristiche pre-addestrate di basso livello.

Contributi Chiave

1. Calcolo come Risorsa di Adattamento: Il documento dimostra che il ragionamento latente iterativo può fornire un raffinamento specifico per il compito utile a un numero fisso e basso di parametri, offrendo un asse complementare al scaling dei parametri.
2. Framework PERL: Un meccanismo di adattamento ricorrente e leggero per modelli CLIP congelati che utilizza un proiettore condiviso per generare dinamicamente token di ragionamento, affinando le rappresentazioni latenti senza aggiornamenti del gradiente a tempo di test.
3. Forti Trade-off Parametri-Prestazioni: Sotto ottimizzazione vincolata (un solo epoch, few-shot), PERL raggiunge prestazioni competitive o superiori rispetto a metodi che utilizzano ordini di grandezza di parametri in più.

Risultati Sperimentali

Gli autori hanno valutato PERL su 15 benchmark, inclusi generalizzazione da base a nuovo, trasferimento cross-dataset e varianti fuori distribuzione (OOD) di ImageNet.

• Generalizzazione da Base a Nuovo: PERL ha raggiunto la massima accuratezza media sulle classi nuove (75,74%) tra i metodi confrontati, superando framework più grandi come MMRL++ e PromptSRC. Ha raggiunto una media armonica (HM) di 74,79 utilizzando solo 6K parametri addestrabili, che sono 817 volte meno del metodo confrontato più grande (MMRL) e 113 volte meno di MMAC.
• Trasferimento Cross-Dataset: Quando addestrato su ImageNet e valutato su 10 dataset downstream, PERL ha raggiunto un'accuratezza target media del 65,56%. È rimasto competitivo con metodi molto più grandi (ad esempio, entro 0,13 punti da MaPLe pur utilizzando 583 volte meno parametri) e ha superato le baseline compatte di prompt-tuning.
• Studi di Ablazione:
  • Modalità: Il ragionamento congiunto testo-visione ha funzionato meglio, sebbene il ragionamento solo testo abbia prodotto guadagni più forti rispetto al solo visione.
  • Livello di Iniezione: Iniettare il ragionamento a livelli intermedi (specificamente il livello 7) è stato ottimale; un'iniezione precoce ha degradato le prestazioni, mentre un'iniezione profonda si è specializzata troppo a scapito della generalizzazione.
  • Passaggi: Le prestazioni sono migliorate costantemente fino a 4 passaggi di ragionamento, dopo di che i guadagni si sono saturati.
  • Capacità: Aumentare il numero di proiettori indipendenti (ad esempio, per passaggio o per livello) ha migliorato ulteriormente le prestazioni, confermando che il ragionamento iterativo fornisce un asse di capacità distinto.
• Dinamiche: L'analisi ha mostrato che il ragionamento iterativo stabilizza progressivamente le previsioni e rialloca l'evidenza visiva verso regioni semanticamente coerenti, in particolare per i campioni che richiedono correzione (transizioni da errato a corretto).

Significato e Affermazioni

Il documento afferma che il ragionamento latente iterativo fornisce un meccanismo di adattamento complementare allo scaling dei parametri nei modelli visione-linguaggio discriminativi congelati.

• Efficienza: PERL dimostra che un modulo piccolo e condiviso riutilizzato ricorsivamente può raggiungere un forte adattamento con parametri addestrabili minimi (~6K), riducendo significativamente il carico di archiviazione e addestramento per distribuzioni multi-compito o multi-dominio.
• Meccanismo: A differenza dei metodi che si basano sull'accumulo di parametri specifici per il compito, PERL mostra che "pensare più a lungo" (raffinamento iterativo) permette al modello di guidare le rappresentazioni pre-addestrate verso regioni decisionali preservando al contempo la geometria zero-shot originale.
• Trade-off: Gli autori riconoscono un trade-off: sebbene l'efficienza parametrica sia alta, il metodo comporta un costo computazionale (valutazione del modulo di raffinamento $K+1$ volte per modalità). Tuttavia, questo è favorevole in scenari in cui l'archiviazione e la manutenzione dei parametri sono colli di bottiglia.
• Limitazioni: Gli autori notano che PERL rimane indietro rispetto ai metodi più forti del "regime pesante" (quelli con grandi budget di adattamento) su specifiche texture fuori distribuzione (EuroSAT) e categorie fini (Flowers102), suggerendo che compiti OOD estremamente difficili potrebbero ancora beneficiare di budget di adattamento più ampi.

In sintesi, PERL postula che per i modelli fondazionali congelati, l'adattamento non debba nascere esclusivamente dallo stoccaggio di più parametri; può anche emergere dal raffinamento progressivo delle rappresentazioni attraverso un calcolo iterativo ed efficiente in termini di parametri.