t-gems: text-guided exit modules for decreasing clip image encoder

Riepilogo Tecnico: T-GEMS – Moduli di Uscita Guidati dal Testo per la Riduzione del Codificatore di Immagini CLIP

Enunciato del Problema
I modelli multimodali (MM) come CLIP allineano input di immagini e testo in uno spazio latente condiviso utilizzando l'apprendimento contrastivo. Sebbene efficaci, la loro inferenza è statica: ogni input attraversa l'intera pila di trasformatori indipendentemente dalla complessità, portando a costi computazionali elevati. I metodi di Uscita Anticipata (EE), che permettono ai modelli di interrompere il calcolo negli strati intermedi quando sono sicuri, sono stati esplorati nei modelli unimodali e multimodali basati sulla fusione. Tuttavia, l'EE rimane poco esplorato nei modelli dual-encoder contrastivi come CLIP. La sfida principale risiede nella separazione degli encoder delle modalità; gli approcci dinamici esistenti spesso si basano su elaborazione congiunta o potatura dei token, fallendo nel sfruttare le informazioni dell'encoder di testo per guidare le uscite nell'encoder visivo. Inoltre, lo sviluppo di metodi EE statici per questi modelli richiede un modo per stimare le distribuzioni del contenuto semantico negli strati intermedi derivati dalle descrizioni testuali senza affidarsi esclusivamente ai dati visivi.

Metodologia
Gli autori propongono i Moduli di Uscita Guidati dal Testo (T-GEMs), un framework progettato per eseguire uscite anticipate statiche nell'encoder di immagini di un modello dual-encoder utilizzando informazioni dall'encoder di testo. L'obiettivo principale è stimare la distribuzione di probabilità a posteriori delle attivazioni dei neuroni intermedi ($\ell_{ij}$) per una specifica classe $c$, data un'immagine $x$ e una descrizione testuale $d$.

1. Stima della Distribuzione: Il metodo assume che le attivazioni intermedie seguano una distribuzione Gaussiana. L'obiettivo è calcolare la media ($\mu$) e la varianza ($\sigma^2$) per ogni classe e strato.
2. Due Approcci di Stima:
   • Basato sul Campionamento: Un approccio ingenuo che utilizza un set di calibrazione $S$ per calcolare empiricamente $\mu$ e $\sigma^2$ per ogni classe. Questo evita di addestrare nuovi parametri ma non riesce a stabilire una connessione tra le mappe di attivazione di testo e immagine.
   • Basato sull'Apprendimento (T-GEMs): Una rete apprendibile $\Psi_i$ (il T-GEM) stima i parametri della distribuzione direttamente dagli embedding di testo ($d_t$), bypassando la necessità di immagini campione durante l'inferenza. Questo modulo è ottimizzato per minimizzare il "tasso" (sorpresa) del segnale di attivazione.
3. Il Modulo Jumper: Per migliorare la discriminazione, un modulo di proiezione $J^i$ (Jumper) mappa le attivazioni intermedie dell'immagine in uno spazio a dimensionalità ridotta $\tilde{\ell}^i$. Questo facilita una migliore stima del tasso e permette l'integrazione della similarità cross-modale.
4. Metrica di Classificazione (Class-Rate): Invece della similarità coseno standard, il metodo introduce una metrica class-rate ($R^i_c$). Questa metrica calcola la "sorpresa" di un'attivazione data un'assunzione di classe. La classe prevista è quella che minimizza questo tasso (Eq. 3), selezionando efficacemente la classe che comprime il segnale in modo più efficiente.
5. Obiettivo di Addestramento: I moduli sono addestrati utilizzando una funzione di perdita combinata $L = L_r + L_s$:
   • $L_r$: Un regolarizzatore basato sul tasso che minimizza la verosimiglianza negativa della distribuzione Gaussiana, migliorando la capacità di discriminare il contenuto semantico.
   • $L_s$: Una perdita di similarità cross-modale (Similarità Coseno) tra l'embedding di testo e la rappresentazione dell'immagine proiettata.

Contributi Chiave
Il documento rivendica quattro contributi principali:

1. Analisi delle Rappresentazioni Intermedie: Un'indagine su come le rappresentazioni intermedie in CLIP varino tra le classi rispetto agli embedding di testo, rivelando che questi strati contengono informazioni discriminative adatte per uscite anticipate.
2. Regolarizzatore Class-Rate: L'introduzione di una statistica derivata dalle mappe di attivazione che correla con la similarità coseno ma funge da regolarizzatore addestrabile per migliorare la discriminazione.
3. Moduli di Uscita Guidati dal Testo (T-GEMs): La progettazione di un modulo che prevede le attivazioni intermedie dell'encoder di immagini esclusivamente dagli embedding di testo, dimostrando una relazione limitata tra le modalità.
4. Framework di Uscita Anticipata Statica: L'addestramento di moduli EE statici che sfruttano le mappe di attivazione intermedie per compiti come la classificazione di immagini, rappresentando il primo studio a esplorare lo sfruttamento degli strati intermedi di entrambi gli encoder di testo e visivo nei modelli dual-encoder contrastivi per l'EE statica.

Risultati Sperimentali
Gli esperimenti sono stati condotti su CIFAR-10 utilizzando le architetture CLIP ViT-B-32 e ViT-L-14.

• Prestazioni vs CLIP Completo: L'approccio T-GEMs + Jumper ha raggiunto un'accuratezza competitiva rispetto al modello CLIP completo. Ad esempio, con ViT-B-32, il metodo ha raggiunto il 92% di accuratezza all'ultimo strato (RB12), comparabile alla baseline zero-shot del 91,3%.
• Impatto della Regularizzazione: L'inclusione del regolarizzatore basato sul tasso ($L_r$) ha migliorato significativamente le prestazioni, in particolare negli strati iniziali (RB3–RB5), ottenendo guadagni fino al 6% rispetto ai metodi che utilizzano solo la similarità coseno.
• Efficienza Parametrica: I parametri aggiuntivi introdotti da T-GEMs e Jumper sono trascurabili (centinaia di migliaia), rappresentando circa il 4% di un singolo blocco residuo. Questo permette una significativa compressione del modello; ad esempio, uscire al 5° strato riduce le dimensioni dell'encoder di circa 52 milioni di parametri mantenendo un'alta accuratezza.
• Class-Rate vs Coseno: La metrica class-rate si è rivelata un proxy affidabile per la similarità coseno, spesso superandola quando utilizzata come metrica di inferenza, specialmente se combinata con il regolarizzatore basato sul tasso.
• Sensibilità al Campionamento: L'approccio basato sul campionamento richiedeva un numero ragionevole di campioni (ad esempio, $S \ge 100$) per essere efficace, mentre l'approccio basato sull'apprendimento si è stabilizzato con una dimensione di proiezione $K=128$, indicando che modelli di grandi dimensioni non sono strettamente necessari per i T-GEMs.

Significato e Rivendicazioni
Il documento posiziona questo lavoro come un passo fondamentale verso un'inferenza multimodale efficiente. Rivendica di essere il primo studio a esplorare uscite anticipate statiche nei modelli dual-encoder contrastivi sfruttando la relazione tra strati intermedi di testo e visivo. Gli autori sottolineano che il loro metodo riduce le dimensioni dell'encoder di immagini senza compromettere le prestazioni di similarità immagine-testo.

Il significato risiede nel dimostrare che:

1. Le attivazioni intermedie negli strati iniziali dell'encoder sono sufficientemente discriminative per compiti di classificazione.
2. La regolarizzazione basata sul tasso può estrarre rappresentazioni più discriminative rispetto alle sole metriche di similarità standard.
3. Gli embedding di testo possono guidare efficacemente la stima delle distribuzioni di attivazione delle immagini, abilitando una strategia di uscita anticipata statica che non richiede un processo decisionale dinamico, per campione, durante l'inferenza.

Gli autori rimangono modesti riguardo alla portata, notando che, sebbene non implementino attualmente una strategia di uscita dinamica (dove ogni campione esce in uno strato diverso), il loro framework statico fornisce una base promettente per future implementazioni dinamiche e per l'addestramento di encoder multimodali leggeri.