GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

Riepilogo Tecnico: GraSP-VL

Enunciato del Problema
I modelli visione-linguaggio (VLM) congelati, come CLIP, generano embedding che contengono segnali semantici a multi-granularità che spaziano dall'identità dell'oggetto ad attributi, relazioni e significati di intere didascalie. Tuttavia, questi modelli espongono tali segnali attraverso un'interfaccia vettoriale a lunghezza fissa. Ciò crea un "disallineamento dell'interfaccia": un singolo vettore di embedding viene utilizzato per query che richiedono diversi livelli di risoluzione semantica (ad esempio, identificare un "cane" rispetto a un "cane marrone che corre"). I metodi attuali per accorciare gli embedding, come troncamento, proiezione o compressione, non garantiscono che i vettori risultanti più corti corrispondano a specifiche granularità semantiche. Ad esempio, le prime dimensioni di un embedding CLIP congelato non sono intrinsecamente garantite per rappresentare semantica a livello di oggetto, né le tecniche standard di riduzione della dimensionalità come la PCA comprendono la gerarchia intesa di entità, attributi e relazioni.

Metodologia: GraSP-VL
Gli autori propongono GraSP-VL (Granularity-Selective Prefixes for Vision-Language representations), un metodo progettato per trasformare la lunghezza dell'embedding in un'interfaccia di accesso semantico controllabile senza riaddestrare il VLM sottostante.

• Trasformazione Condivisa Quasi-Ortogonale: GraSP-VL impara una singola trasformazione condivisa $F_\theta$ applicata sia agli embedding di immagini che a quelli di testo provenienti da un VLM congelato. La trasformazione è istanziata come una matrice ortogonale $R$ parametrizzata tramite una trasformazione di Cayley ($R = (I + A_\theta)^{-1}(I - A_\theta)$), dove $A_\theta$ è una matrice antisimmetrica derivata da parametri addestrabili. Ciò garantisce che la trasformazione sia quasi isometrica, preservando esattamente la similarità del coseno dello spazio a dimensione completa ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• Interfaccia Semantica Matryoshka: Il metodo implementa un principio "Semantica Matryoshka". Invece di trattare la lunghezza del prefisso meramente come un budget di compressione, assegna ruoli semantici specifici a diverse lunghezze di prefisso tramite un contratto di interfaccia esplicito:
  • I prefissi brevi (ad esempio, $D/16$) sono assegnati a ruoli grossolani (identità dell'oggetto).
  • I prefissi più lunghi (ad esempio, $D/8, D/4, D/2$) espongono progressivamente distinzioni più fini (attributi, relazioni/azioni, didascalie complete).
• Obiettivo Selettivo per Granularità: L'obiettivo di addestramento combina cinque termini accoppiati per imporre questa struttura:
  1. Allineamento Multi-Granularità ($L_{align}$): Allinea ogni lunghezza di prefisso alla sua vista linguistica assegnata (oggetto, attributo, relazione, didascalia completa).
  2. Ritenzione Cumulativa ($L_{ret}$): Garantisce che i prefissi più lunghi mantengano le semantica grossolane dei prefissi più brevi, prevenendo la sostituzione di informazioni.
  3. Classificazione Selettiva con Negativi Rigidi ($L_{rank}$): Utilizza negativi rigidi tipizzati (oggetto, attributo, relazione, azione, ordine, completo) per imporre che specifiche distinzioni siano risolvibili solo a partire dal confine del prefisso assegnato o successivamente.
  4. Invarianza del Prefisso Precoce ($L_{inv}$): Scoraggia la separazione prematura di coppie positive/negative prima del confine del prefisso assegnato, garantendo che i prefissi brevi rimangano grossolani e non si adattino eccessivamente a dettagli a granularità fine.
  5. Preservazione dello Spazio Completo ($L_{pres}$ & $L_{ortho}$): Monitora che la geometria a dimensione completa rimanga invariata.

Contributi Chiave

1. Framework GraSP-VL: Una trasformazione di prefisso condivisa per VLM congelati che riorganizza l'accesso ai segnali esistenti, esponendo semantica dal grossolano al fine tramite la lunghezza del prefisso, preservando al contempo la geometria originale dello spazio completo.
2. Principio Semantica Matryoshka: Una formalizzazione in cui la lunghezza dell'embedding viene assegnata una granularità semantica da un contratto esplicito, piuttosto che affidarsi a confini naturali scoperti.
3. Obiettivo Selettivo per Granularità: Una nuova funzione di perdita che combina allineamento, ritenzione, discriminazione con negativi rigidi, invarianza del prefisso precoce e preservazione della geometria.
4. Protocollo Diagnostico: Un framework di valutazione rigoroso che separa la selettività semantica dal semplice troncamento, PCA, adattamento generico e permutazioni di coordinate, utilizzando una "catena di falsificazione" per validare la necessità dell'interfaccia appresa.

Risultati Sperimentali
Il metodo è stato valutato su un pool di 20.147 esempi provenienti da COCO e Flickr30K, con test di trasferimento aggiuntivi su SugarCrepe-clean e CIFAR-100.

• Prestazioni a Scala: GraSP-VL ha ottenuto un punteggio a scala di 53,01 e una selettività con negativi rigidi dell'89,76%. Ciò ha superato significativamente le baseline, inclusi troncamento diretto, PCA, rotazioni casuali, metodi in stile MRL, in stile Matryoshka e metodi di compressione in stile SMEC.
• Preservazione della Geometria: Il metodo ha mantenuto una deriva dello spazio completo inferiore a $10^{-6}$, preservando efficacemente la superficie decisionale del VLM originale per query a dimensione completa.
• Selettività vs Deriva: A differenza degli adattatori MLP generici che hanno ottenuto alta selettività ma hanno riscritto lo spazio di embedding completo (alta deriva), GraSP-VL ha ottenuto alta selettività con deriva quasi nulla.
• Trasferibilità:
  • Su SugarCrepe-clean (un benchmark esterno non utilizzato nell'addestramento), GraSP-VL ha ottenuto un'accuratezza sugli oggetti dell'86,03% e un'emergenza esterna media di 11,96.
  • Ha preservato l'accuratezza zero-shot a dimensione completa su CIFAR-100.
  • L'approccio si è generalizzato attraverso diversi backbones (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) con dimensioni variabili.
• Baseline: Lo studio ha dimostrato che coordinate grezze, PCA e permutazioni apprese non riescono a produrre la scala semantica intesa. Solo la miscelazione densa e quasi isometrica fornita da GraSP-VL ha organizzato con successo i segnali.

Significato e Affermazioni
Il documento posiziona GraSP-VL come una soluzione di ingegneria dell'interfaccia piuttosto che come una scoperta di punti di rottura semantici universali. Gli autori affermano:

• Gli embedding dei VLM congelati contengono segnali multi-granularità sufficienti per essere riorganizzati in un'interfaccia di prefisso controllabile.
• L'interfaccia "Semantica Matryoshka" permette agli utenti di selezionare una lunghezza di prefisso corrispondente alla risoluzione semantica richiesta (entità, attributo, relazione o didascalia completa) senza riaddestrare il modello base o distruggere lo spazio di embedding originale.
• Questo approccio è particolarmente prezioso per i sistemi di recupero in cui la compatibilità con gli indici esistenti a vettore completo e gli embedding in cache è critica, poiché la trasformazione può essere applicata offline agli embedding della galleria.
• Gli autori affermano esplicitamente che i punti di rottura dimensionali scelti (ad esempio, $D/16$ per gli oggetti) sono contratti di interfaccia specificati dall'utente, non necessariamente costanti naturali intrinseche al VLM. Il successo del metodo risiede nel realizzare questo contratto preservando la geometria completa, piuttosto che nel dimostrare che il VLM memorizza naturalmente questi segnali in quell'ordine specifico.