Riassunto Tecnico: SaMer – Unione di Token che Preserva l'Evidenza degli Oggetti per il Recupero Visione-Linguaggio

Definizione del Problema

I sistemi di recupero visione-linguaggio multi-vettore, come ColPali e ColQwen2, raggiungono un recupero fine-grained attraverso la preservazione dell'evidenza a livello di token tramite l'interazione tardiva (late interaction) di massima similarità (MaxSim). Tuttavia, questo approccio comporta costi significativi di archiviazione e computazione perché richiede la memorizzazione e il confronto di centinaia o migliavere di embedding di patch lato immagine per ogni immagine.

Le strategie di compressione dei token esistenti, come il pruning o la fusione basata sulle feature, tentano di ridurre questi costi. Tuttavia, gli autori identificano una modalità di fallimento critica in questi metodi: il collasso delle istanze di oggetti (object-instance collapse). Quando la compressione si basa esclusivamente sulla similarità delle feature, patch visivamente simili provenienti da diverse istanze di oggetti (ad esempio, due persone o auto diverse) possono essere unite in una singola rappresentazione. Ciò provoca il collasso di evidenze distinte che i futuri token della query potrebbero dover selezionare. Inoltre, il pruning scarta l'evidenza visiva prima che la query sia nota, rimuovendo potenzialmente i token specifici necessari per un match. La sfida fondamentale è comprimere i token lato immagine senza perdere l'evidenza a livello di oggetto e di regione necessaria per un matching selezionabile dalla query.

Metodologia: SaMer

Gli autori propongono SaMer (Semantic-aware Merging), un framework di unione di token consapevole degli oggetti, progettato per comprimere i token visivi post-proiettore in $K$ centroidi rappresentativi preservando l'interfaccia originale di late-interaction.

1. Assegnazione Soft Spazio-Feature

SaMer comprime $N$ token visivi post-proiettore in $K$ token uniti ($K \ll N$). Utilizza un meccanismo di assegnazione soft spazio-feature in cui ogni token visivo $v_i$ viene assegnato a un rappresentante $k$ basandosi su una metrica di distanza che combina:

• Similarità delle Feature: $1 - v_i^\top \mu_k$, raggruppando token semanticamente simili.
• Coerenza Spaziale: $\gamma \|p_i - s_k\|_2^2$, impedendo che regioni visivamente simili ma spazialmente distanti vengano unite in modo aggressivo.

I rappresentanti sono formati come centroidi pesati normalizzati ($r_k$) piuttosto che come token scartati, garantendo che la rappresentazione compressa rimanga compatibile con il punteggio MaxSim.

2. Prior di Unione Consapevole dell'Oggetto (Solo in fase di Training)

Per prevenire il mescolamento tra istanze, SaMer utilizza le annotazioni degli oggetti solo durante il training come un prior di unione, non come una perdita di grounding ausiliaria.

• Meccanismo: Il sistema stima la distribuzione delle etichette dei bounding box (bbox) per ogni rappresentante utilizzando un'assegnazione hard con stop-gradient.
• Penalità: Una penalità di inconsistenza delle istanze ($P_{inst}$) viene aggiunta alla metrica di distanza. Se l'assegnazione di un token a un rappresentante comporterebbe il mescolamento di evidenze da diverse istanze di oggetti (ovvero, l'etichetta bbox del token differisce dall'etichetta dominante del rappresentante), il peso di assegnazione viene ridotto.
• Inference: Durante l'inferenza, SaMer non richiede bounding box o detector di oggetti ground-truth. Esegue un'assegnazione soft spazio-feature priva di annotazioni, affidandosi al layer di proiezione adattato durante il training per preservare implicitamente la struttura degli oggetti.

3. Adattamento della Proiezione-Only Consapevole della Compressione

Per allineare la rappresentazione compressa allo spazio di recupero, SaMer adatta solo il layer di proiezione condiviso, mantenendo congelati l'encoder visivo e la backbone del linguaggio.

• Il layer di proiezione è addestrato utilizzando una perdita di recupero multi-positiva InfoNCE sui punteggi MaxSim compressi ($S_K$).
• Ciò assicura che i token uniti rimangano efficaci per il punteggio di late-interaction senza alterare le rappresentazioni della backbone o richiedere una nuova architettura di recupero.

Contributi Chiave

1. Inquadramento del Problema: Gli autori riformulano la compressione dei token visivi per il recupero a late-interaction come un problema di preservazione dell'evidenza, identificando il collasso delle istanze di oggetti come una primaria modalità di fallimento della fusione basata sulle feature.
2. Framework SaMer: Propongono un metodo di unione dei token consapevole degli oggetti che utilizza le annotazioni degli oggetti durante il training come un prior di unione per scoraggiare l'unione tra istanze diverse, richiedendo nessuna annotazione o detector durante l'inferenza.
3. Efficienza e Performance: Dimostrano che SaMer, con $K=64$, rimuove oltre il 93% dei token lato immagine e riduce l'archiviazione di ColPali di 16,09×, migliorando simultaneamente le prestazioni di recupero (R@1) e il grounding a livello di frase rispetto ai baseline di pruning e pooling.

Risultati Sperimentali

Gli autori hanno valutato SaMer su Flickr30K, MSCOCO, ImageCoDe e DocVQA.

• Performance di Recupero:
  • Su Flickr30K, SaMer ha migliorato l'R@1 di ColPali dal 77,0 all'82,4 e l'R@1 di ColQwen2 dal 73,6 al 79,3.
  • Su MSCOCO, l'R@1 di ColPali è migliorato dal 47,4 al 51,6.
  • SaMer ha superato costantemente i baseline di compressione (H-Pool, HPC, SAP) sotto budget di token corrispondenti ($K=64$) e configurazioni di adattamento.
• Qualità del Grounding:
  • SaMer ha dimostrato un superiore grounding a livello di frase. Metriche come BoxMass (concentrazione di rilevanza all'interno delle regioni annotate) sono aumentate da 47,8 a 54,2, e la CoverageIoU è migliorata da 13,1 a 16,4.
  • Ciò indica che SaMer preserva meglio l'evidenza dell'oggetto selezionabile dalla query rispetto al pruning o al semplice pooling, che spesso diffondono la rilevanza sullo sfondo o su oggetti vicini.
• Efficienza:
  • Per ColPali, SaMer ha ridotto l'archiviazione di 16,09× e le operazioni MaxSim di 16,1×.
  • Il throughput della query (QPS) è aumentato di 4,3× su Flickr30K e di 9,1× su MSCOCO.
  • Per ColQwen2, l'archiviazione è stata ridotta di 3,73× (Flickr30K) e di 1,99× (MSCOCO), con i corrispondenti guadagni di throughput.

Significato e Claim

Il paper sostiene che l'efficacia della compressione del recupero non dipende semplicemente dalla riduzione del numero di token, ma dalla preservazione dell'evidenza che i futuri token della query devono selezionare.

Gli autori affermano che:

1. L'unione consapevole degli oggetti è superiore al pooling basato solo sulle feature: Unire semplicemente patch simili può far collassare distinte istanze di oggetti, mentre il prior di SaMer consapevole degli oggetti mantiene la distinzione necessaria per il recupero fine-grained.
2. I prior durante il training abilitano l'efficienza durante l'inferenza: Utilizzando le annotazioni degli oggetti solo come prior di unione durante il training, SaMer ottiene una compressione consistente con gli oggetti senza l'overhead computazionale di eseguire detector durante l'inferenza.
3. L'adattamento della sola proiezione è sufficiente: Allineare lo spazio di recupero tramite il solo layer di proiezione consente al sistema di mantenere alte prestazioni mantenendo le backbone congelate, rendendo il metodo "plug-and-play" per gli esistenti sistemi di recupero multi-vettore.

I risultati suggeriscono che un recupero multi-vettore efficiente richiede un equilibrio tra compressione e preservazione dell'evidenza a livello di oggetto, selezionabile dalla query.