Image Hashing via Cross-View Code Alignment in the Age of Foundation Models

1. Il Problema

L'avvento dei Foundation Models (modelli di base pre-addestrati su larga scala) ha rivoluzionato il campo della visione artificiale e dell'apprendimento multimodale, fornendo embedding ricchi di informazioni semantiche. Tuttavia, questi embedding sono tipicamente ad alta dimensionalità (es. 768 o più dimensioni), rendendo lo storage e la ricerca dei vicini più prossimi (nearest neighbor search) computazionalmente costosi e inefficienti su larga scala.

L'Image Hashing (codifica a hash) offre una soluzione mappando questi embedding in codici binari compatti, permettendo ricerche rapide basate sulla distanza di Hamming. Nonostante ciò, l'applicazione dell'hashing ai foundation models presenta sfide significative:

• Le metodologie esistenti spesso richiedono pipeline complesse, obiettivi multipli (multi-term objectives) e tempi di addestramento lunghi.
• Molti approcci sono specializzati per un singolo paradigma (supervisionato o non supervisionato) e soffrono di problemi di "collasso" delle rappresentazioni (dove i codici binari perdono varianza e diversità).
• C'è la necessità di un framework unificato che possa sfruttare efficientemente gli embedding dei foundation models sia in contesti supervisionati che non supervisionati.

2. Metodologia: CroVCA e HashCoder

Gli autori introducono CroVCA (Cross-View Code Alignment), un principio unificato e semplice per apprendere codici binari che rimangono coerenti attraverso viste semanticamente allineate.

Principi Fondamentali

Il framework si basa su due obiettivi principali derivati dall'informazione teorica:

1. Allineamento (Alignment): Massimizzare l'accordo tra i codici binari generati da due viste diverse dello stesso input (es. aumentazioni dei dati nel caso non supervisionato, o campioni della stessa classe nel caso supervisionato).
2. Diversità (Diversity): Garantire che i bit del codice siano bilanciati e decorrelati per evitare il collasso della rappresentazione (massimizzazione dell'entropia).

Architettura: HashCoder

Per implementare CroVCA, gli autori progettano HashCoder, una rete MLP (Multi-Layer Perceptron) leggera che funge da testa di proiezione:

• Input: Prende in input gli embedding estratti da un encoder pre-addestrato (frozen o adattato).
• Struttura: È un MLP compatto (2 o 3 strati) che termina con uno strato di Batch Normalization. Questo strato finale è cruciale per bilanciare l'uso dei bit, prevenendo che la maggior parte dei bit assuma valori costanti.
• Adattabilità: HashCoder può essere utilizzato come testa di probing su embedding congelati o per l'adattamento efficiente degli encoder tramite LoRA (Low-Rank Adaptation).

Funzione di Loss

L'obiettivo di addestramento combina due termini:

1. Cross-Entropy Binaria (BCE): Agisce come termine di allineamento. Per ogni coppia di viste $(x^{(1)}, x^{(2)})$, un ramo viene binarizzato (insegnante) e l'altro rimane soft (studente). La BCE forza la probabilità dello studente a corrispondere al codice binario dell'insegnante. Questo evita la necessità di stimatori "straight-through" per la backpropagazione attraverso la soglia dura.
2. Massimizzazione del Tasso di Codifica (Coding-Rate Maximization): Agisce come regolarizzatore anti-collasso. Utilizza una surrogata differenziabile dell'entropia marginale basata sulla matrice di covarianza dei logit pre-soglia. Questo incoraggia i vettori a distribuirsi lungo direzioni indipendenti, massimizzando l'utilizzo dello spazio di Hamming.

La loss totale è: $\mathcal{L}_{hash} = \mathcal{L}_{align} + \lambda \mathcal{L}_{div}$.

3. Contributi Chiave

• Unificazione: CroVCA unifica hashing supervisionato e non supervisionato sotto un singolo obiettivo, eliminando la necessità di design specifici per paradigma.
• Semplicità ed Efficienza: L'approccio utilizza una singola loss di cross-entropy binaria e un regolarizzatore semplice, evitando pipeline complesse.
• HashCoder: Introduzione di una rete leggera con BatchNorm finale per garantire codici bilanciati.
• Velocità di Addestramento: Il metodo raggiunge prestazioni state-of-the-art in soli 5 epoche di addestramento.
• Versatilità: Supporta sia l'adattamento tramite LoRA che l'uso come testa di probing su modelli congelati.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard per il recupero di immagini (COCO, ImageNet100, ImageNet-1k, Flickr25K, NUS-WIDE, CIFAR10) utilizzando diversi backbone (DINOv2, DINOv3, SWAG, DeiT).

• Prestazioni Non Supervisionate: Su COCO, l'hashing non supervisionato con 16 bit viene completato in meno di 2 minuti su una singola GPU, ottenendo risultati competitivi o superiori rispetto ai metodi SOTA.
• Prestazioni Supervisionate: Su ImageNet100, l'hashing supervisionato con 16 bit viene completato in circa 3 minuti (5 epoche), superando metodi come FPPQ e OrthoHash che richiedono 90-100 epoche.
• Qualità Semantica: Anche con una compressione estrema (da 768 dimensioni a 16 bit), i codici HashCoder preservano la struttura semantica delle classi. Le visualizzazioni t-SNE e le ricerche di vicini più prossimi dimostrano che il metodo recupera immagini semanticamente rilevanti e diversificate, a differenza di metodi basati su PCA che perdono dettagli fini.
• Trasferibilità: Un singolo HashCoder addestrato su ImageNet-1k può essere trasferito efficacemente su dataset downstream (es. CIFAR10, COCO) senza ri-addestramento, mantenendo alte prestazioni.
• Robustezza: Il metodo si dimostra robusto anche per query ambigue o visivamente difficili, preservando distinzioni a livello di classe fine-grained.

5. Significato e Impatto

Questo lavoro è significativo perché dimostra che è possibile ottenere rappresentazioni binarie altamente efficienti e semanticamente ricche partendo da Foundation Models moderni senza compromettere la qualità del recupero.

• Efficienza Computazionale: Riduce drasticamente il tempo di addestramento (da giorni a minuti) e il costo computazionale.
• Scalabilità: La capacità di generare codici binari compatti (anche a 16 bit) che preservano la semantica rende fattibile il recupero di immagini su scala massive con risorse limitate.
• Generalizzazione: La capacità di trasferire un unico modello addestrato su un dataset grande a molti altri task riduce la necessità di addestramento specifico per ogni dominio.
• Semplicità: Offre un'alternativa semplice e unificata alle complesse pipeline di hashing esistenti, rendendo la tecnologia accessibile e facile da implementare.

In sintesi, CroVCA e HashCoder rappresentano un passo avanti fondamentale nell'adattamento dei Foundation Models per applicazioni di retrieval su larga scala, bilanciando perfettamente compattezza, velocità e precisione semantica.