Delving into Spectral Clustering with Vision-Language Representations

1. Il Problema

Il clustering spettrale è una tecnica potente per l'analisi dei dati non supervisionati, che riformula il problema del clustering come un problema di partizione di grafi, utilizzando gli autovalori dell'operatore di Laplaciano del grafo per apprendere embedding a bassa dimensionalità. Tuttavia, la maggior parte degli approcci esistenti si basa su rappresentazioni monomodali (esclusivamente visive).
Questo approccio presenta limiti intrinseci: immagini semanticamente distinte possono apparire visivamente simili, portando alla costruzione di grafi di affinità subottimali e a una qualità del clustering degradata. Sebbene i modelli pre-addestrati Vision-Language (come CLIP) offrano rappresentazioni ricche che catturano le corrispondenze cross-modali, l'integrazione efficace di queste informazioni semantiche testuali nella costruzione della matrice di affinità per il clustering spettrale rimane una sfida aperta. Le strategie naive (es. concatenare feature o usare kernel RBF standard su spazi multimodali) non riescono a guidare adeguatamente la costruzione dell'affinità, portando a risultati inferiori rispetto alle attese.

2. Metodologia

Gli autori propongono Neural Tangent Kernel Spectral Clustering (NTK-SC), un framework che sfrutta l'allineamento cross-modale dei modelli Vision-Language pre-addestrati. La metodologia si articola in due componenti principali:

A. Neural Tangent Kernel (NTK) per l'Affinità

Invece di usare metriche di distanza geometriche standard, il metodo definisce l'affinità tra due immagini basandosi sul Neural Tangent Kernel di una rete proxy.

• Ancoraggio Semantico: Viene costruita una rete proxy $g_{\theta}$ i cui parametri $\theta_0$ sono ancorati alle feature dei "sostantivi positivi" (positive nouns) filtrati da database lessicali (es. WordNet). Questi sostantivi agiscono come ancore semantiche vicine alle immagini di interesse.
• Accoppiamento Multiplicativo: L'affinità tra due immagini $x_i$ e $x_j$ è formulata come un accoppiamento moltiplicativo di due termini:
  1. Prossimità Visiva ($U_{ij}$): La vicinanza delle immagini nello spazio delle feature di CLIP.
  2. Sovrapposizione Semantica ($V_{ij}$): Misurata da quanto fortemente e coerentemente le immagini si allineano ai sostantivi positivi, calcolata attraverso una funzione log-sum-exp applicata alle probabilità softmax.
     $$K_{\theta_0}(f_X(x_i), f_X(x_j)) \propto U_{ij} \cdot V_{ij}$$
• Meccanismo di Rafforzamento: Questo accoppiamento moltiplicativo amplifica le connessioni intra-cluster (dove sia la vicinanza visiva che quella semantica sono alte) e sopprime le connessioni spurie inter-cluster (dove la vicinanza visiva potrebbe essere moderata ma la sovrapposizione semantica è bassa), creando una struttura a blocchi diagonali più netta nella matrice di affinità.

B. Diffusione di Affinità Regolarizzata (RAD)

Per gestire la variabilità introdotta da diversi prompt testuali, il metodo introduce un meccanismo di ensemble adattivo.

• Problema: Semplicemente mediare le matrici di affinità generate da diversi prompt ignora le correlazioni tra di esse.
• Soluzione: Viene formulato un problema di ottimizzazione unificato per apprendere i pesi $\beta$ di ciascun prompt e la matrice di affinità finale $\hat{A}$ simultaneamente.
• Ottimizzazione: Il problema è risolto tramite un approccio iterativo a due fasi (alternanza):
  1. Ottimizzazione di $\hat{A}$ fissando $\beta$ (risolvendo un sistema lineare derivato da un processo di diffusione regolarizzato).
  2. Ottimizzazione di $\beta$ fissando $\hat{A}$ (risolvendo un problema di tipo Lasso tramite discesa del coordinato).
     Questo processo garantisce una matrice di affinità robusta che sfrutta la complementarità dei diversi prompt.

3. Contributi Chiave

1. Transizione al Regime Multimodale: Il lavoro sposta il paradigma del clustering spettrale da rappresentazioni puramente visive a rappresentazioni vision-language, sfruttando la conoscenza semantica esterna senza supervisione.
2. Framework NTK per l'Affinità: Introduzione di un nuovo modo per costruire matrici di affinità basato sul NTK, che integra formalmente la similarità visiva e la sovrapposizione semantica in un'unica misura moltiplicativa.
3. Meccanismo RAD: Proposta di un meccanismo di diffusione di affinità regolarizzata per l'ensemble adattivo di matrici indotte da prompt, migliorando la robustezza rispetto alla scelta del prompt.
4. Analisi Teorica: Dimostrazione che l'accoppiamento moltiplicativo rafforza la struttura a blocchi diagonali, essenziale per l'efficacia del clustering spettrale.

4. Risultati Sperimentali

Il metodo è stato valutato su 16 benchmark, inclusi dataset classici (STL-10, CIFAR-10/20), dataset su larga scala (ImageNet-10, ImageNet-Dogs, ImageNet-1K), dataset a grana fine (Aircraft, Pets, Flowers) e dataset con shift di dominio (ImageNet-C, ImageNet-Sketch).

• Performance Generale: Il metodo supera costantemente lo stato dell'arte (SOTA), in particolare il metodo TAC (Li et al., 2024).
  • Su STL-10: 98.3% di accuratezza (ACC) e 95.8% di NMI.
  • Su ImageNet-Dogs: 84.9% ACC (miglioramento del 9.8% rispetto a TAC).
  • Su ImageNet-1K: Miglioramenti medi significativi in ACC, NMI e ARI rispetto ai competitor.
• Robustezza: Il metodo dimostra una maggiore resilienza agli shift di dominio e alle variazioni di grana fine rispetto alle tecniche basate solo su CLIP o su ensemble naive.
• Visualizzazione: Le matrici di affinità generate mostrano una struttura a blocchi diagonali molto più netta rispetto a quelle ottenute con kernel RBF standard o feature concentrate testo-immagine.
• Validità: Sono state condotte analisi per escludere la "data leakage" (uso di dati di addestramento del modello CLIP) e la "label leakage" (uso dei nomi delle classi vere), confermando che i guadagni derivano dalla struttura semantica appresa e non da informazioni trapelate.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso l'integrazione della conoscenza semantica esterna nei metodi di clustering non supervisionato. Dimostrando che l'ancoraggio di kernel neurali a concetti testuali può migliorare drasticamente la qualità dei grafi di affinità, il paper apre nuove direzioni per:

• Migliorare l'analisi di dati non etichettati in scenari reali dove le similarità visive sono ingannevoli.
• Sfruttare modelli Foundation (VLM) per compiti di clustering senza necessità di ri-addestramento pesante o supervisione.
• Fornire una base teorica solida (tramite NTK) per l'uso di rappresentazioni multimodali in algoritmi di clustering classici.

Il codice è stato reso disponibile, e i risultati suggeriscono che l'uso di rappresentazioni vision-language è una direzione promettente per il futuro del clustering di immagini.