Delving into Spectral Clustering with Vision-Language Representations

Probleemstelling

Spectrale clustering is een krachtige techniek voor onbewaakte data-analyse die samples omzet in een graf en gebruikmaakt van het spectrum van de Laplacian-matrix om clusters te vinden. De meeste bestaande benaderingen zijn echter beperkt tot unimodale visuele representaties. Dit leidt tot fundamentele beperkingen:

1. Semantische ambiguïteit: Beelden die visueel vergelijkbaar zijn maar semantisch verschillend (of vice versa), worden vaak verkeerd gegroepeerd.
2. Onderschatting van multimodale informatie: De rijke semantische informatie die beschikbaar is in vision-language modellen (zoals CLIP) wordt niet effectief benut bij het construeren van de affiniteitsmatrix (de matrix die de gelijkenis tussen samples bepaalt).
3. Beperkte affiniteitsconstructie: Eenvoudige methoden om tekst en beeld te combineren (bijvoorbeeld door features te middelen) leiden niet tot een robuuste affiniteitsmatrix die de onderliggende clusterstructuur goed weergeeft.

Het centrale onderzoeksvraag is: Hoe kunnen we tekstuele semantiek en visuele gelijkenis effectief integreren bij het construeren van een affiniteitsmatrix voor spectrale clustering?

Methodologie

De auteurs stellen een nieuw kader voor genaamd Neural Tangent Kernel (NTK) Spectral Clustering. De kern van de methode ligt in het gebruik van vooraf getrainde vision-language modellen (CLIP) en het Neural Tangent Kernel-theorema om een semantisch verrijkte affiniteitsmatrix te bouwen.

De methode bestaat uit drie hoofdcomponenten:

1. NTK-gebaseerde Affiniteitsconstructie

In plaats van een standaard afstandsmetriek (zoals RBF-kern) te gebruiken op CLIP-features, definiëren de auteurs een "proxy network" $g_\theta$ dat is verankerd met positieve zelfstandige naamwoorden (positive nouns). Deze woorden worden geselecteerd uit grote lexicons (zoals WordNet) en zijn semantisch relevant voor de afbeeldingen.

• Ankerpunten: De parameters $\theta_0$ van het netwerk worden vastgezet op de CLIP-features van deze positieve zelfstandige naamwoorden.
• NTK Formule: De affiniteit tussen twee afbeeldingen $x_i$ en $x_j$ wordt berekend via de NTK:
  $$K_{\theta_0}(f_X(x_i), f_X(x_j)) = \frac{1}{\tau^2} \underbrace{f_X(x_i)^\top f_X(x_j)}_{\text{Visuele Nabijheid } U_{ij}} \cdot \underbrace{\left(\sum_{k=1}^N s_i[k]s_j[k]\right)}_{\text{Semantische Overlap } V_{ij}}$$
  Waarbij $s_i[k]$ de softmax-kans is dat afbeelding $x_i$ correspondeert met het $k$-de positieve zelfstandige naamwoord.
• Werkingsprincipe: Deze multiplicatieve koppeling zorgt ervoor dat de affiniteit hoog is alleen als beide afbeeldingen visueel dicht bij elkaar liggen en semantisch consistent aligneren met dezelfde set positieve woorden. Dit onderdrukt valse positieven (afbeeldingen die visueel lijken maar semantisch verschillend zijn) en versterkt intra-cluster connecties.

2. Regularized Affinity Diffusion (RAD)

Om omgang te hebben met verschillende prompt-templates (die verschillende semantische perspectieven bieden), worden meerdere affiniteitsmatrices gegenereerd. De auteurs introduceren Regularized Affinity Diffusion om deze matrices adaptief te ensemble:

• Het doel is het vinden van een geoptimaliseerde affiniteitsmatrix $\hat{A}$ en gewichten $\beta$ voor elke prompt.
• Dit wordt opgelost als een geoptimaliseerd probleem dat de geometrie van de onderliggende manifold behoudt en de complementariteit van prompts benut, met een regularisatieterm om overmatige gladheid te voorkomen.
• Het probleem wordt opgelost via een iteratief vast-punt schema (alternatieve optimalisatie van $\hat{A}$ en $\beta$), wat convergeert naar een robuuste, geënssembleerde affiniteitsmatrix.

3. Spectrale Clustering

Op de gegenereerde affiniteitsmatrix $\hat{A}$ wordt de klassieke spectrale clustering toegepast (via de genormaliseerde Laplacian) om de uiteindelijke cluster-toewijzingen te verkrijgen.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: De eerste methode die spectrale clustering systematisch uitbreidt van unimodaal naar multimodaal door gebruik te maken van NTK voor het koppelen van visuele en semantische ruimtes.
2. Theoretisch Inzicht: Een bewijs dat de NTK-koppeling (visueel $\times$ semantisch) de block-diagonale structuur van de affiniteitsmatrix scherper maakt, wat essentieel is voor succesvolle spectrale clustering.
3. Regularized Affinity Diffusion (RAD): Een nieuw mechanisme voor het adaptief ensemble van affiniteitsmatrices gegenereerd door verschillende prompts, wat de robuustheid verhoogt zonder handmatige tuning van weights.
4. State-of-the-Art Prestaties: De methode presteert consistent beter dan bestaande SOTA-methoden (zoals TAC, SIC, GradNorm) op 16 benchmarks.

Resultaten

De methode is getest op 16 datasets, variërend van klassieke datasets (STL-10, CIFAR) tot uitdagende, fijnkorrelige en domein-verschoven datasets.

• Algemene Prestaties: Op ImageNet-Dogs bereikte de methode 98.3% ACC en 84.9% ACC, wat een verbetering is van respectievelijk 3.8% en 9.8% ten opzichte van de huidige SOTA (TAC).
• Uitdagende Datasets: Op moeilijke datasets zoals UCF-101 (actieherkenning) en ImageNet-1K overtrof de methode TAC met gemiddeld 7.7% (NMI), 2.5% (ACC) en 6.3% (ARI).
• Fijnkorrelige Clustering: Op datasets zoals Pets en Cars (fijnkorrelige objecten) werd een verbetering van ongeveer 5% geboekt ten opzichte van TAC.
• Domein-robustheid: De methode toonde superieure prestaties bij domeinverschuivingen (bijv. ImageNet-Sketch, ImageNet-C), wat aantoont dat de semantische verankering robuuster is dan puur visuele benaderingen.
• Visualisatie: De gevisualiseerde affiniteitsmatrices tonen een veel scherpere block-diagonale structuur (dichte blokken, lege buitenblokken) vergeleken met RBF-kern methoden of TAC, wat de theoretische voorspelling bevestigt.

Significantie

Dit paper markeert een belangrijke stap in de evolutie van onbewaakte beeldclustering:

• Uitbuiting van Vision-Language Modellen: Het toont aan dat vooraf getrainde vision-language modellen (zoals CLIP) niet alleen nuttig zijn voor classificatie, maar ook als krachtige "semantische ankers" kunnen dienen voor het construeren van superieure affiniteitsgrafieken in onbewaarde settings.
• Theoretische Fundamenten: Door NTK te gebruiken, biedt het paper een wiskundig onderbouwd kader voor het integreren van tekstuele semantiek in graf-gebaseerde clustering, in plaats van te vertrouwen op heuristieken.
• Toekomstige Richting: Het werk opent de deur voor verdere onderzoek naar het gebruik van multimodale representaties voor andere onbewaarde taken en benadrukt dat "in-the-wild" tekstuele data een waardevolle bron is voor het verbeteren van visuele representaties zonder extra training.

Kortom, de auteurs hebben bewezen dat het combineren van visuele nabijheid met semantische consistentie via NTK leidt tot een fundamenteel betere spectrale clustering, wat resulteert in aanzienlijk betere prestaties op een breed scala aan real-world scenario's.