Delving into Spectral Clustering with Vision-Language Representations

1. Planteamiento del Problema

El agrupamiento espectral (Spectral Clustering - SC) es una técnica poderosa en el análisis de datos no supervisados que reformula el problema de agrupamiento como una partición de grafos, utilizando el espectro del Laplaciano del grafo para aprender incrustaciones de baja dimensión. Sin embargo, la mayoría de los enfoques actuales se basan exclusivamente en representaciones de una sola modalidad (visual).

Esto presenta limitaciones inherentes:

• Las imágenes semánticamente distintas pero visualmente similares pueden generar grafos de afinidad subóptimos.
• Se desaprovecha la información rica disponible en las representaciones multimodales (visión y lenguaje).
• Los métodos existentes que intentan integrar texto (como TAC) a menudo fallan en guiar eficazmente la construcción de la matriz de afinidad, ya que simplemente concentran características sin un mecanismo teórico robusto para combinar la proximidad visual con la superposición semántica.

El desafío central es: ¿Cómo integrar eficazmente la semántica textual con las similitudes visuales para construir una matriz de afinidad superior en el contexto del agrupamiento espectral?

2. Metodología Propuesta

Los autores proponen Neural Tangent Kernel Spectral Clustering (NTK-SC), un marco que aprovecha la alineación cruzada de modelos preentrenados de visión-lenguaje (como CLIP) mediante el uso del Kernel Tangente Neural (NTK).

A. Construcción de la Matriz de Afinidad basada en NTK

En lugar de usar kernels simples (como RBF) sobre características visuales o textuales concentradas, el método define la afinidad entre dos imágenes como un acoplamiento multiplicativo de su proximidad visual y su superposición semántica.

1. Anclaje Semántico: Se seleccionan sustantivos positivos (palabras semánticamente relevantes) de bases de datos léxicas (WordNet) para actuar como "anclas" semánticas.
2. Red Proxy y NTK: Se define una red proxy $g_\theta$ anclada a las características de estos sustantivos positivos. Se calcula el NTK empírico sobre pares de características de imágenes.
3. Fórmula de Afinidad: La afinidad $A_{NTK}[i, j]$ se formula como:
   $$K_{\theta_0}(f_X(x_i), f_X(x_j)) = U_{ij} \cdot V_{ij}$$
   Donde:
   • $U_{ij}$: Proximidad visual (producto punto en el espacio de características de CLIP).
   • $V_{ij}$: Superposición semántica (medida por qué tan consistentemente ambas imágenes se alinean con los mismos sustantivos positivos, calculado mediante una función log-sum-exp y softmax).

Ventaja Teórica: Este acoplamiento multiplicativo amplifica las conexiones dentro del mismo clúster (alta proximidad visual + alta superposición semántica) y suprime las conexiones espurias entre clústeres (donde la proximidad visual puede ser moderada, pero la superposición semántica es baja). Esto resulta en una estructura de bloque diagonal más aguda en la matriz de afinidad, ideal para el agrupamiento espectral.

B. Difusión de Afinidad Regularizada (RAD)

Para manejar múltiples plantillas de prompts (que generan diferentes matrices de afinidad), se propone un mecanismo de Regularized Affinity Diffusion (RAD):

• En lugar de promediar simplemente las matrices, RAD aprende pesos óptimos para ensamblar las matrices de afinidad inducidas por diferentes prompts.
• Se formula como un problema de optimización conjunta que minimiza la divergencia entre la matriz ensamblada y las matrices individuales, regularizada para evitar un suavizado excesivo.
• Se resuelve mediante un esquema iterativo de dos pasos: optimizar la matriz de afinidad con pesos fijos y optimizar los pesos con la matriz fija.

3. Contribuciones Clave

1. Nuevo Paradigma Multimodal: Transición del agrupamiento espectral de un régimen de sola modalidad a uno multimodal, utilizando la alineación visión-lenguaje preentrenada.
2. NTK para Afinidad: Introducción del Kernel Tangente Neural como mecanismo para definir la afinidad, logrando un acoplamiento teórico sólido entre similitud visual y semántica.
3. Mecanismo RAD: Desarrollo de un método de difusión de afinidad regularizada para ensamblar adaptativamente múltiples matrices de afinidad derivadas de diferentes prompts, mejorando la robustez.
4. Análisis Teórico: Demostración de que el acoplamiento multiplicativo refuerza la estructura de bloque diagonal necesaria para un agrupamiento efectivo.

4. Resultados Experimentales

El método fue evaluado en 16 conjuntos de datos de referencia, incluyendo datasets clásicos, a gran escala, de granularidad fina y con desplazamiento de dominio (domain-shift).

• Rendimiento General: El método propuesto supera consistentemente a los métodos más avanzados (State-of-the-Art), incluido TAC (el actual líder en agrupamiento con CLIP) y SIC.
  • En STL-10: 98.3% de precisión (ACC).
  • En ImageNet-Dogs: 84.9% de ACC (mejora de 9.8% sobre TAC).
  • En datasets desafiantes como UCF-101 y ImageNet-1K, supera a TAC en un promedio de 2.5% a 7.7% en métricas de ACC, NMI y ARI.
• Granularidad Fina: En datasets como Pets y Cars, muestra mejoras significativas (ej. +5.1% en Pets), demostrando su capacidad para distinguir clases visualmente similares pero semánticamente distintas.
• Robustez al Desplazamiento de Dominio: En variantes de ImageNet (ImageNet-C, V2, Sketch), el método mantiene un rendimiento superior a los baselines, indicando mayor robustez.
• Visualización: Las matrices de afinidad generadas muestran una estructura de bloque diagonal mucho más nítida y densa en comparación con los métodos basados en CLIP puro o TAC.
• Validación de Fugas de Datos: Los experimentos con OpenCLIP (modelos entrenados sin solapamiento de datos con los datasets de prueba) confirman que las mejoras no se deben a fugas de datos (data leakage) en los modelos preentrenados.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha teórica: Proporciona un marco fundamentado (NTK) para integrar el lenguaje en el agrupamiento espectral, yendo más allá de la simple concatenación de características.
• Mejora la calidad del agrupamiento: Al suprimir el ruido entre clústeres y reforzar las conexiones intra-clúster mediante la semántica, logra agrupaciones más precisas en escenarios complejos donde la similitud visual es engañosa.
• Escalabilidad: A pesar de la complejidad teórica, el método es computacionalmente eficiente gracias a la dispersión de las matrices de afinidad y se escala bien a grandes conjuntos de datos (como ImageNet-1K).
• Futuro: Abre una nueva dirección de investigación para el agrupamiento no supervisado utilizando representaciones multimodales preentrenadas, sugiriendo que la semántica textual es un recurso crucial para la comprensión visual no supervisada.

En resumen, el artículo presenta NTK-SC como un avance sustancial en el agrupamiento espectral, demostrando que la integración inteligente de representaciones visión-lenguaje mediante kernels tangentes neuronales supera significativamente a los enfoques puramente visuales o de fusión simple.