Delving into Spectral Clustering with Vision-Language Representations

Título: Delving into Spectral Clustering with Vision-Language Representations

Autores: Bo Peng, Yuanwei Hu, Bo Liu, Ling Chen, Jie Lu, Zhen Fang (UTS, Austrália)

1. Problema e Motivação

O Agrupamento Espectral (Spectral Clustering - SC) é uma técnica poderosa para análise de dados não supervisionada, que reformula o problema de agrupamento como um problema de partição de grafos. No entanto, a maioria das abordagens atuais de SC baseia-se exclusivamente em representações de uma única modalidade (geralmente apenas visual).

As principais limitações identificadas são:

• Ambiguidade Semântica Visual: Imagens semanticamente distintas podem ser visualmente semelhantes (ex: diferentes raças de cães com cores parecidas), levando a grafos de afinidade subótimos.
• Subutilização de Dados Multimodais: Apesar do sucesso recente de modelos de pré-treinamento visão-linguagem (como o CLIP), que capturam alinhamento cruzado entre texto e imagem, essas capacidades ricas não têm sido efetivamente integradas na construção de matrizes de afinidade para agrupamento espectral.
• Falha de Estratégias Simples: A simples concatenação de características visuais e textuais ou o uso de kernels padrão (como RBF) em espaços de características multimodais não consegue capturar adequadamente a estrutura de blocos desejada no grafo de agrupamento.

2. Metodologia Proposta

Os autores propõem o Neural Tangent Kernel Spectral Clustering (NTK-SC), um novo framework que alavanca o alinhamento cruzado de modelos pré-treinados visão-linguagem. A abordagem consiste em duas etapas principais:

A. Kernel de Tangente Neural (NTK) para Construção de Afinidade

Em vez de usar métricas de distância euclidiana simples, o método define a afinidade entre duas imagens como um acoplamento multiplicativo de proximidade visual e sobreposição semântica.

1. Âncoras Semânticas: O método seleciona um conjunto de "substantivos positivos" (palavras semanticamente relevantes para as classes de interesse) de bancos de dados lexicais (ex: WordNet) para servir como âncoras.
2. Rede Proxy e NTK: Uma rede proxy $g_{\theta}$ é ancorada com as características desses substantivos positivos. O Neural Tangent Kernel (NTK) é calculado sobre pares de características de imagem.
3. Fórmula da Afinidade: A afinidade $A_{NTK}[i, j]$ entre duas imagens $x_i$ e $x_j$ é dada por:
   $$K_{\theta_0}(f_X(x_i), f_X(x_j)) \propto \underbrace{f_X(x_i)^\top f_X(x_j)}_{\text{Proximidade Visual } (U_{ij})} \times \underbrace{\left(\sum_{k} s_i[k]s_j[k]\right)}_{\text{Sobreposição Semântica } (V_{ij})}$$
   Onde $s_i[k]$ é a probabilidade softmax da imagem $i$ em relação ao substantivo positivo $k$.
   • Mecanismo: Para imagens no mesmo cluster, tanto a proximidade visual quanto a sobreposição semântica são altas, amplificando a afinidade. Para imagens em clusters diferentes, mesmo que visualmente próximas, a sobreposição semântica será baixa (distribuída em substantivos diferentes), suprimindo a afinidade. Isso resulta em uma estrutura de diagonal de blocos mais nítida na matriz de afinidade.

B. Difusão de Afinidade Regularizada (RAD)

Para lidar com a variabilidade introduzida por diferentes prompts (templates de texto), o método não usa uma média simples das matrizes de afinidade.

• Otimização Unificada: Propõe-se um problema de otimização conjunta para aprender os pesos de ensemble ($\beta$) de múltiplas matrizes de afinidade induzidas por diferentes prompts e a matriz de afinidade final ($\hat{A}$).
• Processo Iterativo: O problema é resolvido alternando entre:
  1. Otimizar $\hat{A}$ com $\beta$ fixo (usando uma solução de forma fechada baseada em difusão regularizada).
  2. Otimizar $\beta$ com $\hat{A}$ fixo (usando descida de coordenada, similar a problemas Lasso).
• Isso permite que a matriz final seja robusta e explore a complementaridade entre diferentes prompts.

3. Principais Contribuições

1. Mudança de Paradigma: Transição do agrupamento espectral de uma modalidade única para um regime multimodal, integrando profundamente semântica textual na construção do grafo.
2. NTK-SC: Introdução de uma nova formulação de afinidade baseada em NTK que acopla visual e semântica de forma multiplicativa, teoricamente justificada para reforçar a estrutura de blocos diagonais.
3. Mecanismo RAD: Um mecanismo de difusão de afinidade regularizada que adapta dinamicamente a combinação de múltiplos prompts, superando a média simples.
4. Desempenho SOTA: Evidência empírica robusta em 16 benchmarks, superando consistentemente o estado da arte (incluindo o método TAC).

4. Resultados Experimentais

Os autores avaliaram o método em 16 conjuntos de dados, incluindo clássicos (STL-10, CIFAR), de grande escala (ImageNet-1K), de granularidade fina (Pets, Flowers) e com deslocamento de domínio (ImageNet-Sketch, ImageNet-C).

• Desempenho Geral: O método superou o estado da arte (TAC - Text-Augmented Clustering) por uma margem significativa.
  • STL-10: 98.3% de Acurácia (ACC).
  • ImageNet-Dogs: 84.9% de ACC (uma melhoria de 9.8% sobre o TAC).
  • ImageNet-1K: Superação média de 6.3% em ACC, NMI e ARI em relação ao TAC.
• Robustez: O método demonstrou forte robustez em cenários de deslocamento de domínio (Domain Shift) e em tarefas de granularidade fina, onde a distinção semântica é crítica.
• Visualização: As matrizes de afinidade geradas pelo NTK-SC exibem blocos diagonais muito mais definidos e valores fora do bloco suprimidos em comparação com métodos baseados apenas em CLIP ou TAC.
• Análise de Estabilidade: O método convergiu rapidamente (em poucas iterações) e foi estável em relação a hiperparâmetros como temperatura ($\tau$) e número de vizinhos ($q$).

5. Significado e Impacto

• Avanço Teórico: O trabalho conecta a teoria de kernels de tangente neural (geralmente usada para analisar a dinâmica de treinamento de redes profundas) com a construção de grafos para agrupamento não supervisionado, oferecendo uma nova perspectiva teórica sobre como integrar semântica.
• Aplicabilidade Prática: Demonstra que o uso de "substantivos positivos" e prompts de linguagem natural pode substituir ou complementar a necessidade de rótulos de classe conhecidos, tornando o agrupamento espectral mais viável em cenários do mundo real sem supervisão.
• Direção Futura: Abre caminho para futuras pesquisas em agrupamento multimodal, sugerindo que a exploração de representações visão-linguagem é um caminho promissor para melhorar a qualidade de agrupamento além das limitações puramente visuais.

Em resumo, o artigo propõe uma solução elegante e eficaz para o problema de agrupamento espectral, utilizando a riqueza semântica de modelos de linguagem para refinar a estrutura de similaridade entre imagens, resultando em agrupamentos de alta qualidade sem a necessidade de rótulos supervisionados.