SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering

Resumo Técnico: SPORT – Desempenho de Protótipos com Estrutura Consciente para Agrupamento Multiview Incompleto

Declaração do Problema
O Agrupamento Multiview Incompleto (IMVC - Incomplete Multi-View Clustering) visa particionar dados não rotulados onde as amostras podem estar ausentes em uma ou mais visões devido a limitações de sensores ou falhas de hardware. Embora os métodos recentes de IMVC baseados em protótipos tenham melhorado a robustez ao usar protótipos como âncoras semânticas para imputação de visões ausentes, os autores identificam três limitações críticas nas abordagens existentes:

1. Problema de Sobrealinhamento de Protótipos (POP - Prototype Over-alignment Problem): Os métodos existentes impõem uma consistência rigorosa de protótipos entre visões, ignorando informações específicas de cada visão. Isso suprime informações complementares únicas de visões específicas, limitando a expressividade das representações multiview.
2. Falta de Preservação da Estrutura em Nível de Cluster: A maioria dos métodos depende de aprendizado contrastivo de nível de instância que alinha apenas amostras pareadas entre visões. Eles falham em preservar estruturas relacionais entre instâncias semanticamente similares (amostras dentro do mesmo cluster), potencialmente afastando-as no espaço de características.
3. Imputação de Visão Ausente Imprecisa: As estratégias de imputação atuais dependem tipicamente apenas de protótipos globais. Essa abordagem de grão grosso negligencia estruturas de vizinhança geométrica local, levando a reconstruções excessivamente suavizadas que falham em preservar a consistência fina de nível de instância.

Metodologia: O Framework SPORT
Os autores propõem o SPORT (Structure-aware PrOtotype disentanglement foR incomplete multi-view clusTering), um framework projetado para explorar conjuntamente a consistência entre visões, semântica específica de cada visão e relações estruturais. A arquitetura consiste em quatro componentes principais:

1. Aprendizado de Representação de Características:
   O modelo utiliza autoencoders específicos de cada visão para projetar características observadas de cada visão em um subespaço latente compartilhado. Uma perda de reconstrução ($L_{REC}$) garante a fidelidade do mapeamento e preserva as características estruturais inerentes.

2. Aprendizado Contrastivo Relacional Consciente de Estrutura:
   Para abordar a negligência das estruturas de nível de cluster, o SPORT introduz um mecanismo de aprendizado contrastivo ponderado. Diferente do aprendizado contrastivo rígido que trata apenas pares da mesma amostra como positivos, este módulo utiliza pesos de similaridade de par ($w_{ij}$) derivados da similaridade de cosseno. Isso permite que amostras semanticamente similares (mesmo que não sejam a mesma instância) sejam tratadas suavemente como pares positivos, impondo consistência entre visões enquanto preserva a estrutura geométrica subjacente dos dados.

3. Alinhamento Parcial de Protótipo (Desempenho/Desentrelaçamento):
   Para resolver o Problema de Sobrealinhamento de Protótipos, o SPORT decompõe explicitamente os protótipos em dois componentes ortogonais:

   • Componentes Compartilhados ($s_i$): Alinhados entre visões para capturar semânticas de consenso invariantes à visão.
   • Componentes Específicos da Visão ($c_i$): Descorrelacionados entre visões para preservar informações complementares e dependentes da visão.
     Esta decomposição é alcançada usando uma matriz de projeção ortogonal aprendível (via reparametrização de transformação de Cayley). O objetivo inclui uma perda de alinhamento compartilhado ($L_{SHARED}$) e uma perda de descorrelação específica da visão ($L_{DE}$).

4. Estratégia de Imputação de Protótipo Híbrida:
   Para a recuperação de dados ausentes, o SPORT emprega uma estratégia híbrida que integra informações globais e locais. As características ausentes são reconstruídas como uma soma ponderada de:

   • O protótipo mais relevante (âncora semântica global).
   • A amostra vizinha mais similar (contexto geométrico local).
     Esta abordagem equilibra semântica de nível de cluster com consistência estrutural local, melhorando a qualidade da reconstrução sob altas taxas de ausência.

O objetivo geral combina perda de reconstrução, perda contrastiva e perda de alinhamento de protótipo, otimizadas em um processo de treinamento de duas fases (pré-treinamento seguido de ajuste fino).

Principais Contribuições
O artigo afirma as seguintes contribuições:

• Alinhamento de Protótipo Unificado: Um framework inovador que decompõe protótipos em componentes compartilhados e específicos de visão, alinhando os primeiros enquanto descorrela os segundos para integrar efetivamente semânticas compartilhadas e informações específicas de visão.
• Alinhamento de Características Consciente de Estrutura: Um mecanismo que introduz pesos de similaridade por instância para codificar suavemente relações entre amostras, impondo consistência entre visões enquanto preserva estruturas relacionais de nível de cluster.
• Estratégia de Imputação Híbrida: Um método de imputação de dados ausentes que explora conjuntamente protótipos correspondentes e amostras vizinhas, aproveitando tanto a semântica de cluster global quanto a informação estrutural local.
• Superioridade Empírica: Experimentos extensos demonstrando que o SPORT supera os métodos de estado da arte em várias taxas de ausência.

Resultados Experimentais
Os autores avaliaram o SPORT em seis conjuntos de dados de referência (ALOI_100, Animal1, Digit4k, 100Leaves, Reuters_21578 e VGGFace2_50) contra 14 métodos de IMVC de estado da arte.

• Desempenho: O SPORT alcançou desempenho superior em Acurácia (ACC), Índice Rand Ajustado (ARI) e F-Score na maioria dos datasets e taxas de ausência. Por exemplo, no dataset Animal com uma taxa de ausência de 0,5, o SPORT melhorou a ACC em 17,7% em relação ao segundo melhor método.
• Robustez: O método demonstrou uma robustez notável conforme as taxas de ausência aumentavam. No dataset 100Leaves, o SPORT mostrou flutuações de desempenho significativamente menores em comparação com outros métodos quando a taxa de ausência subiu de 0,1 para 0,5.
• Estudos de Ablação: A remoção de qualquer um dos três módulos principais (aprendizado de representação, aprendizado contrastivo consciente de estrutura ou alinhamento parcial de protótipo) resultou em degradação significativa do desempenho, confirmando a necessidade e complementaridade de cada componente.
• Análise de Imputação: A estratégia de imputação híbrida (equilibrando as contribuições de protótipos e vizinhos) superou consistentemente as variantes degeneradas que dependiam apenas de protótipos ou apenas de vizinhos.

Significância e Alegações
O artigo postula que o SPORT aborda gargalos fundamentais no IMVC baseado em protótipos ao ir além do alinhamento estrito entre visões e do aprendizado contrastivo de nível de instância. Ao decompor explicitamente os componentes de protótipo compartilhados e específicos de visão e incorporar estruturas de vizinhança local no processo de imputação, o framework alcança representações de agrupamento mais discriminativas e robustas. Os autores concluem que o SPORT aprende efetivamente representações discriminativas sob configurações multi-visão incompletas, oferecendo uma solução confiável para cenários do mundo real onde a incompletude de dados é onipresente.