Label-independent hyperparameter-free self-supervised single-view deep subspace clustering

Resumo Técnico: Agrupamento de Subespaço Profundo de Visão Única, Independente de Rótulos e Livre de Hiperparâmetros (LIHFSS-SVDSC)

Definição do Problema
Os algoritmos de Agrupamento de Subespaço Profundo (DSC) enfrentam barreiras significativas para a adoção generalizada em cenários do mundo real. Os métodos atuais sofrem de cinco limitações primárias:

1. Perda de Informação: Eles tipicamente utilizam apenas a camada de saída final do codificador, ignorando informações estruturais valiosas presentes em camadas intermediárias.
2. Desacoplamento de Tarefas: O aprendizado de representação e o agrupamento de subespaço são frequentemente tratados como tarefas independentes, limitando o ciclo de feedback entre a qualidade do agrupamento e o aprendizado de características.
3. Dependência de Hiperparâmetros: A maioria das abordagens requer um conjunto de dados rotulado de validação para o ajuste de hiperparâmetros, o que é impraticável para tarefas não supervisionadas.
4. Terminação Dependente de Rótulos: A terminação do treinamento é frequentemente baseada no monitoramento do erro ou da precisão do agrupamento, o que necessita de rótulos externos.
5. Dependência de Pós-processamento: O desempenho muitas vezes depende de técnicas de pós-processamento que dependem de dados rotulados ou limiares ad hoc.

Além disso, embora dados não lineares (por exemplo, imagens de faces com variações de pose) frequentemente residam em variedades (manifolds) em vez de subespaços lineares, os métodos baseados em núcleos (kernel) existentes lutam com a seleção de núcleo, e as redes DSC padrão frequentemente falham em aproveitar totalmente o modelo de "união de subespaços lineares" no espaço incorporado sem um ajuste cuidadoso.

Metodologia
Os autores propõem o LIHFSS-SVDSC, uma nova abordagem de DSC de visão única, projetada para ser totalmente autônoma, independente de rótulos e livre de hiperparâmetros. O método opera através de um framework de aprendizado sequencial e de múltiplos estágios:

1. Estágio de Pré-treinamento: O autoencoder é inicializado usando:

   • Perda de Erro de Reconstrução ($L_{RE}$): Reconstrução padrão de autoencoder.
   • Perda de Preservação de Distância ($L_{DP}$): Uma função de perda formulada para preservar a estrutura intrínseca dos dados ao manter as distâncias pareadas em todas as camadas, baseada na suposição de invariância local.
   • Nota: Este estágio evita a necessidade de ajuste de hiperparâmetros ao focar em um objetivo único.

2. Estágio de Ajuste Fino (Sequencial):

   • Autoexpressão por Camada ($L_{SE}$): Em vez de usar apenas a última camada, o método constrói uma matriz de representação conjunta que agrega informações de todas as camadas do codificador (incluindo a entrada bruta). Ele minimiza a perda de autoexpressão $\sum \|X_m - X_m C\|_F^2$, onde $X_m$ representa a saída da $m$-ésima camada e $C$ é uma matriz de representação compartilhada. Isso impõe um modelo de autoexpressão comum em todas as camadas.
   • Perda de Qualidade de Agrupamento ($L_Q$): Uma norma de estrutura de subespaço é otimizada para fornecer feedback direto ao módulo de autoexpressão. Esta perda, definida como $tr(Q^T L_C Q)$, incentiva a matriz de representação $C$ a alinhar-se com a matriz indicadora de agrupamento $Q$ derivada do agrupamento espectral, integrando assim a qualidade do agrupamento ao processo de aprendizado de representação.

3. Mecanismo de Auto-interrupção:

   • Para eliminar a necessidade de conjuntos de validação rotulados para determinar quando interromper o treinamento, o algoritmo utiliza uma regra de auto-interrupção baseada em erro relativo. O treinamento termina automaticamente quando a mudança relativa no erro de reconstrução (ou a discrepância entre matrizes de afinidade sucessivas) cai abaixo de um limiar predefinido ($\delta = 0.01$).

4. Pós-processamento Opcional:

   • Aproveitando o conhecimento prévio da dimensão do subespaço $d$ (por exemplo, $d=9$ para faces YaleB, $d=12$ para MNIST), a matriz de representação aprendida $C$ é opcionalmente pós-processada retendo apenas os $d$ coeficientes principais. Este passo, fundamentado na propriedade de Dominância de Projeção Intra-Subespaço (IPD), refina a matriz sem introduzir novos hiperparâmetros.

5. Agrupamento:

   • A matriz de afinidade final é construída a partir da matriz de representação processada, e o agrupamento espectral é aplicado usando um Laplaciano deslocado para atribuir rótulos.

Principais Contribuições

1. Framework Autônomo: Introdução de um método de DSC de visão única, auto-supervisionado, que não requer rótulos externos nem ajuste de hiperparâmetros.
2. Aprendizado Sequencial: Um framework de dois estágios (pré-treinamento seguido de ajuste fino) que permite a integração de múltiplos termos de regularização (reconstrução, preservação de distância, autoexpressão e qualidade de agrupamento) sem a necessidade de equilibrá-los via hiperparâmetros ponderados.
3. Representação Conjunta: Utilização de uma matriz de representação conjunta derivada de todas as camadas do codificador para construir um modelo de autoexpressão comum, abordando a limitação das abordagens de camada única.
4. Critério de Auto-interrupção: Um mecanismo de terminação livre de rótulos baseado na estabilização do erro relativo.
5. Pós-processamento Fundamentado Matematicamente: Um passo de refinamento opcional usando o conhecimento das dimensões de subespaço para aumentar a precisão do agrupamento sem novos hiperparâmetros.

Resultados Experimentais
O método foi avaliado em seis conjuntos de dados: MNIST, USPS, Extended YaleB, ORL, COIL20 e COIL100. O desempenho foi medido por Acurácia (ACC), Informação Mútua Normalizada (NMI) e F1-score.

• Comparação com SC Linear: O LIHFSS-SVDSC superou consistentemente oito algoritmos de agrupamento de subespaço linear de visão única (incluindo SSC, LRR e NSN) que foram cuidadosamente ajustados com hiperparâmetros. Em vários casos (ex: Extended YaleB, COIL20), o método proposto superou significativamente esses baselines lineares.
• Comparação com DSC Oracle: Quando comparado a métodos DSC "oracle" (onde os hiperparâmetros foram ajustados em dados mantidos fora do treino), o LIHFSS-SVDSC demonstrou desempenho competitivo.
  • No Extended YaleB e COIL20, o método proposto superou os métodos DSC oracle.
  • No MNIST e ORL, alcançou resultados comparáveis ou ligeiramente inferiores aos métodos oracle (ex: dentro de 1-3% no MNIST).
  • No COIL100, mostrou desempenho ligeiramente inferior (aprox. 3-5% inferior) comparado aos melhores métodos lineares e oracle, o que os autores atribuem às limitações inerentes dos métodos de SC linear e à complexidade do dataset.
• Estudos de Ablação: Experimentos confirmaram a necessidade dos estágios sequenciais. Usar apenas a última camada ($L_{M/2}^{SE}$) ou omitir a perda de qualidade de agrupamento ($L_Q$) resultou em desempenho significativamente menor. O passo de pós-processamento IPD proporcionou melhorias consistentes.

Significância e Alegações
O artigo afirma que o LIHFSS-SVDSC oferece uma solução robusta e prática para tarefas de agrupamento do mundo real onde dados rotulados não estão disponíveis e o ajuste de hiperparâmetros é inviável. Ao remover a dependência de conjuntos de dados mantidos fora do treino para ajuste e interrupção, o método se alinha à verdadeira natureza não supervisionada do agrupamento.

Os autores reconhecem modestamente que sua abordagem sequencial não é matematicamente equivalente à otimização simultânea de uma soma ponderada de funções de perda (o que poderia, teoricamente, gerar ótimos globais melhores). No entanto, argumentam que o design sequencial elimina com sucesso a necessidade de seleção de hiperparâmetros, proporcionando um processo de aprendizado "verdadeiramente autônomo". Os resultados sugerem que, embora o método possa nem sempre igualar o pico de desempenho de modelos oracle fortemente ajustados, ele fornece uma alternativa altamente competitiva, consistente e livre de parâmetros que supera as abordagens lineares padrão sem a necessidade de intervenção manual.