Label-independent hyperparameter-free self-supervised single-view deep subspace clustering

Sintesi Tecnica: Label-Independent Hyperparameter-Free Self-Supervised Single-View Deep Subspace Clustering (LIHFSS-SVDSC)

Definizione del Problema
Gli algoritmi di Deep Subspace Clustering (DSC) affrontano barriere significative che ne ostacolano l'adozione diffusa in scenari reali. Gli attuali metodi soffrono di cinque limitazioni primarie:

1. Perdita di Informazione: Utilizzano tipicamente solo l'ultimo strato di output dell'encoder, ignorando preziose informazioni strutturali presenti negli strati intermedi.
2. Disaccoppiamento dei Compiti: L'apprendimento delle rappresentazioni e il clustering dei sottospazi sono spesso trattati come compiti indipendenti, limitando il ciclo di feedback tra la qualità del clustering e l'apprendimento delle caratteristiche.
3. Dipendenza dagli Iperparametri: La maggior parte degli approcci richiede un dataset etichettato di validazione per la sintonizzazione degli iperparametri, il che è impraticabile per compiti non supervisionati.
4. Terminazione Dipendente dalle Etichette: La terminazione dell'addestramento si basa frequentemente sul monitoraggio dell'errore di clustering o dell'accuratezza, rendendo necessari dati esterni etichettati.
5. Affidamento al Post-Processing: Le prestazioni dipendono spesso da tecniche di post-elaborazione che si basano su dati etichettati o soglie ad hoc.

Inoltre, mentre i dati non lineari (ad esempio, immagini di volti con diverse pose) spesso giacciono su varietà piuttosto che su sottospazi lineari, i metodi basati su kernel esistenti faticano con la selezione del kernel, e le reti DSC standard spesso non riescono a sfruttare appieno il modello "unione di sottospazi lineari" nello spazio incorporato senza una calibrazione accurata.

Metodologia
Gli autori propongono LIHFSS-SVDSC, un nuovo approccio di DSC a vista singola (single-view) progettato per essere completamente autonomo, indipendente dalle etichette e privo di iperparametri. Il metodo opera attraverso un framework di apprendimento sequenziale a più stadi:

1. Fase di Pre-addestramento: L'autoencoder viene inizializzato utilizzando uno dei seguenti metodi:

   • Errore di Ricostruzione ($L_{RE}$): Ricostruzione standard dell'autoencoder.
   • Perdita di Preservazione della Distanza ($L_{DP}$): Una funzione di perdita formulata per preservare la struttura intrinseca dei dati mantenendo le distanze a coppie attraverso tutti gli strati, basata sull'assunzione di invarianza locale.
   • Nota: Questa fase evita la necessità di sintonizzazione degli iperparametri concentrandosi su un singolo obiettivo.

2. Fase di Fine-Tuning (Sequenziale):

   • Auto-espressione per Strato ($L_{SE}$): Invece di utilizzare solo l'ultimo strato, il metodo costruisce una matrice di rappresentazione congiunta che aggrega le informazioni da tutti gli strati dell'encoder (incluso l'input grezzo). Minimizza la perdita di auto-espressione $\sum \|X_m - X_m C\|_F^2$, dove $X_m$ rappresenta l'output del m-esimo strato e $C$ è una matrice di rappresentazione condivisa. Ciò impone un modello di auto-espressione comune a tutti gli strati.
   • Perdita di Qualità del Clustering ($L_Q$): Viene ottimizzata una norma strutturata del sottospazio per fornire un feedback diretto al modulo di auto-espressione. Questa perdita, definita come $tr(Q^T L_C Q)$, incoraggia la matrice di rappresentazione $C$ ad allinearsi con la matrice indicatrice del cluster $Q$ derivata dal clustering spettrale, integrando così la qualità del clustering nel processo di apprendimento della rappresentazione.

3. Meccanismo di Auto-arresto:

   • Per eliminare la necessità di dataset etichettati di validazione per determinare quando interrompere l'addestramento, l'algoritmo impiega una regola di auto-arresto basata sull'errore relativo. L'addestramento termina automaticamente quando la variazione relativa dell'errore di ricostruzione (o la discrepanza tra matrici di affinità successive) scende al di sotto di una soglia prestabilita ($\delta = 0.01$).

4. Post-Processing Opzionale:

   • Sfruttando la conoscenza a priori della dimensione del sottospazio $d$ (ad esempio, $d=9$ per i volti YaleB, $d=12$ per MNIST), la matrice di rappresentazione appresa $C$ può essere opzionalmente sottoposta a post-elaborazione mantenendo solo i $d$ coefficienti principali. Questo passaggio, basato sulla proprietà di Dominanza della Proiezione Intra-Sottospazio (IPD), raffina la matrice senza introdurre nuovi iperparametri.

5. Clustering:

   • La matrice di affinità finale viene costruita dalla matrice di rappresentazione elaborata, e viene applicato il clustering spettrale utilizzando un Laplaciano traslato per assegnare le etichette.

Contributi Chiave

1. Framework Autonomo: Introduzione di un metodo DSC a vista singola, auto-supervisionato, che non richiede etichette esterne né sintonizzazione di iperparametri.
2. Apprendimento Sequenziale: Un framework a due fasi (pre-addestramento seguito da fine-tuning) che consente l'integrazione di molteplici termini di regolarizzazione (ricostruzione, preservazione della distanza, auto-espressione e qualità del clustering) senza la necessità di bilanciarli tramite iperparametri pesati.
3. Rappresentazione Congiunta: Utilizzo di una matrice di rappresentazione congiunta derivata da tutti gli strati dell'encoder per costruire un modello di auto-espressione comune, affrontando il limite degli approcci a singolo strato.
4. Criterio di Auto-arresto: Un meccanismo di terminazione privo di etichette basato sulla stabilizzazione dell'errore relativo.
5. Post-Processing Fondato Matematicamente: Un passaggio di raffinamento opzionale che utilizza la conoscenza delle dimensioni dei sottospazi per migliorare l'accuratezza del clustering senza nuovi iperparametri.

Risultati Sperimentali
Il metodo è stato valutato su sei dataset: MNIST, USPS, Extended YaleB, ORL, COIL20 e COIL100. Le prestazioni sono state misurate tramite Accuratezza (ACC), Informazione Mutua Normalizzata (NMI) e F1-score.

• Confronto con SC Lineare: LIHFSS-SVDSC ha superato costantemente otto algoritmi di clustering di sottospazio a vista singola lineari (inclusi SSC, LRR e NSN) che sono stati accuratamente sintonizzati con iperparametri. In diversi casi (ad esempio, Extended YaleB, COIL20), il metodo proposto ha superato significativamente questi baseline lineari.
• Confronto con DSC Oracle: Quando confrontato con metodi DSC "oracle" (dove gli iperparametri sono stati sintonizzati su dati tenuti separati), LIHFSS-SVDSC ha dimostrato prestazioni competitive.
  • Su Extended YaleB e COIL20, il metodo proposto ha superato i metodi DSC oracle.
  • Su MNIST e ORL, ha ottenuto risultati comparabili o leggermente inferiori ai metodi oracle (ad esempio, entro l'1-3% su MNIST).
  • Su COIL100, ha mostrato una performance leggermente inferiore (circa il 3-5% inferiore) rispetto ai migliori metodi lineari e oracle, ciò che gli autori attribuiscono ai limiti intrinseci dei metodi SC lineari e alla complessità del dataset.
• Studi di Ablazione: Gli esperimenti hanno confermato la necessità delle fasi sequenziali. L'utilizzo di un solo strato ($L_{M/2}^{SE}$) o l'omissione della perdita di qualità del clustering ($L_Q$) ha portato a prestazioni significativamente inferiori. Il passaggio di post-processing IPD ha fornito miglioramenti costanti.

Significatività e Rivendicazioni
Il documento afferma che LIHFSS-SVDSC offre una soluzione robusta e pratica per compiti di clustering nel mondo reale dove i dati etichettati non sono disponibili e la sintonizzazione degli iperparametri è impraticabile. Rimuovendo la dipendenza dai dataset di validazione per la sintonizzazione e l'arresto, il metodo si allinea alla vera natura non supervisionata del clustering.

Gli autori riconoscono con modestia che il loro approccio sequenziale non è matematicamente equivalente all'ottimizzazione simultanea di una somma pesata di funzioni di perdita (che potrebbe teoricamente produrre ottimi globali migliori). Tuttavia, sostengono che il design sequenziale elimina con successo la necessità di selezione degli iperparametri, fornendo un processo di apprendimento "veramente autonomo". I risultati suggeriscono che, sebbene il metodo possa non sempre eguagliare le prestazioni di punta dei modelli oracle pesantemente sintonizzati, fornisce un'alternativa altamente competitiva, costante e priva di parametri che supera i normali approcci lineari senza intervento manuale.