Label-independent hyperparameter-free self-supervised single-view deep subspace clustering

Technische Samenvatting: Label-Onafhankelijke Hyperparameter-Vrije Zelf-Gesuperviseerde Single-View Deep Subspace Clustering (LIHFSS-SVDSC)

Probleemstelling
Deep Subspace Clustering (DSC) algoritmen kampen met aanzienlijke barrières voor brede adoptie in real-world scenario's. Huidige methoden lijden aan vijf primaire beperkingen:

1. Informatieverlies: Ze maken doorgaans alleen gebruik van de laatste outputlaag van de encoder, waardoor waardevolle structurele informatie in tussenliggende lagen wordt genegeerd.
2. Taakontkoppeling: Representatieleer en subspace clustering worden vaak als onafhankelijke taken behandeld, wat de feedbackloop tussen clusteringkwaliteit en feature-leren beperkt.
3. Hyperparameter-afhankelijkheid: De meeste benaderingen vereisen een gehouden gelabelde dataset voor hyperparameter-tuning, wat onpraktisch is voor ongesuperviseerde taken.
4. Label-afhankelijke Terminatie: Trainingsterminatie is frequent gebaseerd op het monitoren van clusteringfouten of nauwkeurigheid, wat externe labels vereist.
5. Afhankelijkheid van Post-processing: Prestaties zijn vaak afhankelijk van post-processing technieken die steunen op gelabelde data of ad hoc drempelwaarden.

Bovendien, hoewel niet-lineaire data (bijv. gezichtsafbeeldingen met variërende poses) vaak op manifolds liggen in plaats van lineaire subspaces, worstelen bestaande kernel-gebaseerde methoden met kernelselectie, en falen standaard DSC-netwerken vaak om het "union-of-linear-subspaces" model in de ingebedde ruimte volledig te benutten zonder zorgvuldige afstemming.

Methodologie
De auteurs stellen LIHFSS-SVDSC voor, een nieuwe single-view DSC-benadering die ontworpen is om volledig autonoom, label-onafhankelijk en hyperparameter-vrij te zijn. De methode werkt via een sequentieel, meerfasig leerkader:

1. Pre-training Fase: De autoencoder wordt geïnitialiseerd met behulp van ofwel:

   • Reconstructiefout Verlies ($L_{RE}$): Standaard autoencoder reconstructie.
   • Afstand-behoudend Verlies ($L_{DP}$): Een verliesfunctie die is geformuleerd om de intrinsieke structuur van de data te behouden door paarwijze afstanden over alle lagen te handhaven, gebaseerd op de lokale invariantie-aanname.
   • Opmerking: Deze fase vermijdt de noodzaak voor hyperparameter-tuning door zich op een enkel doel te richten.

2. Fine-Tuning Fase (Sequentieel):

   • Laag-specifieke Zelf-expressie ($L_{SE}$): In plaats van alleen de laatste laag te gebruiken, construeert de methode een gezamenlijke representatiematrix die informatie aggregeert van alle encoder-lagen (inclusief de ruwe input). Het minimaliseert de zelf-expressie verlies $\sum \|X_m - X_m C\|_F^2$, waarbij $X_m$ de output van de $m$-de laag vertegenwoordigt en $C$ een gedeelde representatiematrix is. Dit dwingt een gemeenschappelijk zelf-expressief model af over alle lagen.
   • Clusteringkwaliteit Verlies ($L_Q$): Een subspace-gestructureerde norm wordt geoptimaliseerd om directe feedback te geven aan de zelf-expressie module. Dit verlies, gedefinieerd als $tr(Q^T L_C Q)$, moedigt de representatiematrix $C$ aan om de cluster-indicator matrix $Q$ te aligneren, die afgeleid is van spectrale clustering, waardoor clusteringkwaliteit wordt geïntegreerd in het representatieleerproces.

3. Zelf-stoppingsmechanisme:

   • Om de noodzaak van gelabelde validatiesets te elimineren om te bepalen wanneer de training moet stoppen, gebruikt het algoritme een relatieve fout-gebaseerde zelf-stoppingsregel. Training wordt automatisch beëindigd wanneer de relatieve verandering in de reconstructiefout (of de discrepantie tussen opeenvolgende affiniteitsmatrices) onder een vooraf ingestelde drempelwaarde ($\delta = 0.01$) valt.

4. Optionele Post-processing:

   • Door gebruik te maken van voorkennis over de subspace dimensie $d$ (bijv. $d=9$ voor YaleB gezichten, $d=12$ voor MNIST), kan de geleerde representatiematrix $C$ optioneel worden post-geprocessed door alleen de $d$ leidende coëfficiënten te behouden. Deze stap, geworteld in de Intra-Subspace Projection Dominance (IPD) eigenschap, verfijnt de matrix zonder nieuwe hyperparameters te introduceren.

5. Clustering:

   • De uiteindelijke affiniteitsmatrix wordt geconstrueerd vanuit de bewerkte representatiematrix, waarna spectrale clustering wordt toegepast met een verschoven Laplacian om labels toe te wijzen.

Belangrijkste Bijdragen

1. Autonoom Framework: Introductie van een zelf-gesuperviseerde, single-view DSC methode die geen externe labels en geen hyperparameter-tuning vereist.
2. Sequentieel Leren: Een twee-fasen framework (pre-training gevolgd door fine-tuning) dat de integratie van meerdere regularisatie-termen (reconstructie, afstand-behoud, zelf-expressie en clusteringkwaliteit) mogelijk maakt zonder dat deze gewogen via hyperparameters gebalanceerd hoeven te worden.
3. Gezamenlijke Representatie: Gebruik van een gezamenlijke representatiematrix afgeleid van alle encoder-lagen om een gemeenschappelijk zelf-expressief model te construeren, wat de beperkingen van single-layer benaderingen aanpakt.
4. Zelf-stoppingscriterium: Een label-vrij terminatiemechanisme gebaseerd op de stabilisatie van de relatieve fout.
5. Wiskundig Onderbouwde Post-processing: Een optionele verfijningsstap met gebruik van voorkennis over subspace dimensies om de clusteringnauwkeurigheid te verbeteren zonder nieuwe hyperparameters.

Experimentele Resultaten
De methode werd geëvalueerd op zes datasets: MNIST, USPS, Extended YaleB, ORL, COIL20 en COIL100. Prestaties werden gemeten aan de hand van Accuracy (ACC), Normalized Mutual Information (NMI) en F1-score.

• Vergelijking met Lineaire SC: LIHFSS-SVDSC presteerde consequent beter dan acht lineaire single-view subspace clustering algoritmen (inclusief SSC, LRR en NSN) die zorgvuldig waren afgestemd met hyperparameters. In verschillende gevallen (bijv. Extended YaleB, COIL20) overtrof de voorgestelde methode deze lineaire baselines aanzienlijk.
• Vergelijking met Oracle DSC: Wanneer vergeleken met "oracle" DSC methoden (waarbij hyperparameters zijn afgestemd op een gehouden dataset), toonde LIHFSS-SVDSC competitieve prestaties.
  • Op Extended YaleB en COIL20 presteerde de voorgestelde methode beter dan de oracle DSC methoden.
  • Op MNIST en ORL behaalde het resultaten die vergelijkbaar zijn met of slechts licht lager zijn dan de oracle methoden (bijv. binnen 1-3% op MNIST).
  • Op COIL100 was de prestatie iets lager (ongeveer 3-5% lager) vergeleken met de beste lineaire en oracle methoden, wat de auteurs toeschrijven aan de inherente beperkingen van lineaire SC methoden en de complexiteit van de dataset.
• Ablatie-studies: Experimenten bevestigden de noodzaak van de sequentiële fasen. Het gebruik van enkel de laatste laag ($L_{M/2}^{SE}$) of het weglaten van de clusteringkwaliteit verlies ($L_Q$) resulteerde in aanzienlijk lagere prestaties. De IPD post-processing stap leverde consistente verbeteringen op.

Betekenis en Claims
Het artikel beweert dat LIHFSS-SVDSC een robuuste, praktische oplossing biedt voor real-world clustering taken waarbij gelabelde data niet beschikbaar is en hyperparameter-tuning onhaalbaar is. Door de afhankelijkheid van gehouden datasets voor tuning en terminatie te verwijderen, sluit de methode aan bij de werkelijke ongesuperviseerde aard van clustering.

De auteurs erkennen bescheiden dat hun sequentiële benadering niet wiskundig equivalent is aan de simultane optimalisatie van een gewogen som van verliesfuncties (wat theoretisch betere globale optima zou kunnen opleveren). Ze argumenteren echter dat het sequentiële ontwerp succesvol de noodzaak voor hyperparameter-selectie elimineert, waardoor een "werkelijk autonome" leerprocedure ontstaat. De resultaten suggereren dat hoewel de methode mogelijk niet altijd de piekprestaties van zwaar afgestemde oracle modellen evenaart, het een zeer competitief en parameter-vrij alternatief biedt dat standaard lineaire benaderingen overtreft zonder handmatige interventie.