Technische Samenvatting: Subspace Clustering op Incomplete Data met Self-Supervised Contrastive Learning

Probleemdefinitie

Subspace clustering beoogt datapunten te partitioneren die liggen in een unie van laagdimensionale subspaces. Hoewel dit effectief is in domeinen zoals genexpressie-analyse, hyperspectrale beeldvorming en aanbevelingssystemen, gaan bestaande methoden voornamelijk uit van volledig geobserveerde data. In realistische scenario's is data vaak incompleet door occlusie, sensorfalen of beperkingen in middelen. Traditionele benaderingen, die vertrouwen op paargewijze affiniteiten of matrixdecompositie, hebben moeite met ontbrekende entries, wat vaak leidt tot suboptimale resultaten wanneer naïeve imputatie wordt gebruikt, of ze schalen slecht bij grote datasets. Bovendien gaan veel op deep learning gebaseerde subspace clustering-methoden ook uit van complete inputs, waardoor ze overfitten op geobserveerde entries of vereisen dat er vertekende imputatiestrategieën worden gebruikt.

Methodologie: Contrastive Subspace Clustering (CSC)

De auteurs stellen Contrastive Subspace Clustering (CSC) voor, een self-supervised framework dat is ontworpen om robuuste embeddings te leren van incomplete data zonder dat daar labels of expliciete datareconstructie voor nodig zijn.

Kernframework

De pipeline werkt in twee hoofdfasen: training en inferentie.

1. Data Augmentatie via Random Masking:
   Voor elke gedeeltelijk geobserveerde sample $y_i = M_i \odot x_i$ (waarbij $M_i$ een binaire mask is), genereert de methode twee disjuncte geaugmenteerde views, $y_i^a$ en $y_i^b$, door twee disjuncte random masks ($M_i^a$ en $M_i^b$) toe te passen op de originele incomplete sample. Deze views dienen als positieve paren voor contrastive learning.

2. Contrastive Learning (SimCLR-stijl):
   Een gedeeld diep neuraal netwerk (backbone) $f_\theta$ verwerkt beide geaugmenteerde views om latente representaties $h_i^a$ en $h_i^b$ te produceren. Deze worden via een head $g_\phi$ geprojecteerd in een latente ruimte. Het model wordt getraind met een Normalized Temperature-scaled Cross-Entropy (NT-Xent) loss. Dit doel trekt de embeddings van de twee views van dezelfde sample naar elkaar toe, terwijl het embeddings van verschillende samples van elkaar wegduwt. Dit stimuleert het netwerk om invariante kenmerken te leren die de onderliggende subspace-structuur vastleggen, ondanks ontbrekende entries.

3. Inferentie en Clustering:
   Na de training wordt de projectiehead verwijderd. De getrainde backbone $f_\theta$ embedt de originele incomplete samples in een latente ruimte. Deze embeddings worden vervolgens gevoed aan een standaard Sparse Subspace Clustering (SSC) algoritme om de uiteindelijke clusterassignaties te herstellen. Opvallend genoeg reconstrueert de methode niet de ontbrekende data; het clustert direct de geleerde representaties.

Belangrijkste Bijdragen

• Nieuw Framework voor Incomplete Data: CSC is de eerste methode die een contrastive self-supervised framework specifiek toepast voor subspace clustering met ontbrekende data. Het behandelt random masking als een data-augmentatiestrategie in plaats van een probleem dat via imputatie moet worden opgelost.
• Robuustheid tegen Ontbrekendeheid: Door invariantie over gemaskeerde views te leren, legt de methode subspace-structuren vast, zelfs wanneer individuele featurewaarden afwezig zijn, waardoor de artefacten die door twee-fasen imputatiemethoden worden geïntroduceerd, worden vermeden.
• Schaalbaarheid: In tegen tegenstelling tot optimalisatiegebaseerde methoden die kwadratisch schalen met het aantal samples (door constructie van de affiniteitsmatrix), maakt CSC gebruik van een forward pass voor inferentie, wat bijna instantane clustering biedt en de computationele eisen aanzienlijk vermindert.
• Modulariteit: De aanpak ontkoppelt representatieleer van het clusteringalgoritme, waardoor de geleerde embeddings met elke standaard clusteringtechniek kunnen worden gebruikt (bijv. k-means, spectrale clustering of SSC).

Experimentele Resultaten

De auteurs evalueerden CSC op zes benchmark-datasets, inclusief standaard computer vision datasets (MNIST, COIL20) en hyperspectrale beeldvorming (HSI) datasets (IndianPines, Pavia University, Salinas).

• Prestaties vs. Baselines: CSC presteerde consistent beter dan zowel klassieke methoden (bijv. EWZF-SSC, GSSC, MSC) als deep learning baselines (bijv. DSC, MAE, DMFMC).
  • Op MNIST presteerde CSC meer dan 15% beter dan alle benchmarks in gemiddelde nauwkeurigheid.
  • Op Pavia en IndianPines (HSI datasets) werden verbeteringen van respectievelijk meer dan 5% en 6% waargenomen.
  • Op datasets met hoge missing rates (lage sampling rates $\rho$), behield CSC een stabiele prestatie, terwijl klassieke methoden en Masked Autoencoders (MAE) significante degradatie vertoonden, vooral onder hoge ruiscondities.
• Ablatie-studies:
  • Modeldiepte: Het vergroten van de netwerkdiepte verbeterde de nauwkeurigheid tot een bepaald punt (plateau rond diepte 5), wat wijst op het voordeel van de expressiviteit van het model.
  • Residual Connections: De keuze van de residual connection strategie (Full, Block, of None) had een minimale impact op de prestaties, waarbij "No Residual" iets beter presteerde op grote datasets.
  • Ruisrobuustheid: CSC demonstreerde een superieure robuustheid vergeleken met MAE onder zowel lage als hoge ruisregimes, waarbij lage clusteringfouten werden behouden, zelfs wanneer de sampling rates matig tot laag waren ($\rho \approx 0.5$).

Betekenis en Claims

Het artikel claimt dat CSC een schaalbare, robuuste en labelvrije oplossing biedt voor subspace clustering in de aanwezigheid van ontbrekende data. De betekenis ligt in:

1. Het Overwinnen van de Imputatie-bottleneck: Door expliciete reconstructie te vermijden, omzeilt de methode de verstoring van de subspace-geometrie die vaak wordt veroorzaakt door imputatiestappen in scenario's met hoge missing-rates.
2. Efficiëntie: Het vermogen om inferentie uit te voeren via een eenvoudige forward pass maakt de methode aanzienlijk efficiënter dan traditionele optimalisatiegebaseerde subspace clustering-methoden.
3. Generaliseerbaarheid: Het framework is toepasbaar op diverse datamodaliteiten, waaronder standaard afbeeldingen en hoogdimensionale hyperspectrale data, zonder dat er domeinspecifieke architecturale wijzigingen nodig zijn buiten de selectie van de backbone.

De auteurs concluderen dat hoewel subspace clustering met ontbrekende data een uitdagend probleem blijft, met name in hoogdimensionale regimes, de voorgestelde contrastieve benadering een sterke basis biedt voor toekomstig werk in streaming en multi-view settings.