Technisches Resümee: Subraum-Clustering auf unvollständigen Daten mittels selbstüberwachter kontrastiver Lernverfahren

Problemdefinition

Subraum-Clustering zielt darauf ab, hochdimensionale Datenpunkte zu partitionieren, die in einer Vereinigung von niederdimensionalen Subräumen liegen. Während dies in Bereichen wie der Genexpressionsanalyse, der Hyperspektralbildgebung und Empfehlungssystemen effektiv ist, setzen bestehende Methoden überwiegend vollständige Daten voraus. In realen Szenarien sind Daten aufgrund von Verdeckungen, Sensorausfällen oder Ressourcenbeschränkungen häufig unvollständig. Traditionelle Ansätze, die auf paarweisen Affinitäten oder Matrixzerlegungen beruhen, haben Schwierigkeiten mit fehlenden Einträgen, was oft zu suboptimalen Ergebnissen führt, wenn eine naive Imputation verwendet wird, oder sie skalieren bei großen Datensätzen schlecht. Darüber hinaus setzen viele auf Deep Learning basierende Subraum-Clustering-Methoden ebenfalls vollständige Eingaben voraus, was entweder zu Overfitting auf die beobachteten Einträge führt oder verzerrte Imputationsstrategien erfordert.

Methodik: Kontrastives Subraum-Clustering (CSC)

Die Autoren schlagen Contrastive Subspace Clustering (CSC) vor, ein selbstüberwachtes Framework, das darauf ausgelegt ist, robuste Einbettungen aus unvollständigen Daten zu lernen, ohne explizite Datenrekonstruktion oder Labels zu benötigen.

Kern-Framework

Die Pipeline operiert in zwei Hauptphasen: Training und Inferenz.

1. Datenaugmentation durch zufälliges Maskieren:
   Für jede teilweise beobachtete Probe $y_i = M_i \odot x_i$ (wobei $M_i$ eine binäre Maske ist) generiert die Methode zwei disjunkte augmentierte Ansichten, $y_i^a$ und $y_i^b$, indem zwei disjunkte zufällige Masken ($M_i^a$ und $M_i^b$) auf die ursprüngliche unvollständige Probe angewendet werden. Diese Ansichten dienen als positive Paare für das kontrastive Lernen.

2. Kontrastives Lernen (SimCLR-Stil):
   Ein gemeinsames tiefes neuronales Netzwerk (Backbone) $f_\theta$ verarbeitet beide augmentierten Ansichten, um latente Repräsentationen $h_i^a$ und $h_i^b$ zu erzeugen. Diese werden über einen Kopf $g_\phi$ in einen latenten Raum projiziert. Das Modell wird unter Verwendung eines Normalized Temperature-scaled Cross-Entropy (NT-Xent) Loss trainiert. Dieses Ziel zieht die Einbettungen der beiden Ansichten desselben Samples zusammen und drückt die Einbettungen verschiedener Samples auseinander. Dies regt das Netzwerk dazu an, invariante Merkmale zu lernen, die die zugrunde liegende Subraumstruktur trotz fehlender Einträge erfassen.

3. Inferenz und Clustering:
   Nach dem Training wird der Projektionskopf verworfen. Der trainierte Backbone $f_\theta$ bettet die ursprünglichen unvollständigen Proben in einen latenten Raum ein. Diese Einbettungen werden dann in einen Standard-Sparse Subspace Clustering (SSC) Algorithmus eingespeist, um die endgültigen Cluster-Zuweisungen zu rekonstruieren. Bemerkenswerterweise rekonstruiert die Methode nicht die fehlenden Daten; sie clustert direkt die gelernten Repräsentationen.

Zentrale Beiträge

• Neuartiges Framework für unvollständige Daten: CSC ist die erste Methode, die ein kontrastives selbstüberwachtes Framework spezifisch für das Subraum-Clustering mit fehlenden Daten anwendet. Sie behandelt zufälliges Maskieren als eine Strategie zur Datenaugmentation statt als ein Problem, das mittels Imputation gelöst werden muss.
• Robustheit gegenüber Fehlstellen: Durch das Erlernen der Invarianz über maskierte Ansichten hinweg erfasst die Methode Subraumstrukturen selbst dann, wenn einzelne Feature-Werte fehlen, wodurch die Artefakte vermieden werden, die durch zweistufige Imputationsmethoden entstehen.
• Skalierbarkeit: Im Gegensatz zu Optimierungsmethoden, die quadratisch mit der Anzahl der Proben skalieren (aufgrund der Konstruktion der Affinitätsmatrix), nutzt CSC einen Vorwärtspass für die Inferenz, was ein nahezu instantanes Clustering und deutlich reduzierte Rechenanforderungen ermöglicht.
• Modularität: Der Ansatz entkoppelt das Repräsentationslernen vom Clustering-Algorithmus, sodass die gelernten Einbettungen mit jeder Standard-Clustering-Technik (z. B. k-Means, Spektrales Clustering oder SSC) verwendet werden können.

Experimentelle Ergebnisse

Die Autoren evaluierten CSC auf sechs Benchmark-Datensätzen, einschließlich Standard-Computer-Vision-Datensätzen (MNIST, COIL20) und Hyperspektralbildgebungs-Datensätzen (HSI) (IndianPines, Pavia University, Salinas).

• Leistung vs. Baselines: CSC übertraf sowohl klassische Methoden (z. B. EWZF-SSC, GSSC, MSC) als auch Deep-Learning-Baselines (z. B. DSC, MAE, DMFMC) konsistent.
  • Auf MNIST übertraf CSC alle Benchmarks um mehr als 15 % in der mittleren Genauigkeit.
  • Bei Pavia und IndianPines (HSI-Datensätze) wurden Verbesserungen von über 5 % bzw. 6 % beobachtet.
  • Bei Datensätzen mit hohen Fehlstellenraten (niedrige Sampling-Raten $\rho$) behielt CSC eine stabile Leistung bei, während klassische Methoden und Masked Autoencoder (MAE) unter hohen Rauschbedingungen signifikant degradierten.
• Ablationsstudien:
  • Modelltiefe: Eine Erhöhung der Netzwerktiefe verbesserte die Genauigkeit bis zu einem gewissen Punkt (Plateau bei Tiefe 5), was den Nutzen der Ausdrucksstärke des Modells unterstreicht.
  • Residualverbindungen: Die Wahl der Residualverbindungsstrategie (Full, Block oder None) hatte einen geringen Einfluss auf die Leistung, wobei "No Residual" bei großen Datensätzen leicht besser abschnitt.
  • Rauschrobustheit: CSC demonstrierte eine überlegene Robustheit im Vergleich zu MAE sowohl unter niedrigen als auch unter hohen Rauschregimen und hielt selbst bei moderaten bis niedrigen Sampling-Raten ($\rho \approx 0,5$) niedrige Clustering-Fehler aufrecht.

Bedeutung und Ansprüche

Das Paper behauptet, dass CSC eine skalierbare, robuste und label-freie Lösung für das Subraum-Clustering in Gegenwart fehlender Daten bietet. Seine Bedeutung liegt in:

1. Überwindung des Imputations-Engpasses: Durch den Verzicht auf explizite Rekonstruktion umgeht die Methode die Verzerrung der Subraumgeometrie, die oft durch Imputationsschritte in Szenarien mit hohen Fehlstellenraten verursacht wird.
2. Effizienz: Die Fähigkeit, die Inferenz über einen einfachen Vorwärtspass durchzuführen, macht die Methode signifikant effizienter als traditionelle Optimierungsbasierte Subraum-Clustering-Methoden.
3. Generalisierbarkeit: Das Framework ist auf diverse Datentypen anwendbar, einschließlich Standardbildern und hochdimensionalen Hyperspektraldaten, ohne dass domänenspezifische architektonische Änderungen über die Auswahl des Backbones hinaus erforderlich sind.

Die Autoren kommen zu dem Schluss, dass, obwohl Subraum-Clustering mit fehlenden Daten – insbesondere in hochdimensionalen Regimen – eine Herausforderung bleibt, der vorgeschlagene kontrastive Ansatz eine starke Grundlage für zukünftige Arbeiten in Streaming- und Multi-View-Settings bildet.