Sintesi Tecnica: Clustering di Sottospazio su Dati Incompleti con Apprendimento Contrastivo Auto-Supervisionato

Definizione del Problema

Il clustering di sottospazio mira a partizionare punti dati ad alta dimensione che giacciono in un'unione di sottospazi a bassa dimensione. Sebbene sia efficace in domini come l'analisi dell'espressione genica, l'imaging iperspettrale e i sistemi di raccomandazione, i metodi esistenti assumono prevalentemente dati completamente osservati. Negli scenari reali, i dati sono frequentemente incompleti a causa di occlusioni, guasti dei sensori o vincoli di risorse. Gli approcci tradizionali, che si affidano ad affinità a coppia o decomposizioni di matrici, faticano con le voci mancanti, spesso producendo risultati subottimali quando viene utilizzata un'imputazione ingenua o fallendo nel scalare con dataset di grandi dimensioni. Inoltre, molti metodi di clustering di sottospazio basati sul deep learning assumono anch'essi input completi, andando in overfitting sulle voci osservate o richiedendo strategie di imputazione distorte.

Metodologia: Contrastive Subspace Clustering (CSC)

Gli autori propongono il Contrastive Subspace Clustering (CSC), un framework auto-supervisionato progettato per apprendere embedding robusti da dati incompleti senza richiedere etichette o una ricostruzione esplicita dei dati.

Framework Core

La pipeline opera in due fasi principali: addestramento e inferenza.

1. Aumento dei Dati tramite Mascheramento Casuale:
   Per ogni campione parzialmente osservato $y_i = M_i \odot x_i$ (dove $M_i$ è una maschera binaria), il metodo genera due viste aumentate disgiunte, $y_i^a$ e $y_i^b$, applicando due maschere casuali disgiunte ($M_i^a$ e $M_i^b$) al campione incompleto originale. Queste viste fungono da coppie positive per l'apprendimento contrastivo.

2. Apprendimento Contrastivo (stile SimCLR):
   Una rete neurale profonda condivisa (backbone) $f_\theta$ elabora entrambe le viste aumentate per produrre rappresentazioni latenti $h_i^a$ e $h_i^b$. Queste vengono proiettate tramite una testa $g_\phi$ in uno spazio latente. Il modello è addestrato utilizzando una perdita di Cross-Entropy con temperatura normalizzata (NT-Xent). Questo obiettivo attira le rappresentazioni delle due viste dello stesso campione verso l'una verso l'altra e spinge lontano le rappresentazioni di campioni diversi. Ciò incoraggia la rete a imparare caratteristiche invarianti che catturano la struttura del sottospazio sottostante nonostante le voci mancanti.

3. Inferenza e Clustering:
   Dopo l'addestramento, la testa di proiezione viene scartata. Il backbone addestrato $f_\theta$ proietta i campioni incompleti originali in uno spazio latente. Questi embedding vengono poi inseriti in un algoritmo standard di Sparse Subspace Clustering (SSC) per recuperare l'assegnazione finale dei cluster. Notevolmente, il metodo non ricostruisce i dati mancanti; esso esegue direttamente il clustering delle rappresentazioni apprese.

Contributi Chiave

• Framework Innovativo per Dati Incompleti: CSC è il primo metodo ad applicare un framework di apprendimento contrastivo auto-supervisionato specificamente per il clustering di sottospazio con dati mancanti. Tratta il mascheramento casuale come una strategia di aumento dei dati piuttosto che come un problema da risolvere tramite imputazione.
• Robustezza alla Mancanza di Dati: Apprendendo l'invarianza tra le viste mascherate, il metodo cattura le strutture di sottospazio anche quando i valori delle singole caratteristiche sono assenti, evitando gli artefatti introdotti dai metodi di imputazione a due stadi.
• Scalabilità: A differenza dei metodi basati sull'ottimizzazione che scalano quadraticamente con il numero di campioni (a causa della costruzione della matrice di affinità), CSC utilizza un passaggio in avanti (forward pass) per l'inferenza, offrendo un clustering quasi istantaneo e una richiesta computazionale significativamente ridotta.
• Modularità: L'approccio decoppia l'apprendimento della rappresentazione dal algoritmo di clustering, permettendo alle rappresentazioni apprese di essere utilizzate con qualsiasi tecnica di clustering standard (ad esempio, k-means, clustering spettrale o SSC).

Risultati Sperimentali

Gli autori hanno valutato CSC su sei dataset benchmark, inclusi dataset standard di computer vision (MNIST, COIL20) e dataset di imaging iperspettrale (HSI) (IndianPines, Pavia University, Salinas).

• Performance rispetto ai Baseline: CSC ha superato costantemente sia i metodi classici (ad esempio, EWZF-SSC, GSSC, MSC) che i baseline di deep learning (ad esempio, DSC, MAE, DMFMC).
  • Su MNIST, CSC ha superato tutti i benchmark di oltre il 15% in termini di accuratezza media.
  • Sui dataset HSI (Pavia e IndianPines), sono stati osservati miglioramenti superiori al 5% e al 6%, rispettivamente.
  • Nei dataset con alti tassi di mancanza (bassi tassi di campionamento $\rho$), CSC ha mantenuto prestazioni stabili, mentre i metodi classici e i Masked Autoencoders (MAE) hanno subito una degradazione significativa, specialmente in condizioni di alto rumore.
• Studi di Ablazione:
  • Profondità del Modello: L'aumento della profondità della rete ha migliorato l'accuratezza fino a un certo punto (raggiungendo un plateau intorno alla profondità 5), indicando il beneficio dell'espressività del modello.
  • Connessioni Residue: La scelta della strategia di connessione residua (Full, Block o None) ha avuto un impatto minore sulle prestazioni, con "No Residual" che è risultato leggermente migliore sui dataset più grandi.
  • Robustezza al Rumore: CSC ha dimostrato una robustezza superiore rispetto a MAE sia nei regimi di basso che di alto rumore, mantenendo errori di clustering bassi anche quando i tassi di campionamento erano moderati o bassi ($\rho \approx 0.5$).

Significato e Rivendicazioni

Il paper sostiene che CSC offra una soluzione scalabile, robusta e priva di etichette per il clustering di sottospazio in presenza di dati mancanti. La sua importanza risiede in:

1. Superamento del Collo di Bottiglia dell'Imputazione: Evitando la ricostruzione esplicita, il metodo elude la distorsione della geometria del sottospazio spesso causata dai passaggi di imputazione in scenari con alti tassi di mancanza.
2. Efficienza: La capacità di eseguire l'inferenza tramite un semplice passaggio in avanti rende il metodo significativamente più efficiente rispetto ai metodi tradizionali di clustering di sottospazio basati sull'ottimizzazione.
3. Generalizzabilità: Il framework è applicabile a diverse modalità di dati, inclusi i classici set di immagini e i dati iperspettrali ad alta dimensione, senza richiedere cambiamenti architettonici specifici del dominio oltre alla selezione del backbone.

Gli autori concludono che, sebbene il clustering di sottospazio con dati mancanti rimanga un problema complesso, particolarmente nei regimi ad alta dimensione, il proposto approccio contrastivo fornisce una solida base per il lavoro futuro in contesti di streaming e multi-vista.