SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering

Sintesi Tecnica: SPORT – Disentanglement dei Prototipi Sensibile alla Struttura per il Clustering Multi-Vista Incompleto

Problematica
Il Clustering Multi-Vista Incompleto (IMVC) mira a partizionare dati non etichettati dove i campioni possono essere privi di uno o più aspetti (view) a causa di limitazioni dei sensori o guasti hardware. Sebbene i recenti metodi IMVC basati su prototipi abbiano migliorato la robustezza utilizzando i prototipi come ancore semantiche per l'imputazione delle viste mancanti, gli autori identificano tre criticità fondamentali negli approcci esistenti:

1. Problema di Sovra-allineamento dei Prototipi (POP): I metodi esistenti impongono un rigoroso allineamento della coerenza tra i prototipi delle diverse viste, ignorando le informazioni specifiche di ogni vista. Ciò sopprime le informazioni complementari uniche di specifiche viste, limitando l'espressività delle rappresentazioni multi-vista.
2. Mancanza di Preservazione della Struttura a Livello di Cluster: La maggior parte dei metodi si affida a un apprendimento contrastivo a livello di istanza che allinea solo campioni accoppiati tra le viste. Essi non riescono a preservare le relazioni strutturali tra istanze semanticamente simili (campioni all'interno dello stesso cluster), rischiando potenzialmente di allontanarle nello spazio delle caratteristiche.
3. Imputazione Imprecisa delle Viste Mancanti: Le attuali strategie di imputazione si affidano tipicamente solo a prototipi globali. Questo approccio a grana grossa trascura le strutture di vicinato geometrico locale, portando a ricostruzioni eccessivamente levigate che non riescono a preservare la coerenza fine a livello di istanza.

Metodologia: Il Framework SPORT
Gli autori propongono SPORT (Structure-aware PrOtotype disentanglement foR incomplete multi-view clusTering), un framework progettato per sfruttare congiuntamente la coerenza cross-view, la semantica specifica della vista e le relazioni strutturali. L'architettura è composta da quattro componenti chiave:

1. Apprendimento della Rappresentazione delle Caratteristiche:
   Il modello utilizza autoencoder specifici per ogni vista per proiettare le caratteristiche osservate di ciascuna vista in un sottospazio latente condiviso. Una perdita di ricostruzione ($L_{REC}$) garantisce la fedeltà della mappatura e preserva le caratteristiche strutturali intrinseche.

2. Apprendimento Contrastivo Relazionale Sensibile alla Struttura:
   Per affrontare la trascuratezza delle strutture a livello di cluster, SPORT introduce un meccanismo di apprendimento contrastivo pesato. A differenza del contrastive learning "hard" che tratta solo le coppie dello stesso campione come positive, questo modulo utilizza pesi di similarità a coppie ($w_{ij}$) derivati dalla similarità del coseno. Ciò consente che campioni semanticamente simili (anche se non sono la stessa istanza) siano trattati morbidamente come coppie positive, imponendo la coerenza cross-view e preservando al contempo la struttura geometrica sottostante dei dati.

3. Allineamento Parziale dei Prototipi (Disentanglement):
   Per risolvere il Problema di Sovra-allineamento dei Prototipi, SPORT decompone esplicitamente i prototipi in due componenti ortogonali:

   • Componenti Condivise ($s_i$): Allineate tra le viste per catturare la semantica di consenso invariante rispetto alla vista.
   • Componenti Specifiche della Vista ($c_i$): Decorrelate tra le viste per preservare le informazioni complementari e dipendenti dalla vista.
     Questa decomposizione è ottenuta tramite una matrice di proiezione ortogonale apprendibile (tramite ri-parametrizzazione della trasformata di Cayley). L'obiettivo include una perdita di allineamento condiviso ($L_{SHARED}$) e una perdita di de-correlazione specifica della vista ($L_{DE}$).

4. Strategia di Imputazione Ibrida dei Prototipi:
   Per il recupero dei dati mancanti, SPORT impiega una strategia ibrida che integra informazioni globali e locali. Le caratteristiche mancanti vengono ricostruite come una somma pesata di:

   • Il prototipo più rilevante (ancora semantica globale).
   • Il vicino più simile (contesto geometrico locale).
     Questo approccio bilancia la semantica del cluster con la coerenza strutturale locale, migliorando la qualità della ricostruzione in presenza di alti tassi di assenza di dati.

La funzione obiettivo complessiva combina la perdita di ricostruzione, la perdita contrastiva e la perdita di allineamento dei prototipi, ottimizzata attraverso un processo di addestramento in due fasi (pre-training seguito da fine-tuning).

Contributi Chiave
L'articolo dichiara i seguenti contributi:

• Allineamento Unificato dei Prototipi: Un nuovo framework che decompone i prototipi in componenti condivise e specifiche della vista, allineando le prime e decorrelando le seconde per integrare efficacemente la semantica condivisa e le informazioni specifiche della vista.
• Allineamento delle Caratteristiche Sensibile alla Struttura: Un meccanismo che introduce pesi di similarità per istanza per codificare morbidamente le relazioni inter-campione, imponendo la coerenza cross-view e preservando al contempo le strutture relazionali a livello di cluster.
• Strategia di Imputazione Ibrida: Un metodo di imputazione dei dati mancanti che sfrutta congiuntamente prototipi accoppiati e campioni vicini, sfruttando sia la semantica globale del cluster che l'informazione strutturale locale.
• Superiorità Empirica: Esperimenti estesi dimostrano che SPORT supera i metodi allo stato dell'arte in vari dataset e tassi di assenza di dati.

Risultati Sperimentali
Gli autori hanno valutato SPORT su sei dataset di riferimento (ALOI_100, Animal1, Digit4k, 100Leaves, Reuters_21578, e VGGFace2_50) contro 14 metodi IMVC allo stato dell'arte.

• Prestazioni: SPORT ha ottenuto prestazioni superiori in Accuratezza (ACC), Indice di Rand Corretto (ARI) e F-Score nella maggior parte dei dataset e dei tassi di assenza di dati. Ad esempio, sul dataset Animal con un tasso di assenza di 0.5, SPORT ha migliorato l'ACC del 17.7% rispetto al secondo miglior metodo.
• Robustezza: Il metodo ha dimostrato una notevole robustezza all'aumentare dei tassi di assenza di dati. Sul dataset 100Leaves, SPORT ha mostrato fluttuazioni delle prestazioni significativamente minori rispetto ad altri metodi quando il tasso di assenza è salito da 0.1 a 0.5.
• Studi di Ablazione: La rimozione di uno qualsiasi dei tre moduli core (apprendimento della rappresentazione, apprendimento contrastivo sensibile alla struttura o allineamento parziale dei prototipi) ha causato un significativo degrado delle prestazioni, confermando la necessità e la complementarità di ciascun componente.
• Analisi dell'Imputazione: La strategia di imputazione ibrida (bilanciando i contributi di prototipi e vicini) ha costantemente superato le varianti degenerate che si affidavano esclusivamente ai prototipi o ai vicini.

Significatività e Rivendicazioni
L'articolo sostiene che SPORT affronta colli di bottiglia fondamentali nell'IMVC basato su prototipi, andando oltre l'allineamento rigoroso cross-view e l'apprendimento contrastivo a livello di istanza. Esplicitando il disentanglement delle componenti dei prototipi condivise e specifiche della vista e incorporando le strutture di vicinato locale nel processo di imputazione, il framework ottiene rappresentazioni di clustering più discriminanti e robuste. Gli autori concludono che SPORT apprende efficacementamente rappresentazioni discriminanti in scenari di multi-vista incompleti, offrendo una soluzione affidabile per scenari del mondo reale in cui l'incompletezza dei dati è ubiquitaria.