SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering

Technische Samenvatting: SPORT – Structure-Aware Prototype Disentanglement voor Incomplete Multi-View Clustering

Probleemstelling
Incomplete Multi-View Clustering (IMVC) beoogt het partitioneren van ongelabelde data waarbij samples mogelijk een of meer views missen als gevolg van sensorbeperkingen of hardwaredefecten. Hoewel recente prototype-gebaseerde IMVC-methoden de robuustheid hebben verbeterd door gebruik te maken van prototypes als semantische ankers voor de imputatie van ontbrekende views, identificeren de auteurs drie kritieke beperkingen in bestaande benaderingen:

1. Prototype Over-alignment Probleem (POP): Bestaande methoden dwingen strikte cross-view prototype-consistentie af, waarbij view-specifieke informatie wordt genegeerd. Dit onderdrukt complementaire informatie die uniek is voor specifieke views, wat de expressiviteit van multi-view representaties beperkt.
2. Gebrek aan Cluster-Level Structurele Preservatie: De meeste methoden vertrouwen op instance-level contrastief leren dat alleen gepaarde samples over views heen uitlijnt. Ze falen in het behouden van relationele structuren tussen semantisch vergelijkbare instances (samples binnen hetzelfde cluster), wat ze potentieel uit elkaar kan duwen in de feature space.
3. Onnauwkeurige Missing-View Imputatie: Huidige imputatiestrategieën vertrouwen doorgaans uitsluitend op globale prototypes. Deze grofmazige benadering negeert lokale geometrische buurtstructuren, wat leidt tot overmatig gladgestreken reconstructies die de fijnmazige instance-level consistentie niet kunnen behouden.

Methodologie: Het SPORT-framework
De auteurs stellen SPORT voor (Structure-aware PrOtotype Orthogonal Relational Transformation/disentanglement for incomplete multi-view clustering), een framework dat is ontworpen om gezamenlijk cross-view consistentie, view-specifieke semantiek en structurele relaties te exploiteren. De architectuur bestaat uit vier kerncomponenten:

1. Feature Representatie Leren:
   Het model maakt gebruik van view-specifieke autoencoders om geobserveerde features van elke view te projecteren in een gedeelde latente subspace. Een reconstructieverlies ($L_{REC}$) waarborgt de mapping-getrouwheid en behoudt inherente structurele kenmerken.

2. Structure-Aware Relational Contrastive Learning:
   Om de verwaarlozing van cluster-level structuren aan te pakken, introduceert SPORT een gewogen contrastief leer-mechanisme. In tegenstelling tot hard contrastief leren dat alleen dezelfde-sample paren als positief beschouwt, gebruikt deze module pairwise similarity weights ($w_{ij}$) afgeleid van cosine similarity. Dit stelt semantisch vergelijkbare samples (zelfs als het niet dezelfde instance is) in staat om zachtjes als positieve paren te worden behandeld, waardoor cross-view consistentie wordt afgedwongen terwijl de onderliggende geometrische structuur van de data wordt behouden.

3. Prototype Partial Alignment (Disentanglement):
   Om het Prototype Over-alignment Probleem op te lossen, ontleedt SPORT prototypes expliciet in twee orthogonale componenten:

   • Gedeelde Componenten ($s_i$): Uitgelijnd over views om view-invariante consensus-semantiek te vangen.
   • View-Specifieke Componenten ($c_i$): Gedecorreleerd over views om complementaire, view-afhankelijke informatie te bewaren.
     Deze decompositie wordt bereikt met behulp van een leerbare orthogonale projectiematrix (via Cayley transform re-parameterisatie). De doelstelling bevat een gedeelde alignment loss ($L_{SHARED}$) en een view-specifieke de-correlatie loss ($L_{DE}$).

4. Hybride Prototype Imputatie Strategie:
   Voor de reconstructie van ontbrekende data hanteert SPORT een hybride strategie die zowel globale als lokale informatie integreert. Ontbrekende features worden gereconstrueerd als een gewogen som van:

   • Het meest relevante prototype (globale semantische anker).
   • De meest vergelijkbare naburige sample (lokale geometrische context).
     Deze benadering balanceert cluster-level semantiek met lokale structurele consistentie, wat de kwaliteit van de reconstructie verbetert bij hoge ontbrekende ratio's.

De algemene doelstelling combineert de reconstructie loss, contrastieve loss en prototype alignment loss, geoptimaliseerd via een twee-fasen trainingsproces (pretraining gevolgd door fine-tuning).

Belangrijkste Bijdragen
Het artikel claimt de volgende bijdragen:

• Unified Prototype Alignment: Een nieuw framework dat prototypes deelt in gedeelde en view-specifieke componenten, waarbij de eerste wordt uitgelijnd en de tweede wordt gedecorreleerd om effectief gedeelde semantiek en view-specifieke informatie te integreren.
• Structure-Aware Feature Alignment: Een mechanisme dat instance-wise similarity weights introduceert om inter-sample relaties zacht te coderen, waardoor cross-view consistentie wordt afgedwongen terwijl cluster-level relationele structuren worden behouden.
• Hybride Imputatie Strategie: Een methode voor de imputatie van ontbrekende data die zowel gematchte prototypes als naburige samples gezamenlijk exploiteert, waarbij zowel globale cluster-semantiek als lokale structurele informatie wordt benut.
• Empirische Superioriteit: Uitgebreide experimenten die aantonen dat SPORT superieur presteert aan state-of-the-art methoden over diverse missing rates.

Experimentele Resultaten
De auteurs evalueerden SPORT op zes benchmark datasets (ALOI_100, Animal1, Digit4k, 100Leaves, Reuters_21578, en VGGFace2_50) tegenover 14 state-of-the-art IMVC-methoden.

• Prestaties: SPORT behaalde superieure prestaties in Accuracy (ACC), Adjusted Rand Index (ARI) en F-Score over de meeste datasets en missing rates (0.1 tot 0.7). Op de Animal dataset met een 0.5 missing rate verbeterde SPORT bijvoorbeeld de ACC met 17,7% ten opzichte van de op één na beste methode.
• Robuustheid: De methode toonde een opmerkelijke robuustheid naarmate de missing rates toenamen. Op de 100Leaves dataset vertoonde SPORT aanzienlijk kleinere prestatieschommelingen vergeleken met andere methoden wanneer de missing rate steeg van 0.1 naar 0.5.
• Ablatie-studies: Het verwijderen van een van de drie kernmodules (representatie leren, structure-aware contrastive learning, of prototype partial alignment) resulteerde in een significante prestatiedegradatie, wat de noodzaak en complementariteit van elk onderdeel bevestigt.
• Imputatie Analyse: De hybride imputatiestrategie (het balanceren van prototype- en buur-bijdragen) presteerde consequent beter dan de degeneratieve varianten die uitsluitend op ofwel prototypes ofwel buren vertrouwden.

Betekenis en Claims
Het artikel stelt dat SPORT fundamentele knelpunten in prototype-gebaseerde IMVC aanpakt door verder te gaan dan strikte cross-view alignment en instance-level contrastief leren. Door gedeelde en view-specifieke prototype componenten expliciet te ontleden en lokale buurtstructuren in het imputatieproces te betrekken, bereikt het framework meer discriminerende en robuuste clustering-representaties. De auteurs concluderen dat SPORT effectief discriminerende representaties leert onder incomplete multi-view settings, en daarmee een betrouwbare oplossing biedt voor real-world scenario's waarin data-incompleetheid alomtegenwoordig is.