SPORT: Structure-Aware Prototype Disentanglement for Incomplete Multi-View Clustering

Résumé technique : SPORT – Désenchevêtrement de prototypes sensible à la structure pour le partitionnement de données multi-vues incomplètes

Énoncé du problème
Le partitionnement de données multi-vues incomplètes (IMVC - Incomplete Multi-View Clustering) vise à segmenter des données non étiquetées où des échantillons peuvent manquer d'une ou plusieurs vues en raison de limitations de capteurs ou de défaillances matérielles. Bien que les récentes méthodes d'IMVC basées sur les prototypes aient amélioré la robustesse en utilisant les prototypes comme ancres sémantiques pour l'imputation des vues manquantes, les auteurs identifient trois limitations critiques dans les approches existantes :

1. Problème de sur-alignement des prototypes (POP - Prototype Over-alignment Problem) : Les méthodes existantes imposent une stricte cohérence entre les prototypes des vues, ignorant l'information spécifique à chaque vue. Cela supprime l'information complémentaire propre à des vues spécifiques, limitant ainsi l'expressivité des représentations multi-vues.
2. Absence de préservation de la structure au niveau des clusters : La plupart des méthodes reposent sur un apprentissage contrastif au niveau de l'instance qui aligne uniquement les paires d'échantillons à travers les vues. Elles ne parviennent pas à préserver les structures relationnelles entre des instances sémantiquement similaires (échantillons au sein d'un même cluster), ce qui peut les éloigner dans l'espace de caractéristiques.
3. Imputation inexacte des vues manquantes : Les stratégies d'imputation actuelles reposent généralement uniquement sur des prototypes globaux. Cette approche à grain grossier néglige les structures de voisinage géométrique local, conduisant à des reconstructions trop lissées qui ne parviennent pas à préserver la cohérence fine au niveau de l'instance.

Méthodologie : Le cadre SPORT
Les auteurs proposent SPORT (Structure-aware PrOtotype disentanglement foR incomplete multi-view clusTering), un cadre conçu pour exploiter conjointement la cohérence inter-vues, la sémantique spécifique à chaque vue et les relations structurelles. L'architecture se compose de quatre composants clés :

1. Apprentissage de la représentation des caractéristiques :
   Le modèle utilise des auto-encodeurs spécifiques à chaque vue pour projeter les caractéristiques observées de chaque vue dans un sous-espace latent partagé. Une perte de reconstruction ($L_{REC}$) assure la fidélité de la cartographie et préserve les caractéristiques structurelles inhérentes.

2. Apprentissage contrastif relationnel sensible à la structure :
   Pour remédier à la négligence des structures de niveau cluster, SPORT introduit un mécanisme d'apprentissage contrastif pondéré. Contrairement à l'apprentissage contrastif strict qui ne traite que les paires d'échantillons identiques comme positives, ce module utilise des poids de similitude par paires ($w_{ij}$) dérivés de la similitude cosinus. Cela permet de traiter les échantillons sémantiquement similaires (même s'il ne s'agit pas de la même instance) comme des paires positives de manière souple, imposant une cohérence inter-vues tout en préservant la structure géométrique sous-jacente des données.

3. Alignement partiel des prototypes (Désenchevêtrement) :
   Pour résoudre le Problème de sur-alignement des prototypes, SPORT décompose explicitement les prototypes en deux composantes orthogonales :

   • Composantes partagées ($s_i$) : Alignées entre les vues pour capturer les consensus sémantiques invariants de la vue.
   • Composantes spécifiques à la vue ($c_i$) : Décorrélées entre les vues pour préserver les informations complémentaires dépendantes de la vue.
     Cette décomposition est réalisée à l'aide d'une matrice de projection orthogonale apprenable (via une reparamétrisation par transformée de Cayley). L'objectif inclut une perte d'alignement partagé ($L_{SHARED}$) et une perte de décorrélation spécifique à la vue ($L_{DE}$).

4. Stratégie d'imputation hybride de prototypes :
   Pour la récupération des données manquantes, SPORT emploie une stratégie hybride qui intègre des informations globales et locales. Les caractéristiques manquantes sont reconstruites comme une somme pondérée de :

   • Le prototype le plus pertinent (ancre sémantique globale).
   • Le voisin le plus similaire (contexte géométrique local).
     Cette approche équilibre la sémantique de niveau cluster avec la cohérence structurelle locale, améliorant la qualité de la reconstruction sous des taux de données manquantes élevés.

La fonction d'objectif globale combine la perte de reconstruction, la perte contrastive et la perte d'alignement des prototypes, optimisée via un processus d'entraînement en deux phases (pré-entraînement suivi d'un ajustement fin/fine-tuning).

Principales contributions
Le papier revendique les contributions suivantes :

• Alignement de prototype unifié : Un nouveau cadre qui décompose les prototypes en composantes partagées et spécifiques à la vue, alignant les premières tout en décorrélant les secondes pour intégrer efficacement les sémantiques partagées et les informations spécifiques à la vue.
• Alignement de caractéristiques sensible à la structure : Un mécanisme qui introduit des poids de similitude par instance pour encoder de manière souple les relations entre échantillons, imposant une cohérence inter-vues tout en préservant les structures relationnelles au niveau des clusters.
• Stratégie d'imputation hybride : Une méthode d'imputation de données manquantes qui exploite conjointement les prototypes appariés et les échantillons voisins, tirant parti à la fois des sémantiques de cluster globales et des informations structurelles locales.
• Supériorité empirique : Des expériences approfondies démontrant que SPORT surpasse les méthodes de l'état de l'art sur divers taux de données manquantes.

Résultats expérimentaux
Les auteurs ont évalué SPORT sur six jeux de données de référence (ALOI_100, Animal1, Digit4k, 100Leaves, Reuters_21578, et VGGFace2_50) contre 14 méthodes de l'état de l'art en IMVC.

• Performance : SPORT a obtenu des performances supérieures en termes de précision (ACC), d'indice Rand ajusté (ARI) et de F-Score sur la plupart des jeux de données et des taux de données manquantes (0,1 à 0,7). Par exemple, sur le jeu de données Animal avec un taux de données manquantes de 0,5, SPORT a amélioré l'ACC de 17,7 % par rapport à la deuxième meilleure méthode.
• Robustesse : La méthode a démontré une robustesse remarquable à mesure que les taux de données manquantes augmentaient. Sur le jeu de données 100Leaves, SPORT a montré des fluctuations de performance nettement plus faibles par rapport aux autres méthodes lorsque le taux de données manquantes passait de 0,1 à 0,5.
• Études d'ablation : Le retrait de l'un des trois modules de base (apprentissage de la représentation, apprentissage contrastif sensible à la structure ou alignement partiel des prototypes) a entraîné une dégradation significative des performances, confirmant la nécessité et la complémentarité de chaque composant.
• Analyse de l'imputation : La stratégie d'imputation hybride (équilibrant les contributions des prototypes et des voisins) a systématiquement surpassé les variantes dégénérées qui reposaient uniquement sur les prototypes ou sur les voisins.

Signification et affirmations
Le papier soutient que SPORT répond aux goulots d'étranglement fondamentaux de l'IMVC basé sur les prototypes en allant au-delà de l'alignement strict inter-vues et de l'apprentissage contrastif au niveau de l'instance. En désenchevêtrant explicitement les composantes de prototypes partagées et spécifiques à la vue et en intégrant les structures de voisinage local dans le processus d'imputation, le cadre parvient à des représentations de partitionnement plus discriminantes et robustes. Les auteurs concluent que SPORT apprend efficacement des représentations discriminantes dans des contextes multi-vues incomplets, offrant une solution fiable pour les scénarios réels où l'incomplétude des données est omniprésente.