Résumé Technique : Apprentissage de Représentations Désenchevêtrées pour le Clustering Multi-vues Généralisé

1. Énoncé du Problème

Le Clustering Multi-vues (MVC) vise à exploiter les informations complémentaires provenant de vues de données diverses (par exemple, texte, images, omiques) pour révéler des structures intrinsèques. Cependant, les méthodes de MVC profondes existantes souffrent souvent d'un enchevêtrement des distributions de vues. Lors de la fusion de représentations issues de différentes vues, les variations des distributions de données entre les vues entraînent des espaces latents non alignés. Cet enchevêtrement se traduit par des structures de clustering peu claires où les groupes de clusters ne sont pas compacts, et le modèle peine à distinguer le bruit spécifique à une vue des motifs partagés authentiques. De plus, les approches existantes échouent souvent à apprendre des représentations à la fois alignées entre les vues et robustes face au bruit spécifique à chaque vue, conduisant à des performances de clustering sous-optimales, en particulier dans des scénarios incomplets ou bruyants.

2. Méthodologie : Auto-encodeur Multi-vues Généralisé (GMAE)

Les auteurs proposent GMAE, un cadre auto-supervisé conçu pour apprendre des représentations désenchevêtrées en découplant les caractéristiques sources en embeddings spécifiques à la vue et communs aux vues. Le cadre fonctionne via les mécanismes suivants :

2.1 Apprentissage de Représentations Désenchevêtrées

GMAE utilise des auto-encodeurs à double voie pour décomposer les données multi-vues :

• Encodeurs : Un encodeur spécifique à la vue ($f^v_{\theta_v}$) et un encodeur partagé inter-vues ($f_{\theta_c}$) traitent l'entrée.
• Décomposition : Les caractéristiques sont mappées en représentations spécifiques à la vue ($Z^v$) et en représentations communes aux vues ($C^v$).
• Reconstruction : Un décodeur reconstruit l'entrée en utilisant la concaténation des caractéristiques spécifiques et communes ($[Z^v \oplus C^v]$).
• Objectif : Le cadre maximise l'information mutuelle (MI) entre la vue originale et sa reconstruction (en minimisant la perte de reconstruction $L^v_{Rec}$) tout en minimisant l'information mutuelle entre les représentations spécifiques à la vue et les représentations communes aux vues pour imposer une indépendance statistique. Cela est réalisé via une perte de corrélation ($L^v_{Cor}$), qui minimise la covariance entre $Z^v$ et $C^v$.

2.2 Alignement Adversarial Inter-vues

Pour remédier au désalignement des distributions, GMAE introduit un mécanisme adversarial inter-vues :

• Discriminateurs : Des discriminateurs spécifiques à la vue ($D^v_{\kappa_v}$) sont entraînés pour distinguer si une représentation provient de la vue cible (réelle) ou d'une vue différente (fausse).
• Alignement : Grâce à un jeu min-max adversarial, les encodeurs spécifiques à la vue sont guidés pour produire des représentations indiscernables entre les vues concernant leur distribution, alignant ainsi les distributions spécifiques à la vue tout en préservant leurs caractéristiques uniques. Cela est formalisé comme une perte générative adversaire ($L^v_{Dis}$).

2.3 Auto-corrélation et Structure de Clustering

Pour améliorer la capacité de clustering sans étiquettes, GMAE maximise l'information mutuelle entre la représentation complète ($Q$) et son voisinage local ($Q_\omega$).

• Objectif Contrastif : En utilisant une approche inspirée d'InfoNCE, le modèle maximise l'information mutuelle entre un échantillon et ses plus proches voisins pour favoriser la cohésion intra-cluster et la séparation inter-cluster. Cela est optimisé via une perte d'entropie croisée ($L_{Ent}$).
• Garantie Théorique : Les auteurs fournissent des preuves théoriques (Théorèmes 1-3) démontrant que, sous les contraintes proposées, les représentations communes apprises contiennent toutes les informations propres nécessaires et que la représentation complète préserve davantage d'informations pertinentes pour les clusters et moins de bruit non pertinent pour les clusters par rapport aux méthodes d'apprentissage contrastif standard.

2.4 Fonction Objectif

La fonction objectif totale combine ces composantes :
$$J = \sum_{v=1}^{V} L^v_{Rec} + \alpha \times (L^v_{Cor} + L^v_{Dis}) + \beta \times L_{Ent}$$
où $\alpha$ et $\beta$ sont des hyperparamètres équilibrant les termes de régularisation.

3. Contributions Clés

L'article expose trois contributions principales :

1. Cadre Novel : GMAE est présenté comme le premier cadre d'apprentissage de représentations désenchevêtrées auto-supervisé traitant spécifiquement le défi de la distribution des vues et de l'enchevêtrement inter-clusters dans le MVC.
2. Analyse Théorique : Les auteurs dérivent rigoureusement une fonction de perte optimisable basée sur l'estimation de l'information mutuelle. Ils fournissent une analyse théorique montrant que les représentations apprises par GMAE contiennent significativement plus d'informations pertinentes pour les clusters et moins de bruit que les méthodes existantes.
3. Supériorité Empirique : Le cadre améliore simultanément la cohérence du clustering entre les vues et préserve la diversité des vues. Il démontre une robustesse dans les tâches de clustering multi-vues complètes et incomplètes à travers divers types de données (texte, image, omiques, synthétique).

4. Résultats Expérimentaux

Les auteurs ont évalué GMAE sur 13 jeux de données de référence, incluant des données synthétiques, des jeux de données d'images (STL-10, Digits, LandUse-21, etc.), des paires image-texte (Wikipedia, RGB-D) et des données multi-omiques (BRCA, LGG).

• Performance : GMAE a systématiquement surpassé 12 méthodes de l'état de l'art (SOTA) (par exemple, COMPLETER, DCP, DealMVC, SCMVC) en termes de Précision (ACC), d'Information Mutuelle Normalisée (NMI) et de Pureté (PUR). Il a obtenu 15 premières places, 3 deuxièmes places et 3 troisièmes places sur 20 tests.
• Données Incomplètes : Dans les expériences avec des vues manquantes (taux de manque allant jusqu'à 0,9), GMAE a montré une résilience supérieure, affichant un taux de déclin des performances significativement plus lent par rapport aux méthodes concurrentes.
• Évolutivité : Sur le jeu de données Digits, les performances de GMAE se sont améliorées à mesure que le nombre de vues augmentait, tandis que d'autres méthodes (comme DSMVC et SURE) souffraient d'une dégradation des performances avec l'ajout de vues.
• Stabilité : Le modèle a démontré une convergence d'entraînement stable sans les fluctuations importantes observées dans d'autres méthodes (par exemple, CPSPAN, DCP).
• Études d'Ablation : Les expériences ont confirmé que la combinaison des pertes de reconstruction, de corrélation/adversarial et d'auto-corrélation est nécessaire pour des performances optimales ; la suppression de n'importe quelle composante a entraîné des baisses significatives des métriques.

5. Signification et Revendications

L'article affirme que GMAE adresse une limitation fondamentale du MVC profond actuel : l'incapacité d'aligner les distributions de vues sans perdre le pouvoir discriminatif spécifique à la vue ou sans introduire d'enchevêtrement. En désenchevêtrant explicitement les facteurs spécifiques à la vue et communs aux vues et en les alignant via un apprentissage adversarial, GMAE génère des embeddings robustes et non triviaux.

Les auteurs affirment que cette approche fournit une solution évolutive avec une complexité computationnelle linéaire par rapport à la taille du jeu de données, la rendant adaptée aux données à grande échelle. Le cadre est particulièrement significatif pour les applications réelles où les données sont souvent incomplètes, bruyantes ou hétérogènes, car il maintient une qualité de clustering élevée même dans des conditions défavorables où les méthodes traditionnelles échouent. Le code est rendu disponible pour faciliter la reproductibilité et la recherche ultérieure.