🤖 machine learning

Label-independent hyperparameter-free self-supervised single-view deep subspace clustering

Cet article propose une nouvelle méthode de partitionnement de sous-espaces profonds auto-supervisée, à vue unique, indépendante des étiquettes et sans hyperparamètre, qui intègre l'auto-expression couche par couche, l'apprentissage séquentiel multi-étapes et un mécanisme d'arrêt basé sur l'erreur relative afin de surmonter les limites des approches existantes tout en atteignant des performances compétitives sur divers ensembles de données.

Auteurs originaux : Lovro Sindicic, Ivica Kopriva

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lovro Sindicic, Ivica Kopriva

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Organiser une pièce en désordre sans manuel

Imaginez que vous avez une immense pièce en désordre remplie de milliers d'objets différents (points de données). Votre objectif est de les trier en tas selon ce qu'ils sont (clustering), mais vous n'avez pas d'étiquettes (vous ne savez pas ce que sont les objets) et pas de manuel d'instructions (pas d'hyperparamètres à régler).

La plupart des méthodes existantes pour faire cela reviennent à essayer de trier la pièce en demandant à un ami de deviner les règles, puis en demandant à un autre ami d'ajuster ces règles, et ainsi de suite. Elles ont besoin d'un « tas de test » d'objets connus pour déterminer les meilleurs réglages. Si vous n'avez pas ce tas de test, elles échouent.

Cet article présente un nouveau robot (l'algorithme) capable d'organiser la pièce tout seul, sans avoir besoin d'un tas de test ou d'un manuel. Il apprend les règles au fur et à mesure, s'arrête quand il a terminé, et fait un excellent travail.

Le problème des méthodes actuelles

Les auteurs soulignent cinq maux de tête principaux avec les méthodes actuelles de « Deep Subspace Clustering » (DSC) :

Ignorer le milieu : Elles ne regardent que la réponse finale donnée par l'ordinateur, ignorant tous les indices utiles trouvés dans les étapes intermédiaires du calcul.
Travailler en silos : Elles apprennent ce que les données représentent et comment les regrouper comme deux tâches distinctes, plutôt que de les faire ensemble.
Avoir besoin d'une antisèche : Elles nécessitent généralement un ensemble séparé de données étiquetées pour régler leurs paramètres (hyperparamètres). Dans le monde réel, nous n'avons souvent pas cela.
Ne pas savoir quand s'arrêter : Elles ont besoin que quelqu'un leur dise quand arrêter l'entraînement, généralement en vérifiant s'ils obtiennent les bonnes réponses (ce qui nécessite des étiquettes).
Dépendre du post-traitement : Elles nécessitent souvent des astuces supplémentaires, dépendantes des étiquettes, après le travail principal pour corriger leurs erreurs.

La solution : Le robot « LIHFSS-SVDSC »

Les auteurs ont construit une nouvelle méthode qui résout ces cinq problèmes. Voici comment elle fonctionne, étape par étape :

1. Le processus d'apprentissage en « deux étapes » (Pré-entraînement et Fine-tuning)

Au lieu d'essayer d'apprendre tout à la fois avec un mélange complexe de règles (ce qui nécessite un réglage), le robot apprend en deux phases distinctes :

Phase 1 (Pré-entraînement) : Le robot regarde la pièce en désordre et essaie de comprendre les formes de base et les distances entre les objets. Il peut le faire en essayant de reconstruire les objets à partir de zéro (Reconstruction) ou en s'assurant que les objets proches restent proches (Préservation de la distance).
Phase 2 (Fine-tuning) : Maintenant qu'il a une compréhension de base, il commence à les regrouper. Il utilise une astuce spéciale d'« auto-expression » où il essaie de décrire chaque objet comme une combinaison d'autres objets similaires. Il vérifie également son propre travail pour s'assurer que les groupes font sens.

L'astuce magique : En effectuant ces étapes les unes après les autres, le robot n'a pas besoin de mettre en équilibre différentes règles les unes contre les autres. Il trouve naturellement le bon équilibre sans avoir besoin d'un « bouton de réglage » (hyperparamètre).

2. Utiliser tout le « cerveau » (Représentation multi-couches)

Les anciennes méthodes ne regardaient que la dernière couche du cerveau de l'ordinateur (la sortie). Cette nouvelle méthode examine chaque couche du cerveau, de l'entrée brute jusqu'à la sortie finale.

Analogie : Imaginez que vous essayez d'identifier une personne. Les anciennes méthodes ne regardent que sa tenue finale. Cette nouvelle méthode regarde son visage, sa voix, sa démarche, et sa tenue, puis combine tous ces indices pour prendre une décision unique et meilleure.

3. Le mécanisme d'« auto-arrêt »

Comment le robot sait-il quand s'arrêter ? Il n'attend pas qu'un humain lui dise « Bon travail ! ».

L'analogie : Imaginez que vous essayez de trouver un motif dans une pièce bruyante. Vous ajustez continuellement vos oreilles. Si le niveau de bruit cesse de diminuer et reste stable, vous savez que vous avez réglé l'écoute au mieux possible. Le robot fait cela en mesurant sa propre « erreur relative ». Lorsque l'erreur cesse de chuter, il s'éteint automatiquement. Aucune étiquette n'est requise.

4. Le « filtre intelligent » (Post-traitement)

Parfois, la liste de connexions du robot est un peu trop désordonnée. Les auteurs suggèrent une étape de nettoyage final basée sur les mathématiques : ne garder que les connexions les plus fortes (les coefficients supérieurs) et jeter les plus faibles et les plus bruyantes.

Note : Cette étape utilise un fait connu sur les données (comme « les visages vivent généralement dans un espace à 9 dimensions ») mais ne nécessite pas de regarder les étiquettes réelles des visages.

Les résultats : Cela a-t-il fonctionné ?

Les auteurs ont testé ce robot sur six ensembles de données différents (visages, chiffres manuscrits et objets). Ils l'ont comparé à :

Des algorithmes linéaires : Ce sont des méthodes plus simples qui nécessitent généralement qu'un humain règle soigneusement leurs paramètres pour fonctionner.
Des méthodes « Oracle » Deep : Ce sont les meilleures méthodes d'apprentissage profond existantes, mais on leur a donné une « antisèche » (données étiquetées) pour régler parfaitement leurs paramètres.

Le verdict :

Le nouveau robot a battu presque tous les algorithmes linéaires, même si ces algorithmes linéaires avaient été réglés par des humains de manière parfaite.
Il a performé aussi bien que les méthodes de Deep Learning avec « antisèche », même s'il n'avait aucune antisèche et aucun réglage.
Sur certains ensembles de données (comme les visages et les objets), il a même surperformé les méthodes qui possédaient l'antisèche.

Résumé

Cet article présente un algorithme de clustering « autonome ». Il n'a pas besoin d'un conducteur humain (réglage), il n'a pas besoin d'une carte (étiquettes), et il sait exactement quand garer la voiture (arrêter l'entraînement). Il y parvient en apprenant par étapes, en utilisant les indices de chaque partie de son cerveau et en s'arrêtant automatiquement lorsqu'il a terminé. Il prouve que l'on peut obtenir des résultats de clustering de haut niveau sans les tracas habituels du réglage manuel.

Résumé Technique : LIHFSS-SVDSC (Clustering de Sous-Espace Profond à Vue Unique, Sans Hyperparamètre et Indépendant des Étiquettes)

Énoncé du Problème
Les algorithmes de Clustering de Sous-Espace Profond (DSC) font face à des barrières significatives pour une adoption généralisée dans des scénarios réels. Les méthodes actuelles souffrent de cinq limitations primaires :

Perte d'Information : Elles utilisent généralement uniquement la couche de sortie finale de l'encodeur, ignorant les informations structurelles précieuses présentes dans les couches intermédiaires.
Découplage des Tâches : L'apprentissage de représentations et le clustering de sous-espace sont souvent traités comme des tâches indépendantes, limitant la boucle de rétroaction entre la qualité du clustering et l'apprentissage des caractéristiques.
Dépendance aux Hyperparamètres : La plupart des approches nécessitent un ensemble de données étiquetées de validation pour le réglage des hyperparamètres, ce qui est impraticable pour des tâches non supervisées.
Terminaison Dépendante des Étiquettes : La terminaison de l'entraînement est fréquemment basée sur la surveillance de l'erreur de clustering ou de la précision, ce qui nécessite des étiquettes externes.
Dépendance au Post-traitement : Les performances dépendent souvent de techniques de post-traitement qui reposent sur des données étiquetées ou des seuils ad hoc.

De plus, bien que les données non linéaires (par exemple, les images de visages avec des poses variables) résident souvent sur des variétés plutôt que sur des sous-espaces linéaires, les méthodes existantes basées sur les noyaux (kernels) peinent avec la sélection du noyau, et les réseaux DSC standards échouent souvent à exploiter pleinement le modèle d'« union de sous-espaces linéaires » dans l'espace embarqué sans un réglage minutieux.

Méthodologie
Les auteurs proposent LIHFSS-SVDSC, une nouvelle approche de DSC à vue unique conçue pour être entièrement autonome, indépendante des étiquettes et sans hyperparamètre. La méthode opère via un cadre d'apprentissage séquentiel multi-étapes :

Étape de Pré-entraînement : L'auto-encodeur est initialisé en utilisant soit :
- Perte d'Erreur de Reconstruction ( $L_{RE}$ ) : Reconstruction standard de l'auto-encodeur.
- Perte de Préservation de la Distance ( $L_{DP}$ ) : Une fonction de perte formulée pour préserver la structure intrinsèque des données en maintenant les distances par paires à travers toutes les couches, basée sur l'hypothèse d'invariance locale.
- Note : Cette étape évite le besoin de réglage d'hyperparamètres en se concentrant sur un objectif unique.
Étape de Fine-Tuning (Séquentielle) :
- Auto-Expression par Couche ( $L_{SE}$ ) : Au lieu d'utiliser uniquement la dernière couche, la méthode construit une matrice de représentation jointe qui agrège les informations de toutes les couches de l'encodeur (incluant l'entrée brute). Elle minimise la perte d'auto-expression $\sum \|X_m - X_m C\|_F^2$ , où $X_m$ représente la sortie de la $m$ -ième couche et $C$ est une matrice de représentation partagée. Cela impose un modèle d'auto-expression commun à toutes les couches.
- Perte de Qualité de Clustering ( $L_Q$ ) : Une norme de structure de sous-espace est optimisée pour fournir un retour direct au module d'auto-expression. Cette perte, définie par $tr(Q^T L_C Q)$ , encourage la matrice de représentation $C$ à s'aligner avec la matrice d'indicateur de cluster $Q$ dérivée du clustering spectral, intégrant ainsi la qualité du clustering dans le processus d'apprentissage de la représentation.
Mécanisme d'Auto-Arrêt :
- Pour éliminer le besoin d'ensembles de validation étiquetés pour déterminer quand arrêter l'entraînement, l'algorithme utilise une règle d'auto-arrêt basée sur l'erreur relative. L'entraînement se termine automatiquement lorsque le changement relatif de l'erreur de reconstruction (ou la disparité entre les matrices d'affinité successives) tombe en dessous d'un seuil prédéfini ( $\delta = 0.01$ ).
Post-traitement Optionnel :
- En exploitant la connaissance préalable de la dimension du sous-espace $d$ (par exemple, $d=9$ pour les visages YaleB, $d=12$ pour MNIST), la matrice de représentation apprise $C$ est optionnellement post-traitée en ne conservant que les $d$ coefficients principaux. Cette étape, fondée sur la propriété de Dominance de Projection Intra-Sous-Espace (IPD), affine la matrice sans introduire de nouveaux hyperparamètres.
Clustering :
- La matrice d'affinité finale est construite à partir de la matrice de représentation traitée, et le clustering spectral est appliqué en utilisant un Laplacien décalé pour assigner les étiquettes.

Contributions Clés

Cadre Autonome : Introduction d'une méthode de DSC à vue unique, auto-supervisée, qui ne nécessite aucune étiquette externe ni réglage d'hyperparamètre.
Apprentissage Séquentiel : Un cadre en deux étapes (pré-entraînement suivi du fine-tuning) qui permet l'intégration de multiples termes de régularisation (reconstruction, préservation de la distance, auto-expression et qualité de clustering) sans nécessiter de les équilibrer via des hyperparamètres pondérés.
Représentation Jointe : Utilisation d'une matrice de représentation jointe dérivée de toutes les couches de l'encodeur pour construire un modèle d'auto-expression commun, répondant à la limitation des approches à couche unique.
Critère d'Auto-Arrêt : Un mécanisme de terminaison sans étiquette basé sur la stabilisation de l'erreur relative.
Post-traitement Fondé sur les Mathématiques : Une étape de raffinement optionnelle utilisant la connaissance des dimensions de sous-espace pour améliorer la précision du clustering sans nouveaux hyperparamètres.

Résultats Expérimentaux
La méthode a été évaluée sur six jeux de données : MNIST, USPS, Extended YaleB, ORL, COIL20 et COIL100. Les performances ont été mesurées par la Précision (ACC), l'Information Mutuelle Normalisée (NMI) et le score F1.

Comparaison avec le SC Linéaire : LIHFSS-SVDSC a systématiquement surpassé huit algorithmes de clustering de sous-espace à vue unique linéaires (incluant SSC, LRR et NSN) qui ont été soigneusement réglés avec des hyperparamètres. Dans plusieurs cas (par exemple, Extended YaleB, COIL20), la méthode proposée a largement dépassé ces bases linéaires.
Comparaison avec le DSC Oracle : Comparée aux méthodes DSC « oracle » (où les hyperparamètres sont réglés sur des données de validation), LIHFSS-SVDSC a démontré des performances compétitives.
- Sur Extended YaleB et COIL20, la méthode proposée a surpassé les méthodes DSC oracle.
- Sur MNIST et ORL, elle a obtenu des résultats comparables ou légèrement inférieurs aux méthodes oracle (par exemple, à 1-3 % près sur MNIST).
- Sur COIL100, elle a montré des performances légèrement inférieures (environ 3-5 % de moins) par rapport aux meilleures méthodes linéaires et oracle, ce que les auteurs attribuent aux limitations inhérentes des méthodes SC linéaires et à la complexité du jeu de données.
Études d'Ablation : Les expériences ont confirmé la nécessité des étapes séquentielles. L'utilisation de la seule couche finale ( $L_{M/2}^{SE}$ ) ou l'omission de la perte de qualité de clustering ( $L_Q$ ) entraînait des performances nettement inférieures. L'étape de post-traitement IPD a apporté des améliorations constantes.

Signification et Revendications
L'article affirme que LIHFSS-SVDSC offre une solution robuste et pratique pour les tâches de clustering en conditions réelles où les données étiquetées sont indisponibles et le réglage des hyperparamètres est irréalisable. En supprimant la dépendance aux ensembles de données de validation pour le réglage et l'arrêt, la méthode s'aligne sur la véritable nature non supervisée du clustering.

Les auteurs reconnaissent modestement que leur approche séquentielle n'est pas mathématiquement équivalente à l'optimisation simultanée d'une somme pondérée de fonctions de perte (ce qui pourrait théoriquement produire de meilleurs optima globaux). Cependant, ils soutiennent que la conception séquentielle réussit à éliminer le besoin de sélection d'hyperparamètres, fournissant un processus d'apprentissage « véritablement autonome ». Les résultats suggèrent que, bien que la méthode ne puisse pas toujours égaler les pics de performance des modèles oracle lourdement réglés, elle constitue une alternative hautement compétitive, constante et sans paramètres, surpassant les approches linéaires standards sans intervention manuelle.