Résumé Technique : Apprentissage de Graphes d'Attention Épars Préservant les Sous-espaces à partir de Données Multivues Hétérogènes

1. Énoncé du Problème

L'article aborde le défi de l'apprentissage par transfert non supervisé utilisant des données multivues hétérogènes. De telles données sont générées en extrayant des caractéristiques de haute dimension à partir de grands ensembles de données non étiquetés, en utilisant divers modèles préentraînés (par exemple, différentes architectures comme DINOv3, SigLIP 2 ou ConvNeXt V2). Bien que ces caractéristiques se situent souvent près de sous-espaces latents de faible dimension correspondant à des catégories sémantiques, les méthodes existantes d'apprentissage par transfert non supervisé peinent à retrouver fidèlement ces structures intrinsèques de sous-espaces lorsqu'elles exploitent l'information complémentaire à travers plusieurs vues.

Un goulot d'étranglement fondamental dans les approches actuelles réside dans la difficulté de construire des graphes de similarité épars qui préservent ces structures de sous-espaces sous-jacentes. Les méthodes traditionnelles d'apprentissage par auto-représentation reposent souvent sur des relaxations de la norme $\ell_0$ ou de faible rang qui nécessitent des solveurs itératifs computationnellement prohibitifs, limitant ainsi l'évolutivité. De plus, les mécanismes d'attention standards ont tendance à produire des graphes denses et symétriques, qui échouent à capturer la nature dirigée et asymétrique des relations entre caractéristiques et conduisent à des représentations entremêlées à travers différents sous-espaces latents.

2. Méthodologie : Apprentissage de Graphes d'Attention Épars (SAGL)

Les auteurs proposent SAGL, une méthode conçue pour apprendre des graphes d'attention épars préservant les sous-espaces à partir de données multivues hétérogènes, sans nécessiter d'annotations manuelles ni de solveurs itératifs coûteux. Le cadre se compose de trois composants principaux :

A. Factorisation d'Attention Biliaire

Pour résoudre le goulot d'étranglement de la symétrie inhérent à l'apprentissage de représentation traditionnel (où les produits scalaires produisent des graphes non dirigés symétriques), SAGL introduit un schéma de factorisation d'attention bilinéaire.

• Les caractéristiques encodées $Z^{(l)}$ sont projetées dans deux sous-espaces sémantiques latents distincts à l'aide de matrices apprenables $U^{(l)}$ et $V^{(l)}$.
• La matrice de similarité brute $S^{(l)}$ est calculée comme $S^{(l)} = (Z^{(l)}U^{(l)})(Z^{(l)}V^{(l)})^\top / \sqrt{C}$.
• Cette formulation génère une matrice de similarité asymétrique, permettant au modèle de capturer des dépendances dirigées et des relations asymétriques entre les caractéristiques, ce qui est crucial pour l'agrégation d'informations discriminatives.

B. Commutation Dynamique de Sparsité

Pour atteindre une isolation précise au sein des sous-espaces latents, la méthode emploie un mécanisme de commutation dynamique de sparsité.

• Un Perceptron Multicouche (MLP) léger prédit un facteur de compression spécifique aux caractéristiques $\omega^{(l)}_i \in [0, 1]$ pour chaque caractéristique.
• Ce facteur contrôle de manière adaptative les contributions topologiques des voisins. Un $\omega^{(l)}_i$ plus élevé impose une pénalité plus forte sur les similarités, forçant le modèle à se concentrer sur un ensemble plus restreint de voisins à haute confiance au sein du même sous-espace latent.
• Ce mécanisme brise explicitement la symétrie structurelle ($\tilde{s}^{(l)}_{ij} \neq \tilde{s}^{(l)}_{ji}$) et adapte les niveaux de sparsité en fonction de l'incertitude spécifique aux caractéristiques.

C. Projection Éparse Structurée via $\alpha$-entmax

Pour imposer la propriété d'auto-représentation éparse, la méthode projette les vecteurs de similarité sur un simplexe de probabilité en utilisant la transformation $\alpha$-entmax (avec $\alpha = 1.5$).

• Contrairement au softmax standard, $\alpha$-entmax induit une sparsité structurée en agissant comme un opérateur de seuillage continu.
• Il mappe les similarités à faible confiance (inter-sous-espace) exactement à zéro, générant ainsi des graphes d'attention épars préservant les sous-espaces qui révèlent des structures diagonales par blocs.
• Cette approche reformule le problème de minimisation NP-dur de la norme $\ell_0$ en une tâche d'optimisation différentiable contrainte par le simplexe de probabilité, permettant un entraînement de bout en bout.

D. Agrégation d'Information Éparse

Les graphes épars appris sont utilisés pour effectuer une agrégation d'information éparse. Pour une caractéristique $z^{(l)}_i$, la représentation est mise à jour comme une combinaison linéaire éparse de ses voisins (pondérée par les coefficients d'attention épars) plus une connexion résiduelle. Ce processus filtre le bruit inter-sous-espace, produisant des représentations discriminatives pour les tâches en aval.

3. Contributions Clés

L'article expose trois contributions principales :

1. Cadre : Un cadre d'auto-représentation éparse qui apprend des graphes d'attention épars préservant les sous-espaces à partir de données multivues hétérogènes sous contraintes de simplexe de probabilité. Cela élimine le besoin de solveurs itératifs computationnellement coûteux tout en permettant un apprentissage par transfert entièrement non supervisé.
2. Mécanisme : L'introduction d'un schéma de factorisation d'attention bilinéaire pour capturer des similarités asymétriques, renforcé par un mécanisme de commutation dynamique de sparsité qui contrôle de manière adaptative les contributions des voisins pour une isolation rigoureuse intrasous-espace.
3. Théorie : Des garanties théoriques rigoureuses faisant le lien entre l'attention éparse différentiable et les contraintes de simplexe de probabilité. Les auteurs prouvent que la projection $\alpha$-entmax sert de relaxation convexe fondée de la norme $\ell_0$, assurant que la sparsité structurée impose des représentations préservant les sous-espaces.

4. Résultats Expérimentaux

Des expériences extensives ont été menées sur huit ensembles de données de référence (Pets, KITTI, Flowers, Caltech101, EuroSAT, SUN397, Food101 et ImageNet-1K) en utilisant diverses architectures préentraînées (DINOv3, SigLIP 2, CLIP, ConvNeXt V2).

• Performance : SAGL surpasse constamment les méthodes d'apprentissage par transfert non supervisé de l'état de l'art (y compris SRLF, PRR, MIM, MSRL et TURTLE) sur les métriques de clustering (ACC, NMI, ARI). L'écart de performance était particulièrement évident sur des ensembles de données à grande échelle comme SUN397, Food101 et ImageNet-1K.
• Comparaison Zero-Shot et Supervisée : Dans les tâches zero-shot, SAGL a surpassé les bases faiblement supervisées (comme CLIP ZST) sans nécessiter de descriptions de classes. Dans les évaluations de sondage linéaire supervisé, SAGL a dépassé les bases supervisées sur plusieurs ensembles de données (Pets, Flowers, EuroSAT, Food101), démontrant sa capacité à exploiter efficacement l'information complémentaire multivue même sans supervision par étiquettes.
• Études d'Ablation : La suppression de composants clés (par exemple, remplacer les graphes épars par des matrices identité, utiliser une attention dense, ou supprimer le mécanisme de commutation) a entraîné des baisses de performance significatives, validant la nécessité de chaque module proposé.
• Efficacité : Bien que SAGL nécessite un temps d'entraînement légèrement supérieur à certaines bases d'attention dense sur des ensembles de données très volumineux (en raison de la projection $\alpha$-entmax), il évite les coûts prohibitifs des solveurs itératifs utilisés dans les méthodes de clustering de sous-espaces traditionnelles.

5. Signification et Revendications

L'article revendique que SAGL représente une avancée significative dans l'apprentissage par transfert non supervisé en comblant avec succès le fossé entre la représentation par auto-représentation éparse discrète de norme $\ell_0$ et l'apprentissage profond différentiable.

• Pont Théorique : Le travail fournit une justification théorique rigoureuse pour l'utilisation de $\alpha$-entmax afin de retrouver des structures de sous-espaces diagonales par blocs, démontrant que la sparsité structurée peut être imposée sans opérations non différentiables.
• Évolutivité : En reformulant le problème comme un schéma d'attention projeté sur un simplexe, SAGL atteint une évolutivité vers des données non étiquetées à grande échelle, surmontant les limites des solveurs itératifs traditionnels.
• Asymétrie : La méthode remet en question l'hypothèse de similarité symétrique dans l'apprentissage de représentation, montrant que la capture de relations asymétriques est critique pour traiter des données multivues hétérogènes.

Les auteurs concluent que SAGL offre une approche robuste, théoriquement fondée et empiriquement supérieure pour apprendre des représentations discriminatives à partir de données multivues hétérogènes, atteignant des résultats compétitifs par rapport au réglage fin supervisé dans des scénarios spécifiques sans annotations manuelles.