🤖 machine learning

T-REGS: Minimum Spanning Tree Regularization for Self-Supervised Learning

Cet article introduit T-REGS, un cadre d'apprentissage auto-supervisé qui utilise la longueur de l'arbre couvrant minimal comme terme de régularisation pour prévenir théoriquement et empiriquement l'effondrement dimensionnel tout en favorisant l'uniformité de la distribution sur les représentations apprises.

Auteurs originaux : Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot

Publié 2026-02-09

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Julie Mordacq, David Loiseaux, Vicky Kalogeiton, Steve Oudot

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à comprendre les images sans lui montrer de labels (comme « chat » ou « chien »). C'est ce qu'on appelle l'Apprentissage Auto-Supervisé (Self-Supervised Learning). L'ordinateur apprend en regardant deux versions différentes d'une même photo (par exemple, l'une est floue, l'autre est recadrée) et tente de comprendre qu'il s'agit de la même chose.

Cependant, il y a un gros problème : l'ordinateur a tendance à devenir paresseux. Au lieu d'apprendre des caractéristiques riches et détaillées, il peut simplement produire la même réponse ennuyeuse pour chaque image. C'est ce qu'on appelle l'« effondrement » (collapse). C'est comme un élève qui, au lieu d'étudier tout le manuel, se contenterait de mémoriser la première phrase de chaque chapitre et donnerait la même réponse à tous les examens.

Les auteurs de cet article, Julie Mordacq et son équipe, ont inventé un nouvel outil appelé T-REGS pour empêcher l'ordinateur de devenir paresseux. Voici comment cela fonctionne, expliqué simplement :

Le Problème : La « Salle Bondée » vs La « Salle Vide »

Quand un ordinateur apprend, il transforme chaque image en une liste de nombres (un point dans un espace multidimensionnel).

Effondrement Dimensionnel : Imaginez que tous ces points s'agglutinent dans un petit coin de la pièce. L'ordinateur a oublié la plupart des dimensions de la pièce. Il n'utilise pas toute sa puissance cérébrale.
Manque d'Uniformité : Même s'ils ne sont pas agglutinés, ils peuvent former un cercle serré. Ils ne sont pas répartis uniformément dans tout l'espace.

Le but est d'amener l'ordinateur à disperser ces points aussi loin que possible, en remplissant uniformément toute la « pièce », afin qu'il puisse distinguer clairement chaque image.

La Solution : L'« Arbre Couvrant Minimum » (MST)

Les auteurs utilisent un concept mathématique appelé Arbre Couvrant Minimum (Minimum Spanning Tree).

L'Analogie : Imaginez un groupe de personnes debout dans un champ. Vous voulez les relier avec un réseau de cordes unique afin que tout le monde soit connecté, mais vous voulez utiliser la longueur totale de corde la plus courte possible. Ce réseau le plus court est l'« Arbre Couvrant Minimum ».
L'Astuce : Habituellement, si vous voulez minimiser la corde, vous rapprochez les gens. Mais T-REGS fait l'inverse : il essaie de maximiser la longueur de cette corde.

En forçant l'ordinateur à rendre la « corde » reliant tous les points de données la plus longue possible, l'ordinateur est contraint de repousser les points les uns des loin des autres. Il ne peut plus les regrouper, car la corde serait trop courte.

Le Filet de Sécurité : La « Sphère »

Il y a un piège. Si vous dites simplement à l'ordinateur de « maximiser la longueur de la corde » sans aucune règle, les points s'envoleront vers l'infini, étirant la corde éternellement. Cela n'est pas utile.

C'est pourquoi T-REGS ajoute une seconde règle : les points doivent rester sur la surface d'un immense ballon invisible (une sphère).

Désormais, l'ordinateur doit repousser les points le plus loin possible, mais il est piégé sur la surface de ce ballon.
La seule façon de rendre la corde la plus longue possible tout en restant sur le ballon est de disperser les points uniformément, comme les sommets d'une forme géométrique parfaite (un simplexe) couvrant toute la surface.

Ce Qu'Ils Ont Découvert

L'article montre que cette idée simple fonctionne très bien :

Cela empêche l'effondrement : L'ordinateur est forcé d'utiliser toutes ses dimensions ; il ne peut pas se cacher dans un coin.
Cela crée l'uniformité : Les points de données se dispersent uniformément, comme des invités à une fête à qui l'on aurait dit de rester aussi loin les uns des autres que possible tout en restant dans la pièce.
Cela fonctionne sur des données réelles : Ils ont testé cela sur des ensembles de données d'images standards (comme CIFAR et ImageNet). Lorsqu'ils ont ajouté T-REGS à des méthodes d'apprentissage existantes, les ordinateurs sont devenus meilleurs pour reconnaître les images.
Cela fonctionne sur le texte et les images : Ils ont même testé cela sur un système qui associe des photos à du texte (comme CLIP). Cela a aidé le système à mieux comprendre à la fois les images et les mots en gardant l'« espace mental » pour les deux de manière uniformément remplie.

En Résumé

Voyez T-REGS comme un professeur strict qui dit à l'ordinateur : « Vous ne pouvez pas regrouper vos réponses, et vous ne pouvez pas vous envoler hors de la page. Vous devez disperser vos réponses aussi loin que possible sur toute la page, en remplissant chaque coin uniformément. »

Cela force l'ordinateur à apprendre une façon beaucoup plus riche, détaillée et utile de voir le monde, sans avoir besoin de labels humains pour le guider.

Résumé Technique : T-REGS (Régularisation par Arbre Couvrant de Poids Minimum pour l'Apprentissage Auto-supervisé)

Énoncé du Problème

L'apprentissage auto-supervisé (SSL) est devenu un paradigme dominant pour l'apprentissage de représentations de données sans données étiquetées, particulièrement dans les domaines visuels. Cependant, un défi critique dans l'apprentissage auto-supervisé à plongements joints (JE-SSL) est l'effondrement de la représentation (representation collapse), où les réseaux produisent des vecteurs identiques ou non informatifs quel que soit l'entrée. Des recherches récentes ont identifié une défaillance plus subtile connue sous le nom d'effondrement dimensionnel (dimensional collapse), où les caractéristiques apprises n'occupent qu'un sous-espace de faible dimension, entraînant des corrélations élevées entre les caractéristiques et une diversité réduite. De plus, des représentations efficaces nécessitent une uniformité, garantissant que les plongements (embeddings) sont répartis uniformément dans l'espace de représentation pour préserver un maximum d'information et favoriser la généralisation en aval.

Les solutions existantes font face à des limitations :

Les méthodes contrastives (ex. SimCLR, MoCo) nécessitent de grandes tailles de lots (batch sizes) et de nombreux échantillons négatifs, ce qui est coûteux en termes de calcul.
Les méthodes de réduction de redondance (ex. Barlow Twins, VICReg) imposent des matrices de covariance proches de l'identité mais ne reposent que sur des moments d'ordre second, pouvant potentiellement manquer les points de concentration de densité qui empêchent la convergence vers des distributions uniformes.
Les méthodes asymétriques (ex. BYOL) manquent de fondement théorique concernant la manière dont elles préviennent l'effondrement.
Les approches basées sur le transport optimal (ex. Fang et al.) satisfont les propriétés théoriques nécessaires mais peuvent être coûteuses en calcul et souffrir d'instabilités numériques dues aux calculs de SVD.

Méthodologie : T-REG et T-REGS

Les auteurs proposent T-REG (Minimum Spanning Tree Regularization), un cadre conçu pour atténuer simultanément l'effondrement dimensionnel et promouvoir l'uniformité de la distribution.

Concept Central : Maximisation de la Longueur de l'Arbre Couvrant de Poids Minimum (MST)

L'idée centrale est de maximiser la longueur de l'Arbre Couvrant de Poids Minimum (MST) des plongements appris. L'analyse théorique relie la longueur du MST à l'estimation de la dimension statistique et à la maximisation de l'entropie.

Longueur du MST ( $E(G)$ ) : Définie comme la somme des distances euclidiennes entre les nœuds connectés dans l'arbre : $E(G) = \sum_{(z,z') \in E} \|z - z'\|^2$ .
Force de Répulsion : Pendant l'optimisation, les paires de points formant des arêtes dans le MST exercent une force de répulsion l'une sur l'autre, repoussant naturellement les points pour augmenter la longueur totale de l'arbre.

La Fonction de Perte T-REG

Pour éviter la solution triviale où les points divergent vers l'infini (puisque la maximisation de la longueur du MST encourage la dilatation), T-REG contraint les plongements à une variété (manifold) compacte, spécifiquement une hypersphère. La perte totale se compose de deux termes :

Maximisation de la Longueur du MST ( $L_E$ ) : $L_E(Z) = -\frac{1}{n} E(\text{MST}(Z))$ . Ce terme encourage l'étalement.
Contrainte de Sphère Douce ( $L_S$ ) : $L_S(Z) = \frac{1}{n} \sum_i (\|z_i\|^2 - 1)^2$ . Ce terme pénalise les écarts par rapport à la sphère unité.

La perte combinée est :
$L_{\text{T-REG}}(Z) = \gamma L_E(Z) + \lambda L_S(Z)$
où $\gamma$ et $\lambda$ sont des hyperparamètres équilibrant le compromis entre l'étalement et le maintien de la contrainte de sphère.

Extension à T-REGS

T-REGS applique cette régularisation aux cadres JE-SSL. Étant donné deux vues augmentées $X$ et $X'$ , le modèle produit des plongements $Z$ et $Z'$ . T-REGS agit comme un terme de régularisation appliqué indépendamment à chaque branche :
$L_{\text{T-REGS}}(Z, Z') = L_{\text{T-REG}}(Z) + L_{\text{T-REGS}}(Z')$
Il peut être utilisé de deux manières :

En tant que méthode autonome (Standalone) : Combiné directement avec un terme d'invariance de vue (ex. Erreur Quadratique Moyenne).
En tant que méthode auxiliaire : Ajouté aux objectifs SSL existants (ex. BYOL, Barlow Twins) pour améliorer leurs performances.

Analyse Théorique

L'article fournit des garanties théoriques rigoureuses pour T-REG :

Petits Échantillons ( $n \le d+1$ ) : Le Théorème 4.1 prouve que sous la contrainte de sphère, la maximisation de la longueur du MST force les points à se situer sur les sommets d'un simplex régulier. Cette configuration maximise les distances par paires, empêchant efficacement l'effondrement dimensionnel en utilisant toute la dimension de représentation.
Grands Échantillons ( $n \to \infty$ ) : L'analyse relie la longueur du MST à l'entropie de Rényi intrinsèque. Le Théorème 4.4 et le Corollaire 4.6 démontrent que la maximisation de la longueur du MST conduit asymptotiquement la distribution des plongements vers la distribution uniforme sur la variété Riemannienne compacte (la sphère).
Propriétés Fondées : T-REG satisfait naturellement les quatre propriétés proposées par Fang et al. [23] (permutation d'instances, clonage d'instances, clonage de caractéristiques et contraintes de "baby feature"), qui sont nécessaires pour prévenir l'effondrement dimensionnel et assurer l'uniformité.

Résultats Expérimentaux

Les auteurs ont évalué T-REGS sur des données synthétiques et des benchmarks SSL standards.

Validation sur Données Synthétiques

Effondrement Dimensionnel : Sur un jeu de données gaussien de dimension 1024 avec des niveaux d'effondrement contrôlés, la sensibilité de la perte de T-REG correspondait à celle de la métrique $W_2$ (de Fang et al.), confirmant sa capacité à pénaliser l'effondrement.
Uniformité : L'optimisation des nuages de points a montré que T-REG transforme avec succès les données dégénérées ou regroupées en points uniformément distribués sur une sphère. Dans les hautes dimensions (256-d), la distribution de la similitude cosinus a convergé vers une distribution de Dirac proche de 0, indiquant une configuration de simplex régulier.

Performance sur les Benchmarks

CIFAR-10/100 : T-REGS a obtenu des résultats compétitifs, égalant ou dépassant légèrement les méthodes régularisées par $W_2$ . Lorsqu'il est utilisé comme perte auxiliaire pour BYOL et Barlow Twins, il améliore systématiquement la précision Top-1 par rapport aux bases et aux variantes utilisant d'autres régulariseurs (ex. Lu, $W_2$ ).
ImageNet-100/1k : T-REGS a démontré sa scalabilité. En tant que perte auxiliaire pour BYOL et Barlow Twins, il a amélioré les performances sur ces deux jeux de données. La version autonome de T-REGS (combinée avec LMSE) a atteint une précision Top-1 de 68,8 % sur ImageNet-1k, rivalisant avec des méthodes de pointe comme INTL.
Application Multimodale (Recherche Image-Texte) : Appliqué au fine-tuning de CLIP, T-REGS a amélioré les performances de recherche (R@1 et R@5) sur Flickr30k et MS-COCO. Cela suggère que T-REGS aide à atténuer l'écart de modalité (modality gap) en imposant l'uniformité dans les deux branches, image et texte.

Efficacité Computationnelle

Complexité : Le calcul du MST utilise l'algorithme de Kruskal avec une complexité de pire cas de $O(B^2(D \cdot \log B))$ , où $B$ est la taille du lot et $D$ la dimension.
Temps d'exécution : Malgré la complexité théorique, les implémentations parallélisées sur GPU (utilisant torchph) permettent à T-REGS d'égaler le temps de calcul par étape de SimCLR et VICReg en pratique.

Signification et Revendications

L'article affirme que T-REGS offre une alternative conceptuellement simple, facile à implémenter et efficace en termes de calcul aux stratégies de régularisation existantes. Sa principale importance réside dans :

Rigueur Théorique : Il fournit des garanties prouvables contre l'effondrement dimensionnel et pour la promotion de l'uniformité sur des variétés compactes, fondées sur l'analyse des données topologiques et la maximisation de l'entropie.
Efficacité Pratique : Il améliore la qualité des représentations à travers diverses architectures (contrastives et non-contrastives) et modalités (simples et multimodales) sans nécessiter de grands lots négatifs ou d'opérations numériques complexes comme la SVD.
Polyvalence : Il fonctionne efficacement à la fois comme un objectif autonome et comme une perte auxiliaire modulaire, ce qui le rend adaptable à divers pipelines de SSL.

Les auteurs concluent que T-REGS comble avec succès le fossé entre les exigences théoriques pour de bonnes représentations SSL et une mise en œuvre pratique et scalable.