Résumé Technique : UR–JEPA : La rectifiabilité uniforme comme régulariseur pour les architectures de prédiction à plongement conjoint

1. Énoncé du problème

Les architectures de prédiction à plongement conjoint (JEPAs) apprennent des représentations en prédisant l'encodage d'une vue augmentée à partir d'une autre dans l'espace latent. Une difficulté centrale de l'entraînement des JEPAs est d'empêcher l'effondrement de la représentation (representation collapse), où l'encodeur mappe toutes les entrées vers une solution constante ou triviale.

Les remèdes historiques ont été largement heuristiques (par exemple, les gradients arrêtés, les négatifs contrastifs, les pénalités de covariance). Le modèle LeJEPA [1] a fait progresser ce domaine en remplaçant ces heuristiques par un régulariseur de distribution cible unique et explicite : la Régularisation Gaussienne Isotrope Esquissée (SIGReg). La SIGReg impose que la distribution des plongements soit une Gaussienne isotrope $N(0, I_D)$ sur l'ensemble de la dimension ambiante $D$.

Cependant, cette cible entre en conflit avec l'hypothèse de la variété (manifold hypothesis), qui postule que les plongements de données réelles se concentrent sur un sous-ensemble de faible dimension, de dimension intrinsèque $n \ll D$. Imposer aux plongements de remplir l'espace $D$-dimensionnel de manière isotrope contredit le principe a priori qui motive l'apprentissage de représentations. Le papier propose UR–JEPA, qui remplace la cible gaussienne isotrope par une mesure uniformément $n$-rectifiable. Cette cible impose que les plongements se concentrent sur un ensemble qui est quantitativement $n$-dimensionnel aux petites échelles, alignant ainsi la régularisation avec la structure géométrique des données réelles.

2. Méthodologie

UR–JEPA conserve la perte prédictive de LeJEPA $L_{pred}$ mais substitue le régulariseur SIGReg par des objectifs de théorie de la mesure géométrique dérivés de la rectifiabilité uniforme (UR). Deux caractérisations complémentaires de l'UR sont utilisées pour construire des pertes différentiables adaptées à la descente de gradient stochastique (SGD).

2.1 Fondements théoriques

• Rectifiabilité uniforme $n$ : Une mesure $\mu$ est uniformément $n$-rectifiable si elle est $n$-Ahlfors–David régulière (la densité suit une loi de puissance $r^n$) et possède des « morceaux importants d'images lipschitziennes » (Big Pieces of Lipschitz Images).
• Caractérisations :
  1. Fonction carrée CGLT : Basée sur le théorème de Chousionis–Garnett–Le–Tolsa, qui caractérise l'UR via la bornitude d'une fonction carrée de type Carleson impliquant des densités de balles normalisées par l'échelle.
  2. Nombres $\beta$ de Jones : Mesurent l'écart local des données par rapport au meilleur plan affine $n$-dimensionnel.

2.2 Familles de pertes UR–JEPA

A. Perte de Carleson lissée par noyau Gaussien ($L_{CGLT}$)

Cette famille approxime la fonction carrée CGLT en utilisant un noyau gaussien pour lisser la densité empirique, évitant ainsi les problèmes de bruit des comptages de balles bruts.

• Estimation de la densité : Une densité $\theta_r(x)$ normalisée par l'échelle est calculée à l'aide d'un noyau gaussien avec une largeur de bande $r$.
• Variante du logarithme de l'incrément (par défaut) : Pour éviter de coupler la perte au niveau de densité absolue (qui est inconnu), la perte opère sur l'incrément de log-densité : $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$.
  • Perte : $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$.
  • Ancrage AD-Régularité : Un terme séparé $L_{AD}$ pénalise la variance de $\log \theta_r$ à travers les ancres pour imposer la condition de régularité $n$-Ahlfors–David (niveau de densité constant).
• Variantes de dérivée d'échelle : Des formulations alternatives utilisant la dérivée d'échelle $t \partial_t \log \theta_t$ ou la dérivée brute du noyau. Le papier démontre que la variante de la dérivée logarithmique est essentielle pour la stabilité, car la forme brute souffre d'un couplage parasite avec les niveaux de densité locale.

B. Perte du nombre $\beta$ de Jones ($L_\beta$)

Cette famille impose que les voisinages locaux soient proches d'un plan affine $n$-dimensionnel.

• PCA Locale : Pour chaque ancre $x$ et échelle $r$, une matrice de dispersion pondérée est formée. La perte est la somme des valeurs propres correspondant au complément orthogonal des $n$ premiers vecteurs propres (la variance résiduelle).
• Mécanismes anti-effondrement : La perte $\beta$ brute admet un minimiseur de masse ponctuelle trivial (l'effondrement vers un point unique produit une variance résiduelle nulle). Le papier introduit deux remèdes :
  1. Pénalité de trace logarithmique intrinsèque : Ajoute $-\gamma \log \text{tr}(S_r(x))$ pour pénaliser l'effondrement du volume du voisinage local.
  2. Seuil de valeur propre adaptatif : Au lieu de fixer la dimension tangente à $n$, il sélectionne les vecteurs propres dont la part de variance dépasse un seuil $\tau$. Cela permet à la dimension intrinsèque locale de varier par ancre tout en maintenant la cible géométrique globale.

2.3 Propriétés anti-effondrement

Contrairement à la perte $\beta$, les pertes basées sur CGLT sont anti-effondrement par construction. Sur une configuration de masse ponctuelle, la densité lissée suit une loi en $r^{-n}$, ce qui fait que l'incrément de log $\Delta_r \log \theta$ est une constante non nulle ($n \log 2$). Ainsi, la perte reste bornée loin de zéro, empêchant l'optimiseur de s'installer dans un état d'effondrement sans nécessiter de pénalités auxiliaires.

3. Contributions clés

1. Régularisation géométrique pour les JEPAs : Le papier opérationnalise la rectifiabilité uniforme $n$ comme une perte d'entraînement, fournissant une alternative fondée sur la rectifiabilité à la cible gaussienne isotrope de LeJEPA. Cela aligne la régularisation avec l'hypothèse de la variété.
2. Nouvelles familles de pertes : Il introduit deux familles de pertes concrètes et compatibles avec la SGD :
   • $L_{CGLT}$ : Basée sur le théorème CGLT, utilisant des densités lissées par noyau gaussien et des incréments de log.
   • $L_\beta$ : Basée sur les nombres $\beta$ de Jones via une PCA locale, augmentée de pénalités de trace logarithmique pour prévenir l'effondrement.
3. Pont théorique-pratique : Il démontre comment le deep learning peut implémenter des concepts complexes de la théorie de la mesure géométrique (mesures de Carleson, nombres $\beta$ de Jones) via des approximations différentiables.
4. Insight méthodologique : Le papier établit que la transformation logarithmique de la densité (ou de la dérivée d'échelle) est méthodologiquement essentielle. La forme brute de la dérivée d'échelle est nettement moins performante en raison du couplage avec les niveaux de densité locale, tandis que la forme log élimine ce facteur de confusion.

4. Résultats empiriques

Les expériences ont été menées sur ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100), et EuroSAT.

4.1 Performance vs LeJEPA

• Inet10 : UR–JEPA($L_{CGLT}$) atteint une précision top-1 de 0,9141 ± 0,0014, surpassant la recette équivalente de LeJEPA($L_{SIGReg}$) (0,9058 ± 0,0019) de +0,83 point de pourcentage (pp). Crucialement, UR–JEPA présente une déviation standard de graine (seed) ~30 % plus faible.
• Galaxy10 SDSS : À recette équivalente, UR–JEPA($L_{CGLT}$) (0,8142) et LeJEPA (0,8105) sont statistiquement à égalité, UR–JEPA montrant une variance plus faible. Les deux surpassent significativement les baselines publiées de LeJEPA (attribué à des améliorations de recette), mais le régulariseur lui-même apporte un gain marginal et non significatif sur la baseline matchée de LeJEPA.
• Inet100 & EuroSAT : UR–JEPA et LeJEPA convergent vers la même bande de précision maximale. Sur EuroSAT, UR–JEPA maintient sa signature de variance de graine ~2x plus serrée par rapport à LeJEPA.
• Scaling : Contra contrairement à LeJEPA, qui se dégrade lorsque l'on augmente la dimension du projecteur $D$ de 16 à 32, UR–JEPA s'améliore, suggérant que ses statistiques géométriques locales sont moins sensibles à la parcimonie de l'espace ambiant.

4.2 Distinction géométrique

Malgré des précisions similaires, les deux méthodes produisent des représentations structurellement distinctes :

• LeJEPA : Produit un spectre quasi-isotrope (distribution de valeurs propres plate), cohérent avec sa cible gaussienne.
• UR–JEPA : Produit un spectre fortement anisotrope. Les valeurs propres de la covariance chutent de 4 à 5 ordres de grandeur à l'indice $\sim 20\text{--}25$ (sur $D=32$). Cela indique une projection de rang effectif faible, cohérente avec la dimension intrinsèque des images naturelles, tout en préservant des marginales quasi-gaussiennes par dimension (conséquence du phénomène de Diaconis–Freedman).
• Robustesse : La signature en "cliff" de UR–JEPA est reproductible à travers les graines et les jeux de données, alors que LeJEPA reste isotrope.

4.3 Études d'ablation

• Dimension intrinsèque ($n$) : La performance est robuste sur un large plateau ($n \in [6, 10]$) mais s'effondre de manière catastrophique à $n=4$.
• Transformation Log : La variante de la dérivée logarithmique de la perte CGLT surpasse significativement la forme brute (de ~1,5 pp), confirmant la nécessité de la transformation log pour la stabilité.
• Perte $\beta$ : La perte $\beta$ brute s'effondre sur Inet10. Cependant, avec la pénalité de trace logarithmique ($L_{\beta, \gamma}$), elle devient compétitive sur Galaxy10, bien qu'elle soit moins performante que les variantes CGLT.

5. Signification et affirmations

Le papier affirme que l'UR–JEPA offre une alternative géométrique fondée à l'appariement de distribution dans l'apprentissage auto-supervisé.

• Récupération structurelle : UR–JEPA récupère la dimension tangente locale comme un paramètre ajustable et impose des contraintes de forme indépendantes de l'échelle (conditions de type Carleson) que LeJEPA ne peut pas imposer. Il produit des représentations qui sont effectivement de faible rang globalement tout en maintenant une rectifiabilité $n$-dimensionnelle localement.
• Stabilité : La méthode démontre une variance de graine plus faible et un meilleur passage à l'échelle avec la dimension du projecteur par rapport à LeJEPA, suggérant un paysage d'optimisation plus stable.
• Modestie : Les auteurs reconnaissent que bien qu'UR–JEPA égale ou dépasse légèrement LeJEPA en précision, le gain principal est structurel (représentations de faible rang, géométriquement cohérentes) et statistique (réduction de la variance). Ils ne prétendent pas une supériorité universelle de précision sur toutes les tâches, notant que sur Galaxy10 et EuroSAT, les méthodes sont statistiquement à égalité à la convergence.
• Écart théorique : Le papier admet qu'il ne fournit pas de garantie de convergence en échantpl finis pour la minimisation de la perte de Carleson vers une cible UR, laissant cela comme une question théorique ouverte.

En résumé, l'UR–JEPA parvient à traduire le concept de la théorie de la mesure géométrique de la rectifiabilité uniforme en un régulariseur différentiable et pratique qui aligne l'apprentissage auto-supervisé avec l'hypothèse de la variété, produisant des représentations géométriquement distinctes et statistiquement plus stables que celles produites par des cibles gaussiennes isotropes.