Sintesi Tecnica: UR–JEPA: Rettificabilità Uniforme come Regolarizzatore per le Architetture di Predizione a Embedding Congiunto

1. Definizione del Problema

Le Architetture di Predizione a Embedding Congiunto (JEPA) apprendono rappresentazioni prevedendo l'embedding di una vista aumentata da un'altra nello spazio latente. Una difficoltà centrale nell'addestramento delle JEPA è prevenire il collasso della rappresentazione, in cui l'encoder mappa tutti gli input verso una soluzione costante o banale.

I rimedi storici sono stati in gran parte euristici (ad esempio, stop-gradients, negativi contrastivi, penalità di covarianza). LeJEPA [1] ha fatto progressi sostituendo queste euristiche con un singolo regolarizzatore esplicito della distribuzione target: la Regolarizzazione Gaussiana Isotropa Schematizzata (SIGReg). La SIGReg impone che la distribuzione degli embedding sia una Gaussiana isotropa $N(0, I_D)$ attraverso l'intera dimensione ambiente $D$.

Tuttavia, questo target entra in conflitto con l'ipotesi del manifold, la quale postula che gli embedding dei dati reali si concentrino su un sottoinsieme a bassa dimensione di dimensione intrinseca $n \ll D$. Imporre agli embedding di riempire l'intero spazio $D$-dimensionale in modo isotropico contraddice il prior che motiva l'apprendimento delle rappresentazioni. Il presente articolo propone UR–JEPA, che sostituisce il target Gaussiano Isotropo con una misura uniformemente $n$-rettificabile. Questo target impone che gli embedding si concentrino su un insieme che sia quantitativamente $n$-dimensionale alle piccole scale, allineando la regolarizzazione con la struttura geometrica dei dati reali.

2. Metodologia

UR–JEPA mantiene la perdita predittiva di LeJEPA $L_{pred}$, ma sostituisce il regolarizzatore SIGReg con obiettivi di teoria della misura geometrica derivati dalla Rettificabilità Uniforme (UR). Due caratterizzazioni complementari della UR vengono utilizzate per costruire perdite differenziabili adatte alla Discesa del Gradiente Stocastico (SGD).

2.1 Fondamenti Teorici

• Rettificabilità Uniforme $n$: Una misura $\mu$ è uniformemente $n$-rettificabile se è $n$-Ahlfors–David regolare (la densità scala come $r^n$) e possiede "Grandi Parti di Immagini Lipschitziane" (Big Pieces of Lipschitz Images).
• Caratterizzazioni:
  1. Funzione Quadrata CGLT: Basata sul teorema di Chousionis–Garnett–Le–Tolsa (CGLT), che caratterizza la UR tramite la limitatezza di una funzione quadratica di tipo Carleson che coinvolge le densità delle sfere normalizzate per scala.
  2. Numeri $\beta$ di Jones: Misurano la deviazione locale dei dati rispetto al miglior piano affine $n$-dimensionale che li approssima.

2.2 Famiglie di Perdita UR–JEPA

A. Perdita Carleson con Smoothing a Kernel Gaussiano ($L_{CGLT}$)

Questa famiglia approssima la funzione quadratica CGLT utilizzando un kernel Gaussiano per rendere fluida la densità empirica, evitando i problemi di rumore delle conteggi delle sfere grezzi.

• Stima della Densità: Una densità normalizzata per scala $\theta_r(x)$ viene calcolata utilizzando un kernel Gaussiano con larghezza di banda $r$.
• Variante del Log-Incremento (Default): Per evitare di legare la perdita al livello assoluto di densità (che è ignoto), la perdita opera sull'incremento del logaritmo della densità: $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$.
  • Perdita: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$.
  • Ancoraggio AD-Regularity: Un termine separato $L_{AD}$ penalizza la varianza di $\log \theta_r$ tra gli anchor per imporre la condizione di regolarità $n$-Ahlfors–David (livello di densità costante).
• Varianti della Derivata di Scala: Formulazioni alternative che utilizzano la derivata di scala $t \partial_t \log \theta_t$ o la derivata del kernel grezzo. L'articolo trova che la variante del log-derivata è essenziale per la stabilità, poiché la forma grezza soffre di un accoppiamento parassita con i livelli di densità locale.

B. Perdita del Numero $\beta$ di Jones ($L_\beta$)

Questa famiglia impone che i vicinati locali giacciano vicino a un piano affine $n$-dimensionale.

• PCA Locale: Per ogni anchor $x$ e scala $r$, viene formata una matrice di dispersione pesata. La perdita è la somma degli autovalori corrispondenti al complemento ortogonale dei primi $n$ autovettori (la varianza residua).
• Meccanismi Anti-Collasso: La perdita $\beta$ grezza ammette un minimizzatore banale a massa puntiforme (il collasso in un singolo punto produce varianza residua zero). L'articolo introduce due rimedi:
  1. Penalità di Log-Traccia Intrinseca: Aggiunge $-\gamma \log \text{tr}(S_r(x))$ per penalizzare il collasso del volume del vicinato locale.
  2. Soglia di Autovalore Adattiva: Invece di fissare la dimensione tangente a $n$, seleziona gli autovettori dove la quota di varianza supera una soglia $\tau$. Ciò consente alla dimensione intrinseca locale di variare per ogni anchor pur mantenendo il target geometrico globale.

2.3 Proprietà Anti-Collasso

A differenza della perdita $\beta$, le perdite basate su CGLT sono anti-collasso per costruzione. In una configurazione a massa puntiforme, la densità smussata scala come $r^{-n}$, causando un incremento del logaritmo $\Delta_r \log \theta$ che è una costante non nulla ($n \log 2$). Pertanto, la perdita rimane limitata lontano dallo zero, impedendo all'ottimizzatore di assestarsi in uno stato di collasso senza la necessità di penalità ausiliarie.

3. Contributi Chiave

1. Regolarizzazione Geometrica per le JEPA: L'articolo operazionalizza la Rettificabilità Uniforme $n$ come perdita di addestramento, fornendo un'alternativa fondata al target Gaussiano isotropo di LeJEPA. Ciò allinea la regolarizzazione con l'ipotesi del manifold.
2. Nuove Famiglie di Perdita: Introduce due famiglie di perdite concrete e adatte alla SGD:
   • $L_{CGLT}$: Basata sul teorema CGLT, utilizzando densità smussate con kernel Gaussiano e incrementi logaritmici.
   • $L_\beta$: Basata sui numeri $\beta$ di Jones tramite PCA locale, aumentata con penalità di log-traccia per prevenire il collasso.
3. Ponte tra Teoria e Pratica: Dimostra come il deep learning possa implementare concetti complessi della teoria della misura geometrica (misure di Carleson, numeri $\beta$ di Jones) attraverso approssimazioni differenziabili.
4. Intuizione Metodologica: L'articolo stabilisce che la trasformazione logaritmica della densità (o della derivata di scala) è metodologicamente essenziale. La variante della derivata di scala grezza performa significativamente peggio della forma logaritmica, che è invece necessaria per la stabilità poiché rimuove il confondimento con i livelli di densità locale.

4. Risultati Empirici

Gli esperimenti sono stati condotti su ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100) e EuroSAT.

4.1 Performance vs LeJEPA

• Inet10: UR–JEPA($L_{CGLT}$) raggiunge una precisione top-1 di 0.9141 ± 0.0014, superando la LeJEPA ($L_{SIGReg}$) corrispondente (0.9058 ± 0.0019) di +0.83 punti percentuali (pp). Fondamentalmente, UR–JEPA mostra una deviazione standard del seed ~30% inferiore.
• Galaxy10 SDSS: A parità di ricetta, UR–JEPA($L_{CGLT}$) (0.8142) e LeJEPA (0.8105) sono statisticamente in parità, con UR–JEPA che mostra una varianza inferiore. Entrambi superano significativamente le baseline pubblicate di LeJEPA (attribuito a miglioramenti della ricetta), ma il regolarizzatore in sé fornisce un guadagno marginale e non significativo rispetto alla baseline LeJEPA corrispondente.
• Inet100 & EuroSAT: UR–JEPA e LeJEPA convergono allo stesso intervallo di precisione massima. Su EuroSAT, UR–JEPA mantiene la sua firma di ~2x di varianza del seed più stretta rispetto a LeJEPA.
• Scaling: A differenza di LeJEPA, che degrada aumentando la dimensione del proiettore $D$ da 16 a 32, UR–JEPA migliora, suggerendo che le sue statistiche geometriche locali sono meno sensibili alla sparsità dello spazio ambiente.

4.2 Distinzione Geometrica

Nonostante la precisione simile, i due metodi producono rappresentazioni strutturalmente distinte:

• LeJEPA: Produce uno spettro quasi isotropo (distribuzione degli autovalori piatta), coerente con il suo target Gaussiano.
• UR–JEPA: Produce uno spettro fortemente anisotropo. Gli autovalori della covarianza scendono di 4 o 5 ordini di grandezza all'indice $\sim 20\text{--}25$ (su $D=32$). Ciò indica una proiezione efficacementmente a basso rango, coerente con la dimensione intrinseca delle immagini naturali, pur preservando marginali quasi-gaussiane per dimensione (una conseguenza del fenomeno di Diaconis–Freedman).
• Robustezza: La firma "cliff" (scogliera) in UR–JEPA è riproducibile tra i seed e i dataset, mentre LeJEPA rimane isotropa.

4.3 Studi di Ablazione

• Dimensione Intrinseca ($n$): La performance è robusta su un ampio plateau ($n \in [6, 10]$) ma crolla catastroficamente a $n=4$.
• Trasformazione Logaritmica: La variante della derivata logaritmica della perdita CGLT supera significativamente la forma grezza (di circa 1.5 pp), confermando la necessità della trasformazione logaritmica per la stabilità.
• $\beta$-Loss: La $\beta$-loss pura collassa su Inet10. Tuttavia, con la penalità di log-traccia ($L_{\beta, \gamma}$), diventa competitiva su Galaxy10, sebbene sia meno performante delle varianti CGLT.

5. Significato e Rivendicazioni

L'articolo sostiene che UR–JEPA offre un alternativa geometrica fondata al matching distributivo nel self-supervised learning.

• Recupero Strutturale: UR–JEPA recupera la dimensione tangente locale come parametro sintonizzabile ed impone vincoli di forma indipendenti dalla scala (condizioni di tipo Carleson) che LeJEPA non può imporre. Produce rappresentazioni che sono efficacemente a basso rango globalmente, pur mantenendo la $n$-rettificabilità locale.
• Stabilità: Il metodo dimostra una varianza del seed inferiore e un migliore scaling con la dimensione del proiettore rispetto a LeJEPA, suggerendo un panorama di ottimizzazione più stabile.
• Modestia: Gli autori riconoscono che, sebbene UR–JEPA eguagli o superi leggermente LeJEPA in termini di accuratezza, il guadagno principale è strutturale (rappresentazioni a basso rango, geometricamente coerenti) e statistico (riduzione della varianza). Non rivendicano una superiorità universale dell'accuratezza in ogni compito, notando che su Galaxy10 e EuroSAT i metodi sono statisticamente in parità al momento della convergenza.
• Gap Teorico: L'articolo ammette di non fornire una garanzia di convergenza a campioni finiti per la minimizzazione della perdita Carleson verso un target UR, lasciando questa come una questione teorica aperta.

In sintesi, UR–JEPA traduce con successo il concetto di teoria della misura geometrica della rettificabilità uniforme in un regolarizzatore differenziabile e pratico che allinea il self-supervised learning con l'ipotesi del manifold, producendo rappresentazioni che sono geometricamente distinte e statisticamente più stabili rispetto ai target Gaussiani isotropi.