Resumen Técnico: UR–JEPA: Rectificabilidad Uniforme como Regularizador para Arquitecturas de Predicción de Incrustación Conjunta

1. Planteamiento del Problema

Las Arquitecturas de Predicción de Incrustación Conjunta (JEPAs) aprenden representaciones prediciendo la incrustación de una vista aumentada de otra en el espacio latente. Una dificultad central en el entrenamiento de las JEPAs es prevenir el colapso de la representación, donde el codificador mapea todas las entradas a una solución constante o trivial.

Los remedios históricos han sido mayoritariamente heurísticos (p. ej., gradientes detenidos, negativos contrastivos, penalizaciones de covarianza). LeJEPA [1] avanzó en esto reemplazando las heurísticas con un único regularizador de distribución objetivo explícito: la Regularización Gaussiana Isotrópica Esquemática (SIGReg). SIGReg impone que la distribución de las incrustaciones sea una Gaussiana isotrópica $N(0, I_D)$ a través de toda la dimensión ambiente $D$.

Sin embargo, este objetivo entra en conflicto con la hipótesis del manifold, que postula que las incrustaciones de datos del mundo real se concentran en un subconjunto de baja dimensión de dimensión intrínseca $n \ll D$. Forzar a las incrustaciones a llenar el espacio $D$-dimensional de forma isotrópica contradice el prior que motiva el aprendizaje de representaciones. El artículo propone UR–JEPA, que reemplaza el objetivo de la Gaussiana isotrópica por una medida uniformemente $n$-rectificable. Este objetivo impone que las incrustaciones se concentren en un conjunto que es cuantitativamente $n$-dimensional a escalas pequeñas, alineando la regularización con la estructura geométrica de los datos reales.

2. Metodología

UR–JEPA retiene la pérdida predictiva de LeJEPA $L_{pred}$ pero sustituye el regularizador SIGReg por objetivos de teoría de la medida geométrica derivados de la Rectificabilidad Uniforme (UR). Se utilizan dos caracterizaciones complementarias de la UR para construir pérdidas diferenciables aptas para el Descenso de Gradiente Estocástico (SGD).

2.1 Fundamentos Teóricos

• Rectificabilidad Uniforme $n$: Una medida $\mu$ es uniformemente $n$-rectificable si es $n$-Ahlfors–David regular (la densidad escala como $r^n$) y posee "Grandes Piezas de Imágenes Lipschitz" (Big Pieces of Lipschitz Images).
• Caracterizaciones:
  1. Función Cuadrática CGLT: Basada en el teorema de Chousionis–Garnett–Le–Tolsa (CGLT), que caracteriza la UR mediante la acotación de una función cuadrática de tipo Carleson que involucra densidades de bolas normalizadas por escala.
  2. Números $\beta$ de Jones: Miden la desviación local de los datos respecto al plano afín $n$-dimensional que mejor los ajusta.

2.2 Familias de Pérdida UR–JEPA

A. Pérdida de Carleson Suavizada por Núcleo Gaussiano ($L_{CGLT}$)

Esta familia aproxima la función cuadrática CGLT utilizando un núcleo gaussiano para suavizar la densidad empírica, evitando los problemas de ruido de los conteos de bolas brutos.

• Estimación de Densidad: Se computa una densidad normalizada por escala $\theta_r(x)$ utilizando un núcleo gaussiano con ancho de banda $r$.
• Variante de Incremento de Logaritmo (Predeterminada): Para evitar que la pérdida se acople al nivel de densidad absoluta (que es desconocido), la pérdida opera sobre el incremento de log-densidad: $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$.
  • Pérdida: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$.
  • Anclaje de AD-Regularidad: Un término separado $L_{AD}$ penaliza la varianza de $\log \theta_r$ a través de los anclajes para imponer la condición de regularidad $n$-Ahlfors–David (nivel de densidad constante).
• Variantes de Derivada de Escala: Formulaciones alternativas que utilizan la derivada de escala $t \partial_t \log \theta_t$ o la derivada bruta del núcleo. El artículo encuentra que la variante de derivada de logaritmo es esencial para la estabilidad, ya que la forma bruta sufre de un acoplamiento parásito con los niveles de densidad local.

B. Pérdida del Número $\beta$ de Jones ($L_\beta$)

Esta familia impone que los vecindarios locales se sitúen cerca de un plano afín $n$-dimensional.

• PCA Local: Para cada ancla $x$ y escala $r$, se forma una matriz de dispersión ponderada. La pérdida es la suma de los autovalores correspondientes al complemento ortogonal de los $n$ autovectores superiores (la varianza residual).
• Mecanismos Anti-Colapso: La pérdida $\beta$ bruta admite un minimizador de masa puntual trivial (el colapso a un solo punto produce una varianza residual de cero). El artículo introduce dos remedios:
  1. Penalización de Traza de Logaritmo Intrínseca: Añade $-\gamma \log \text{tr}(S_r(x))$ para penalizar el colapso del volumen del vecindario local.
  2. Umbral de Autovalores Adaptativo: En lugar de fijar la dimensión tangente a $n$, selecciona autovectores donde la participación de la varianza supera un umbral $\tau$. Esto permite que la dimensión intrínseca local varíe por ancla mientras mantiene el objetivo geomético global.

2.3 Propiedades Anti-Colapso

A diferencia de la pérdida $\beta$, las pérdidas basadas en CGLT son anti-colapso por construcción. En una configuración de masa puntual, la densidad suavizada escala como $r^{-n}$, lo que hace que el incremento de logaritmo $\Delta_r \log \theta$ sea una constante distinta de cero ($n \log 2$). Así, la pérdida permanece acotada lejos de cero, evitando que el optimizador se asiente en un estado de colapso sin necesidad de penalizaciones auxiliares.

3. Contribuciones Clave

1. Regularización Geométrica para JEPAs: El artículo operacionaliza la Rectificabilidad Uniforme $n$ como una pérdida de entrenamiento, proporcionando una alternativa fundamentada al objetivo de la Gaussiana isotrópica de LeJEPA. Esto alinea la regularización con la hipótesis del manifold.
2. Nuevas Familias de Pérdida: Introduce dos familias de pérdida concretas y aptas para SGD:
   • $L_{CGLT}$: Basada en el teorema CGLT, utilizando densidades suavizadas por núcleo gaussiano e incrementos de logaritmo.
   • $L_\beta$: Basada en los números $\beta$ de Jones vía PCA local, aumentada con penalizaciones de traza de logaritmo para prevenir el colapso.
3. Puente Teórico-Práctico: Demuestra cómo el aprendizaje profundo puede implementar conceptos complejos de la teoría de la medida geométrica (medidas de Carleson, números $\beta$ de Jones) a través de aproximaciones diferenciables.
4. Perspicacia Metodológica: El artículo establece que la transformación logarítmica de la densidad (o la derivada de escala) es metodológicamente esencial. La variante de la derivada de escala bruta rinde significativamente peor debido al acoplamiento con los niveles de densidad local, mientras que la forma de logaritmo elimina este factor de confusión.

4. Resultados Empíricos

Los experimentos se realizaron en ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100) y EuroSAT.

4.1 Rendimiento vs. LeJEPA

• Inet10: UR–JEPA($L_{CGLT}$) logra una precisión top-1 de 0.9141 ± 0.0014, superando al LeJEPA($L_{SIGReg}$) con receta equiparable (0.9058 ± 0.0019) por +0.83 puntos porcentuales (pp). Crucialmente, UR–JEPA exhibe una desviación estándar de semilla ~30% menor.
• Galaxy10 SDSS: Con una receta equiparable, UR–JE-PA($L_{CGLT}$) (0.8142) y LeJEPA (0.8105) están estadísticamente empatados, con UR–JEPA mostrando una menor varianza. Ambos superan significativamente a las líneas base publicadas de LeJEPA (atribuido a mejoras en la receta), pero el regularizador en sí proporciona una ganancia marginal y no significativa sobre la línea base de LeJEPA.
• Inet100 y EuroSAT: UR–JEPA y LeJEPA convergen a la misma banda de precisión máxima. En EuroSAT, UR–JEPA mantiene su firma de ~2 veces de varianza de semilla más estrecha comparado con LeJEPA.
• Escalabilidad: A diferencia de LeJEPA, que se degrada al aumentar la dimensión del proyector $D$ de 16 a 32, UR–JEPA mejora, lo que sugiere que sus estadísticas geométricas locales son menos sensibles a la dispersión del espacio ambiente.

4.2 Distinción Geométrica

A pesar de precisiones similares, los dos métodos producen representaciones estructuralmente distintas:

• LeJEPA: Produce un espectro casi isotrópico (distribución de autovalores plana), consistente con su objetivo Gaussiano.
• UR–JEPA: Produce un espectro fuertemente anisotrópico. Los autovalores de la covarianza caen entre 4 y 5 órdenes de magnitud en el índice $\sim 20\text{--}25$ (de un total de $D=32$). Esto indica una proyección efectivamente de bajo rango, consistente con la dimensión intrínseca de las imágenes naturales, mientras preserva distribidades marginales casi gaussianas por dimensión (una consecuencia del fenómeno de Diaconis–Freedman).
• Robustez: La firma del "acantilado" en UR–JEPA es reproducible a través de semillas y conjuntos de datos, mientras que LeJEPA permanece isotrópico.

4.3 Estudios de Ablación

• Dimensión Intrínseca ($n$): El rendimiento es robusto a través de una amplia meseta ($n \in [6, 10]$) pero colapsa catastróficamente en $n=4$.
• Transformación Logarítmica: La variante de la derivada de logaritmo de la pérdida CGLT supera significativamente a la forma bruta (por ~1.5 pp), confirmando la necesidad de la transformación logarítmica para la estabilidad.
• Pérdida $\beta$: La pérdida $\beta$ pura colapsa en Inet10. Sin embargo, con la penalización de traza de logaritmo ($L_{\beta, \gamma}$), se vuelve competitiva en Galaxy10, aunque rinde por debajo de las variantes CGLT.

5. Significado y Reivindicaciones

El artículo sostiene que UR–JEPA ofrece una alternativa geométrica fundamentada al ajuste de distribuciones en el aprendizaje autosupervisado.

• Recuperación Estructural: UR–JEPA recupera la dimensión tangente local como un parámetro ajustable e impone restricciones de forma independientes de la escala (condiciones de tipo Carleson) que LeJEPA no puede implementar. Produce representaciones que son efectivamente de bajo rango globalmente mientras mantienen la $n$-rectificabilidad local.
• Estabilidad: El método demuestra una menor varianza de semilla y un mejor escalado con la dimensión del proyector comparado con LeJEPA, sugiriendo un paisaje de optimización más estable.
• Modestia: Los autores reconocen que, si bien UR–JEPA iguala o supera ligeramente a LeJEPA en precisión, la principal ganancia es estructural (representaciones de bajo rango, geométricamente consistentes) y estadística (reducción de la varianza). No reclaman una superioridad universal en precisión en todas las tareas, señalando que en Galaxy10 y EuroSAT, los métodos están estadísticamente empatados en la convergencia.
• Brecha Teórica: El artículo admite que no proporciona una garantía de convergencia de muestra finita para minimizar la pérdida de Carleson hacia un objetivo UR, dejando esto como una cuestión teórica abierta.

En resumen, UR–JEPA traduce con éxito el concepto de la teoría de la medida geométrica de la rectificabilidad uniforme en un regularizador diferenciable y práctico para el aprendizaje autosupervisado, alineando el aprendizaje con la hipótesis del manifold y produciendo representaciones que son geométricamente distintas y estadísticamente más estables que las producidas por objetivos gaussianos isotrópicos.