Resumo Técnico: UR–JEPA: Retificabilidade Uniforme como um Regularizador para Arquiteturas de Embedding Conjunto Preditivo

1. Declaração do Problema

Arquiteturas de Embedding Conjunto Preditivo (JEPAs) aprendem representações prevendo o embedding de uma visão aumentada de outra no espaço latente. Uma dificuldade central no treinamento de JEPAs é prevenir o colapso de representação, onde o codificador mapeia todos os inputs para uma solução constante ou trivial.

Remédios históricos têm sido amplamente heurísticos (ex: gradientes interrompidos, negativos contrastivos, penalidades de covariância). O LeJEPA [1] avançou nisso ao substituir heurísticas por um único regularizador de distribuição alvo explícito: Regularização Gaussiana Isotrópica Esboçada (SIGReg). A SIGReg força que a distribuição de embeddings seja uma Gaussiana Isotrópica $N(0, I_D)$ através de toda a dimensão ambiente $D$.

No entanto, este alvo conflita com a hipótese da variedade (manifold hypothesis), que postula que os embeddings de dados do mundo real se concentram em um subconjunto de baixa dimensão de dimensão intrínseca $n \ll D$. Forçar os embeddings a preencherem todo o espaço $D$-dimensional de forma isotrópica contradiz o prior que motiva o aprendizado de representação. O artigo propõe o UR–JEPA, que substitui o alvo Gaussiano Isotrópico por uma medida uniformemente $n$-retificável. Este alvo força os embeddings a se concentrarem em um conjunto que é quantitativamente $n$-dimensional em pequenas escalas, alinhando a regularização com a estrutura geométrica dos dados reais.

2. Metodologia

O UR–JEPA retém a perda preditiva $L_{pred}$ do LeJEPA, mas substitui o regularizador SIGReg por objetivos de medida geométrica derivados da Retificabilidade Uniforme $n$ (UR). Duas caracterizações complementares de UR são utilizadas para construir perdas diferenciáveis adequadas para o Gradiente Descendente Estocástico (SGD).

2.1 Fundamentos Teóricos

• Retificabilidade Uniforme $n$: Uma medida $\mu$ é uniformemente $n$-retificável se ela é $n$-Ahlfors–David regular (a densidade escala como $r^n$) e possui "Grandes Peças de Imagens Lipschitz" (Big Pieces of Lipschitz Images).
• Caracterizações:
  1. Função Quadrática CGLT: Baseada no teorema de Chousionis–Garnett–Le–Tolsa (CGLT), que caracteriza a UR através da limitação de uma função quadrática do tipo Carleson envolvendo densidades de bolas normalizadas por escala.
  2. Números $\beta$ de Jones: Medem o desvio local dos dados em relação ao melhor plano afim $n$-dimensional que os aproxima.

2.2 Famílias de Perda UR–JEPA

A. Perda de Carleson Suavizada por Núcleo Gaussiano ($L_{CGLT}$)

Esta família aproxima a função quadrática CGLT usando um núcleo gaussiano para suavizar a densidade empírica, evitando problemas de ruído das contagens de bolas puras.

• Estimativa de Densidade: Uma densidade $\theta_r(x)$ normalizada por escala é computada usando um núcleo gaussiano com largura de banda $r$.
• Variante de Incremento de Logaritmo (Padrão): Para evitar o acoplamento da perda ao nível absoluto de densidade (que é desconhecido), a perda opera no incremento de log-densidade: $\Delta_r \log \theta(x) = \log \theta_{2r}(x) - \log \theta_r(x)$.
  • Perda: $L_{CGLT}^{UR} = \sum_{x \in A} \sum_k (\Delta_{r_k} \log \theta(x))^2$.
  • Âncora de AD-Regularidade: Um termo separado $L_{AD}$ penaliza a variância de $\log \theta_r$ entre as âncoras para impor a condição de regularidade $n$-Ahlfors–David (nível de densidade constante).
• Variantes de Derivada de Escala: Versões alternativas usando a derivada de escala $t \partial_t \log \theta(x)$ ou a derivada bruta do núcleo. O artigo descobre que a variante da derivada de logaritmo é essencial para a estabilidade, pois a forma bruta sofre de acoplamento parasitário com os níveis de densidade local.

B. Perda do Número $\beta$ de Jones ($L_\beta$)

Esta família impõe que as vizinhanças locais estejam próximas de um plano afim $n$-dimensional.

• PCA Local: Para cada âncora $x$ e escala $r$, uma matriz de dispersão ponderada é formada. A perda é a soma dos autovalores correspondentes ao complemento ortogonal dos $n$ principais autovetores (a variância residual).
• Mecanismos Anti-Colapso: A perda $\beta$ bruta admite um minimizador de massa pontual trivial (o colapso para um único ponto resulta em zero de resíduo). O artigo introduz dois remédios:
  1. Penalidade de Log-Traço Intrínseco: Adiciona $-\gamma \log \text{tr}(S_r(x))$ para penalizar o colapso do volume da vizinhança local.
  2. Limiar de Autovalor Adaptativo: Em vez de fixar a dimensão tangente em $n$, ele seleciona autovetores onde a parcela de variância excede um limiar $\tau$. Isso permite que a dimensão intrínseca local varie por âncora enquanto mantém o alvo geométrico global.

2.3 Propriedades Anti-Colapso

Ao contrário da perda $\beta$, as perdas baseadas em CGLT são anti-colapso por construção. Em uma configuração de massa pontual, a densidade suavizada escala como $r^{-n}$, fazendo com que o incremento de log $\Delta_r \log \theta$ seja um constante não nulo ($n \log 2$). Assim, a perda permanece limitada longe de zero, impedindo o otimizador de se estabelecer em um estado de colapso sem a necessidade de penalidades auxiliares.

3. Principais Contribuições

1. Regularização Geométrica para JEPAs: O artigo operacionaliza a Retificabilidade Uniforme $n$ como uma perda de treinamento, fornecendo uma alternativa fundamentada ao alvo Gaussiano Isotrópico do LeJEPA. Isso alinha a regularização com a hipótese da variedade.
2. Novas Famílias de Perda: Introduz duas famílias de perda concretas e amigáveis ao SGD:
   • $L_{CGLT}$: Baseada no teorema CGLT, utilizando densidades suavizadas por núcleo gaussiano e incrementos de logaritmo.
   • $L_\beta$: Baseada nos números $\beta$ de Jones via PCA local, aumentada com penalidades de log-traço para evitar colapso.
3. Ponte Teórico-Prática: Demonstra como o aprendizado profundo pode implementar conceitos complexos de medida geométrica (medidas de Carleson, números $\beta$ de Jones) através de aproximações diferenciáveis.
4. Insight Metodológico: O artigo estabelece que a transformação de logaritmo da densidade (ou derivada de escala) é metodologicamente essencial. A forma de derivada de escala bruta performa significativamente pior devido ao acoplamento com níveis de densidade local, enquanto a forma de log remove esse fator de confusão.

4. Resultados Empíricos

Experimentos foram conduzidos em ImageNet-10 (Inet10), Galaxy10 SDSS, ImageNet-100 (Inet100) e EuroSAT.

4.1 Desempenho vs. LeJEPA

• Inet10: UR–JEPA($L_{CGLT}$) alcança 0,9141 ± 0,0014 de acurácia top-1, superando o LeJEPA($L_{SIGReg}$) correspondente (0,9058 ± 0,0019) em +0,83 pontos percentuais (pp). Crucialmente, o UR–JEPA exibe uma desvio padrão de semente (seed std dev) ~30% menor.
• Galaxy10 SDSS: Em uma receita correspondente, UR–JEPA($L_{CGLT}$) (0,8142) e LeJEPA (0,8105) estão estatisticamente empatados, com o UR–JEPA mostrando menor variância. Ambos superam significativamente os baselines publicados do LeJEPA (atribuído a melhorias na receita), mas o regularizador em si fornece um ganho marginal e não significativo sobre o baseline correspondente do LeJEPA.
• Inet100 & EuroSAT: UR–JEPA e LeJEPA convergem para a mesma faixa de acurácia máxima. No EuroSAT, o UR–JEPA mantém sua assinatura de ~2x menor variância de semente comparado ao LeJEPA.
• Escalabilidade: Ao contrário do LeJEPA, que degrada ao aumentar a dimensão do projetor $D$ de 16 para 32, o UR–JEPA melhora, sugerindo que suas estatísticas geométricas locais são menos sensíveis à esparsidade do espaço ambiente.

4.2 Distinção Geométrica

Apesar de acurácias semelhantes, os dois métodos produzem representações estruturalmente distintas:

• LeJEPA: Produz um espectro quase isotrópico (distribuição de autovalores plana), consistente com seu alvo Gaussiano.
• UR–JEPA: Produz um espectro fortemente anisotrópico. Os autovalores da covariância caem em 4 a 5 ordens de magnitude no índice $\sim 20\text{--}25$ (de $D=32$). Isso indica uma projeção efetivamente de baixo rank, consistente com a dimensão intrínseca de imagens naturais, enquanto preserva marginais por dimensão quase gaussianas (uma consequência do fenômeno de Diaconis–Freedman).
• Robustez: A assinatura de "penhasco" (cliff) no UR–JEPA é reproduzível entre sementes e datasets, enquanto o LeJEPA permanece isotrópico.

4.3 Estudos de Ablação

• Dimensão Intrínseca ($n$): O desempenho é robusto através de um amplo platô ($n \in [6, 10]$), mas colapsa catastroficamente em $n=4$.
• Transformação de Logaritmo: A variante de derivada de log da perda CGLT supera significativamente a forma bruta (por ~1,5 pp), confirmando a necessidade da transformação de log para estabilidade.
• Perda $\beta$: A perda $\beta$ pura colapsa no Inet10. No entanto, com a penalidade de log-traço ($L_{\beta, \gamma}$), torna-se competitiva no Galaxy10, embora performe abaixo das variantes CGLT.

5. Significância e Alegações

O artigo afirma que o UR–JEPA oferece uma alternativa geométrica fundamentada ao pareamento de distribuições no aprendizado auto-supervisionado.

• Recuperação Estrutural: O UR–JEPA recupera a dimensão tangente local como um parâmetro ajustável e impõe restrições de forma independentes de escala (condições do tipo Carleson) que o LeJEPA não consegue. Ele produz representações que são efetivamente de baixo rank globalmente enquanto mantêm a $n$-retificabilidade local.
• Estabilidade: O método demonstra menor variância de semente e melhor escalabilidade com a dimensão do projetor comparado ao LeJEPA, sugerindo um landscape de otimização mais estável.
• Modéstia: Os autores reconhecem que, embora o UR–JEPA iguale ou supere ligeiramente o LeJEPA em acurácia, o principal ganho é estrutural (representações de baixo rank, geometricamente consistentes) e estatístico (redução de variância). Eles não alegam uma superioridade universal de acurácia em todas as tarefas, observando que no Galaxy10 e EuroSAT, os métodos estão estatisticamente empatados na convergência.
• Lacuna Teórica: O artigo admite que não fornece uma garantia de convergência de amostra finita para minimizar a perda de Carleson em direção a um alvo UR, deixando isso como uma questão teórica aberta.

Em resumo, o UR–JEPA traduz com sucesso o conceito de medida geométrica de retificabilidade uniforme em um regularizador diferenciável prático que alinha o aprendizado auto-supervisionado com a hipótese da variedade, gerando representações que são geometricamente distintas e estatisticamente mais estáveis do que aquelas produzidas por alvos Gaussianos isotrópicos.