Resumo Técnico: IDEST – Avaliando Representações de Aprendizado Autossupervisionado via Dimensão Intrínseca

Declaração do Problema

O aprendizado autossupervisionado (SSL) tornou-se um paradigma dominante para extrair representações significativas de dados não rotulados. No entanto, o protocolo padrão para avaliar essas representações — linear probing (sondagem linear) — apresenta limitações significativas. É computacionalmente caro, sensível a hiperparâmetros e oferece uma visão limitada da estrutura geométrica do espaço de representação. Além disso, proxies geométricos existentes para a qualidade da representação, como os baseados em propriedades espectrais (ex: $\alpha$-ReQ, RankMe), frequentemente dependem de suposições (como o decaimento de lei de potência) que falham sob colapso de representação ou são restritos a arquiteturas específicas (ex: Arquiteturas de Embedding Conjunto). Adicionalmente, embora a Dimensão Intrínseca (ID) tenha sido vinculada à generalização em redes convolucionais supervisionadas, seu comportamento e utilidade em configurações modernas de SSL permanecem amplamente inexplorados, particularmente dados os desafios únicos das distribuições de dados de SSL (regimes não assintóticos onde $n \approx d$ e dependências entre visualizações aumentadas).

Metodologia: IDEST

Os autores propõem o IDEST (Estimativa de Dimensão Intrínseca para SSL usando árvores geradoras mínimas), um critério não supervisionado para avaliar representações de SSL baseado na estimativa de sua Dimensão Intrínseca.

Fundamentação Teórica

O método fundamenta-se na conexão entre o erro de generalização e a dimensão intrínseca. Citando Konz & Mazurowski (2024), o erro de generalização $L$ para um modelo bem treinado que interpola um conjunto de dados de tamanho $N_D$ escala como $O(N_D^{-1/d})$, onde $d$ é a dimensão intrínseca. Isso implica que, para um tamanho de conjunto de dados fixo, uma dimensão intrínseca mais baixa corresponde a uma representação mais eficiente e, potencialmente, a um melhor desempenho downstream.

Seleção do Estimador: dimMST

Para estimar $d$, os autores rejeitam estimadores paramétricos padrão como TwoNN e Maximum Likelihood Estimation (MLE). Esses métodos assumem que os pontos de dados são amostrados i.i.d. de uma distribuição com densidade localmente constante e frequentemente falham em configurações de SSL devido ao ruído, variações na densidade de amostragem e as dependências específicas introduzidas por aumentos de dados (conforme demonstrado na Figura 2, onde o TwoNN diverge em um manifold de hélice simples).

Em vez disso, o IDEST utiliza o estimador de dimensão por Árvore Geradora Mínima (MST) ($\text{dimMST}$), derivado da teoria de funcionais euclidianos (Costa & Hero, 2006).

• Mecanismo: O estimador baseia-se na taxa de crescimento assintótico do comprimento total da MST de uma nuvem de pontos. A relação é definida como:
  $$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$$
  onde $L$ é o comprimento total das arestas e $C'$ é uma constante.
• Implementação: A dimensão intrínseca $d$ é estimada via regressão linear log-log em subamostras de tamanhos crescentes $n_i$:
  $$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$$
  A inclinação $m$ resulta em $d = 1/(1-m)$.
• Robustez: O $\text{dimMST}$ é teoricamente robusto a ruído, variações de densidade de amostragem e alta dimensionalidade ambiente, tornando-o adequado para o regime $n \approx d$ inerente ao SSL de visão.

Protocolo de Avaliação

O IDEST opera em representações congeladas passadas para a cabeça do classificador, consistente com os protocolos padrão de linear probing. Para modelos sem um token de classe (ex: I-JEPA), os tokens de patch são submetidos a average-pooling; para modelos com um token [CLS] (ex: DINO), o token é usado diretamente.

Principais Contribuições

1. Proposta do IDEST: Um critério não supervisionado para avaliar representações de SSL baseado na estimativa de dimensão intrínseca via MST.
2. Validação Empírica: Demonstração de que o IDEST correlaciona fortemente com o desempenho de linear probe downstream em diversos conjuntos de dados, arquiteturas e objetivos de pré-treinamento SSL.
3. Seleção de Hiperparâmetros: Evidência de que o IDEST permite a seleção eficiente e livre de rótulos de hiperparâmetros, reduzindo significativamente os custos computacionais em comparação com alternativas supervisionadas.

Resultados Experimentais

1. Correlação com Desempenho Downstream

Os autores avaliaram 33 modelos em 14 métodos de SSL (incluindo VICReg, DINO, DINOv2, I-JEPA, CLIP, SigLIP, etc.) e várias arquiteturas (ResNet, ViT).

• Correlação Intra-Dataset: O IDEST mostra uma forte correlação negativa com a acurácia de Top-1 linear probe no ImageNet, iNat-18, iNat-21 e SUN397. Spearman's $\rho \approx -0.8$ e Kendall's $\tau \approx -0.6$ indicam que modelos com dimensões intrínsecas menores alcançam consistentemente maior acurácia.
• Correlação Inter-Dataset: O IDEST calculado no ImageNet serve como um proxy confiável para o desempenho em outros conjuntos de dados (iNat-18, iNat-21, CIFAR-10, CIFAR-100), sugerindo que ele captura propriedades intrínsecas da representação em vez de artefatos específicos do dataset.
• Protocolos Alternativos: A correlação se mantém sob avaliação k-NN e no conjunto de validação ImageNet-v2.

2. Dinâmica de Treinamento

• Probing Offline: O IDEST rastreia a evolução da qualidade da representação ao longo do pré-treinamento. À medida que as épocas de treinamento aumentam e a acurácia do linear probe melhora, a dimensão intrínseca estimada diminui consistentemente.
• Probing Online: O IDEST monitora efetivamente as melhorias de desempenho downstream mesmo quando um classificador é treinado conjuntamente durante o pré-treinamento (sem retropropagação para o encoder), desde que as fases iniciais de treinamento sejam superadas.

3. Seleção Não Supervisionada de Hiperparâmetros

Os autores usaram o IDEST para selecionar hiperparâmetros ideais (taxa de aprendizado, decaimento de peso, temperatura, etc.) para VICReg, DINO e I-JEPA.

• Desempenho: Modelos selecionados via IDEST alcançaram desempenho competitivo ou superior a outras baselines não supervisionadas ($\alpha$-ReQ, RankMe) e uma baseline fracamente supervisionada (LiDAR).
• Eficiência: A seleção de modelos via IDEST evita o custo computacional de treinar linear probes para cada configuração de hiperparâmetros.

Significância e Alegações

O artigo afirma que a dimensionalidade intrínseca serve como um proxy geométrico principiado para avaliar representações de SSL. Ao aproveitar o estimador de dimensão MST, o IDEST fornece uma métrica robusta e livre de rótulos que:

• Complementa os protocolos padrão de sondagem supervisionada ao oferecer insights sobre a estrutura geométrica do espaço de representação.
• Generaliza através de diversos paradigmas de SSL (embedding conjunto, predição conjunta, visão-linguagem) e arquiteturas.
• Reduz o Custo ao permitir a seleção eficiente de hiperparâmetros sem a necessidade de dados rotulados ou avaliações caras de linear probing.

Os autores enfatizam que seu trabalho ressalta a promessa dos descritores geométricos como uma ferramenta fundamental para entender e otimizar o aprendizado autossupervisionado, indo além da separabilidade para considerar quão eficientemente a informação é comprimida em estruturas geométricas de baixa dimensão.