Resumen Técnico: IDEST – Evaluación de las Representaciones de Aprendizaje Auto-supervisado mediante la Dimensión Intrínseca

Declaración del Problema

El aprendizaje auto-supervisado (SSL, por sus siglas en inglés) se ha convertido en un paradigma dominante para la extracción de representaciones significativas a partir de datos no etiquetados. Sin embargo, el protocolo estándar para evaluar estas representaciones —el probado lineal (linear probing)— presenta limitaciones significativas. Es computacionalmente costoso, sensible a los hiperparámetros y ofrece una visión limitada de la estructura geométrica del espacio de representación. Además, los proxies geométricos existentes para la calidad de la representación, como aquellos basados en propiedades espectrales (por ejemplo, $\alpha$-ReQ, RankMe), a menudo dependen de supuestos (como la caída de ley de potencia) que fallan bajo el colapso de la representación o están restringidos a arquitecturas específicas (por ejemplo, Arquitecturas de Doble Inmersión o Joint-Embedding Architectures). Adicionalmente, aunque la Dimensión Intrínseca (ID) se ha vinculado con la generalización en redes convolucionales supervisadas, su comportamiento y utilidad en los entornos modernos de SSL permanecen mayormente inexplorados, particularmente dados los desafíos únicos de las distribuciones de datos de SSL (regímenes no asintóticos donde $n \approx d$ y las dependencias entre vistas aumentadas).

Metodología: IDEST

Los autores proponen IDEST (Estimación de la Dimensión Intrínseca para SSL mediante árboles de expansión mínima), un criterio no supervisado para evaluar las representaciones de SSL basado en la estimación de su Dimensión Intrínseca.

Fundamento Teórico

El método se basa en la conexión entre el error de generalización y la dimensión intrínseca. Citando a Konz & Mazurowski (2024), el error de generalización $L$ para un modelo bien entrenado que interpola un conjunto de datos de tamaño $N_D$ escala como $O(N_D^{-1/d})$, donde $d$ es la dimensión intrínseca. Esto implica que, para un tamaño de conjunto de datos fijo, una dimensión intrínseca más baja corresponde a una representación más eficiente y, potencialmente, a un mejor rendimiento en tareas posteriores (downstream).

Selección del Estimador: dimMST

Para estimar $d$, los autores rechazan los estimadores paramétricos estándar como TwoNN y la Estimación de Máxima Verosimilitud (MLE). Estos métodos asumen que los puntos de datos son muestreados i.i.d. de una distribución con densidad localmente constante y suelen fallar en los entornos de SSL debido al ruido, las variaciones en la densidad de muestreo y las dependencias específicas introducidas por las aumentaciones de datos (como se demuestra en la Figura 2, donde TwoNN diverge en un simple manifold de hélice).

En su lugar, IDEST utiliza el estimador de dimensión por Árbol de Expansión Mínima (MST) ($\text{dimMST}$), derivado de la teoría de los funcionales euclidianos (Costa & Hero, 2006).

• Mecanismo: El estimador se basa en la tasa de crecimiento asintótico de la longitud total del MST de una nube de puntos. La relación se define como:
  $$\lim_{n \to \infty} n^{-\frac{d-1}{d}} \cdot L(\text{MST}(X_n)) = C'$$
  donde $L$ es la longitud total de las aristas y $C'$ es una constante.
• Implementación: La dimensión intrínseca $d$ se estima mediante una regresión lineal log-log en submuestras de tamaño creciente $n_i$:
  $$\log(L(\text{MST}(X_{n_i}))) \approx \frac{d-1}{d} \log(n_i) + \log(C)$$
  La pendiente $m$ produce $d = 1/(1-m)$.
• Robustez: $\text{dimMST}$ es teóricamente robusto al ruido, las variaciones de densidad de muestreo y la alta dimensionalidad ambiental, lo que lo hace adecuado para el régimen $n \approx d$ inherente a la visión por SSL.

Protocolo de Evaluación

IDEST opera sobre representaciones congeladas que se pasan a la cabeza del clasificador, de manera consistente con los protocolos estándar de probado lineal. Para modelos sin un token de clase (como I-JEPA), los tokens de parche se promedian mediante un promedio de pooling; para modelos con un token [CLS] (como DINO), se utiliza el token directamente.

Principales Contribuciones

1. Propuesta de IDEST: Un criterio no supervisado para evaluar las representaciones de SSL basado en la estimación de la dimensión intrínseca mediante MST.
2. Validación Empírica: Demostración de que IDEST tiene una fuerte correlación con el rendimiento del probado lineal en diversas bases de datos, arquitecturas y objetivos de preentrenamiento de SSL.
3. Selección de Hiperparámetros: Evidencia de que IDEST permite la selección eficiente de hiperparámetros sin necesidad de etiquetas, reduciendo significativamente los costos computacionales en comparación con las alternativas supervisadas.

Resultados Experimentales

1. Correlación con el Rendimiento Posterior (Downstream)

Los autores evaluaron 33 modelos a través de 14 métodos de SSL (incluyendo VICReg, DINO, DINOv2, I-JEPA, CLIP, SigLIP, etc.) y diversas arquitecturas (ResNet, ViT).

• Correlación Intra-Dataset: IDEST muestra una fuerte correlación negativa con la precisión de Top-1 del probado lineal en ImageNet, iNat-18, iNat-21 y SUN397. Los valores de Spearman $\rho \approx -0.8$ y Kendall $\tau \approx -0.6$ indican que los modelos con dimensiones intrínsecas más bajas alcanzan consistentemente una mayor precisión.
• Correlación Inter-Dataset: El valor de IDEST computado en ImageNet sirve como un proxy confiable para el rendimiento en otros conjuntos de datos (iNat-18, iNat-21, CIFAR-10, CIFAR-100), lo que sugiere que captura propiedades intrínsecas de la representación en lugar de artefactos específicos del conjunto de datos.
• Protocolos Alternativos: La correlación se mantiene bajo la evaluación k-NN y en el conjunto de validación ImageNet-v2.

2. Dinámicas de Entrenamiento

• Probing Offline: IDEST rastrea la evolución de la calidad de la representación a lo largo del preentrenamiento. A medida que los épocas de entrenamiento aumentan y la precisión del probado lineal mejora, la dimensión intrínseca estimada disminuye consistentemente.
• Probing Online: IDEST monitorea eficazmente las mejoras en el rendimiento posterior incluso cuando un clasificador se entrena conjuntamente durante el preentrenamiento (sin retropropagar hacia el codificador), siempre que se hayan superado las etapas iniciales de entrenamiento.

3. Selección de Hiperparámetros No Supervisada

Los autores utilizaron IDEST para seleccionar los hiperparámetros óptimos (tasa de aprendizaje, decaimiento de peso, temperatura, etc.) para VICReg, DINO e I-JEPA.

• Rendimiento: Los modelos seleccionados mediante IDEST lograron un rendimiento competitivo o superior a otros baselines no supervisados ($\alpha$-ReQ, RankMe) y a un baseline débilmente supervisado (LiDAR).
• Eficiencia: Seleccionar modelos mediante IDEST evita el costo computacional de entrenar probadores lineales para cada configuración de hiperparámetros.

Significado y Reivindicaciones

El artículo sostiene que la dimensionalidad intrínseca sirve como un proxy geométrico fundamentado para evaluar las representaciones de SSL. Al aprovechar el estimador de dimensión MST, IDEST proporciona una métrica robusta y libre de etiquetas que:

• Complementa los protocolos estándar de probado supervisado ofreciendo información sobre la estructura geométrica del espacio de representación.
• Se Generaliza a través de diversos paradigmas de SSL (doble inmersión, doble predictivo, visión-lenguaje) y arquitecturas.
• Reduce el Costo al permitir la selección eficiente de hiperparámetros sin necesidad de datos etiquetados o evaluaciones costosas de probado lineal.

Los autores enfatizan que su trabajo subraya la promesa de los descriptores geométricos como una herramienta fundamental para comprender y optimizar el aprendizaje auto-supervisado, yendo más allá de la separabilidad para considerar qué tan eficientemente se comprime la información en estructuras geométricas de baja dimensión.