Resumen Técnico: T-REGS (Regularización de Árbol de Expansión Mínima para el Aprendizaje Auto-supervisado)

Planteamiento del Problema

El aprendizaje auto-supervisado (SSL, por sus siglas en inglés) se ha convertido en un paradigma dominante para aprender representaciones de datos sin datos etiquetados, particularmente en dominios visuales. Sin embargo, un desafío crítico en el Aprendizaje Auto-supervisado de Embebimiento Conjunto (JE-SSL) es el colapso de la representación, donde las redes producen vectores idénticos o no informativos independientemente de la entrada. Investigaciones recientes han identificado una falla más sutil conocida como colapso dimensional, donde las características aprendidas ocupan solo un subespacio de baja dimensión, lo que conduce a altas correlaciones de características y una reducción de la diversidad. Además, las representaciones efectivas requieren uniformidad, asegurando que los embebimientos estén distribuidos uniformemente a través del espacio de representación para preservar la máxima información y ayudar a la generalización posterior.

Las soluciones existentes enfrentan limitaciones:

• Los métodos contrastivos (p. ej., SimCLR, MoCo) requieren tamaños de lote grandes y numerosos ejemplos negativos, lo cual es computacionalmente costoso.
• Los métodos de reducción de redundancia (p. ej., Barlow Twins, VICReg) imponen matrices de covarianza cercanas a la identidad, pero dependen solo de momentos de segundo orden, lo que potencialmente pierde puntos de concentración de densidad que impiden la convergencia hacia distribuciones uniformes.
• Los métodos asimétricos (p. ej., BYOL) carecen de fundamentación teórica sobre cómo previenen el colapso.
• Los enfoques basados en Transporte Óptimo (p. ej., Fang et al.) satisfacen propiedades teóricas necesarias pero pueden ser computacionalmente costosos y sufrir de inestabilidades numéricas debido a los cálculos de SVD.

Metodología: T-REG y T-REGS

Los autores proponen T-REG (Regularización de Árbol de Expansión Mínima), un marco diseñado para mitigar simultáneamente el colapso dimensional y promover la uniformidad de la distribución.

Concepto Central: Maximización de la Longitud del MST

La idea central es maximizar la longitud del Árbol de Expansión Mínima (MST) de los embebimientos aprendidos. El análisis teórico conecta la longitud del MST con la estimación de la dimensión estadística y la maximización de la entropía.

• Longitud del MST ($E(G)$): Definida como la suma de las distancias euclidianas entre los nodos conectados en el árbol: $E(G) = \sum_{(z,z') \in E} \|z - z'\|^2$.
• Fuerza Repulsiva: Durante la optimización, los pares de puntos que forman aristas en el MST ejercen una fuerza repulsiva entre sí, empujando naturalmente los puntos para aumentar la longitud total del árbol.

La Función de Pérdida T-REG

Para prevenir la solución trivial donde los puntos divergen hacia el infinito (ya que la maximización de la longitud del MST por sí sola fomenta la dilatación), T-REG restringe los embebimientos a una variedad compacta, específicamente una hiperesfera. La pérdida total consta de dos términos:

1. Maximización de la Longitud del MST ($L_E$): $L_E(Z) = -\frac{1}{n} E(\text{MST}(Z))$. Este término fomenta la dispersión.
2. Restricción de Esfera Suave ($L_S$): $L_S(Z) = \frac{1}{n} \sum_i (\|z_i\|^2 - 1)^2$. Este término penaliza las desviaciones de la esfera unitaria.

La pérdida combinada es:
$$L_{\text{T-REG}}(Z) = \gamma L_E(Z) + \lambda L_S(Z)$$
donde $\gamma$ y $\lambda$ son hiperparámetros que equilibran el compromiso entre la dispersión y el mantenimiento de la restricción de la esfera.

Extensión a T-REGS

T-REGS aplica esta regularización a marcos de JE-SSL. Dados dos vistos aumentados $X$ y $X'$, el modelo produce embebimientos $Z$ y $Z'$. T-REGS actúa como un término de regularización aplicado independientemente a cada rama:
$$L_{\text{T-REGS}}(Z, Z') = L_{\text{T-REG}}(Z) + L_{\text{T-REGS}}(Z')$$
Puede utilizarse de dos maneras:

1. Independiente (Standalone): Combinado directamente con un término de invarianza de vista (p. ej., Error Cuadrático Medio).
2. Auxiliar: Añadido a objetivos de SSL existentes (p. ej., BYOL, Barlow Twins) para mejorar su rendimiento.

Análisis Teórico

El artículo proporciona garantías teóricas rigurosas para T-REG:

• Muestras Pequeñas ($n \le d+1$): El Teorema 4.1 demuestra que, bajo la restricción de la esfera, la maximización de la longitud del MST obliga a los puntos a situarse en los vértices de un simplex regular. Esta configuración maximiza las distancias por pares, previniendo efectivamente el colapso dimensional al utilizar la dimensión completa de la representación.
• Muestras Grandes ($n \to \infty$): El análisis conecta la longitud del MST con la entropía de Rényi intrínseca. El Teorema 4.4 y el Corolario 4.6 demuestran que la maximización de la longitud del MST conduce asintóticamente la distribución de los embebimientos hacia la distribución uniforme en la variedad de Riemann compacta (la esfera).
• Propiedades Principadas: T-REG satisface naturalmente las cuatro propiedades propuestas por Fang et al. [23] (permutación de instancias, clonación de instancias, clonación de características y restricciones de "bebé de característica"), las cuales son necesarias para prevenir el colapso dimensional y asegurar la uniformidad.

Resultados Experimentales

Los autores evaluaron T-REGS en datos sintéticos y en estándares de referencia de SSL.

Validación con Datos Sintéticos

• Colapso Dimensional: En un conjunto de datos Gaussiano de 1024 dimensiones con niveles de colapso controlados, la sensibilidad de la pérdida de T-REG coincidió con la de la métrica W2 (de Fang et al.), confirmando su capacidad para penalizar el colapso.
• Uniformidad: La optimización de nubes de puntos mostró que T-REG transformó exitosamente datos degenerados o agrupados en puntos distribuidos uniformemente en una esfera. En altas dimensiones (256-d), la distribución de similitud de coseno convergió a una función Delta de Dirac cerca de 0, indicando una configuración de simplex regular.

Rendimiento en Benchmarks

• CIFAR-10/100: T-REGS logró resultados competitivos, igualando o superando ligeramente a los métodos regularizados con W2. Al usarse como pérdida auxiliar para BYOL y Barlow Twins, mejoró consistentemente la precisión Top-1 sobre las líneas base y variantes que utilizan otros regularizadores (p. ej., Lu, W2).
• ImageNet-100/1k: T-REGS demostró escalabilidad. Como pérdida auxiliar para BYOL y Barlow Twins, mejoró el rendimiento en ambos conjuntos de datos. El T-REGS independiente (combinado con LMSE) alcanzó un 68.8% de precisión Top-1 en ImageNet-1k, siendo competitivo con métodos de vanguardia como INTL.
• Aplicación Multimodal (Recuperación Imagen-Texto): Aplicado al ajuste fino (fine-tuning) de CLIP, T-REGS mejoró el rendimiento de recuperación (R@1 y R@5) en Flickr30k y MS-COCO. Esto sugiere que T-REGS ayuda a mitigar la "brecha de modalidad" al imponer uniformidad en las ramas de imagen y texto.

Eficiencia Computacional

• Complejidad: El cálculo del MST utiliza el algoritmo de Kruskal con una complejidad de peor caso de $O(B^2(D \cdot \log B))$, donde $B$ es el tamaño del lote y $D$ es la dimensión.
• Tiempo de Ejecución: A pesar de la complejidad teórica, las implementaciones paralelizadas en GPU (usando torchph) permiten que T-REGS iguale el tiempo de ejecución por paso de SimCLR y VICReg en la práctica.

Significación y Reivindicaciones

El artículo afirma que T-REGS ofrece una alternativa conceptualmente simple, fácil de implementar y computacionalmente eficiente a las estrategias de regularización existentes. Su principal significación radica en:

1. Solidez Teórica: Proporciona garantías demostrables contra el colapso dimensional y para promover la uniformidad en variedades compactas, fundamentadas en el análisis de datos topológicos y la maximización de la entropía.
2. Efectividad Práctica: Mejora la calidad de la representación en diversas arquitecturas (contrastivas y no contrastivas) y modalidades (simples y multimodales) sin requerir grandes lotes negativos u operaciones numéricas complejas como SVD.
3. Versatilidad: Funciona eficazmente tanto como un objetivo independiente como una pérdida auxiliar modular, lo que lo hace adaptable a varios procesos de SSL.

Los autores concluyen que T-REGS logra cerrar la brecha entre los requisitos teóricos para buenas representaciones de SSL y una implementación práctica y escalable.