Resumen Técnico: La Geometría Global no es Suficiente para las Representaciones de Visión

1. Planteamiento del Problema

Un supuesto prevalente en el aprendizaje de representaciones visuales es que los embeddings globalmente bien distribuidos —caracterizados por propiedades como la isotropía, la uniformidad y la alta dimensionalidad efectiva— sustentan representaciones robustas y generalizables. Esta perspectiva geométrica ha dado forma a los objetivos de entrenamiento (p. ej., alineación contrastiva, decorrelación de la varianza) y a los protocolos de evaluación, tratando la geometría global como un proxy de la competencia representacional.

Sin embargo, las escenas visuales se definen no solo por la presencia de elementos, sino por su vinculación compositiva (es decir, cómo se disponen y relacionan los elementos). Mientras que la geometría global codifica eficazmente qué rasgos están presentes, puede ser insensible a cómo se componen. Este artículo investiga si las métricas geométricas estándar pueden predecir la capacidad de un modelo para realizar la vinculación compositiva, o si esta capacidad depende de un eje de calidad representacional distinto y no medido.

2. Metodología

Configuración Experimental

Los autores evaluaron 26 codificadores de visión preentrenados que abarcan siete familias distintas de objetivos de entrenamiento:

• Decorrelación de la Varianza: Barlow Twins, VICReg
• Modelado de Máscaras (Masked Modeling): MAE, BEiT, BEiTv2
• Clustering/Destilación: DINO, DINOv2, SwAV
• Contrastivo: MoCo v3
• Visión-Lenguaje: CLIP, SigLIP, EVA-CLIP
• Supervisado: ConvNeXt, ViT

Para aislar la capacidad compositiva de factores de confusión como el reconocimiento de texturas o la detección de objetos, los autores diseñaron un benchmark sintético de Vinculación de Atributos (Attribute Binding).

• Tarea: Los modelos deben emparejar una imagen de consulta con una imagen objetivo basándose en vinculaciones de forma-posición (p. ej., "círculo rojo a la izquierda de un cuadrado azul").
• Restricción: Las consultas y los objetivos utilizan conjuntos de colores disjuntos para evitar la dependencia de la coocurrencia de colores, obligando al modelo a depender de relaciones espaciales abstractas.
• Control: Se utilizó una sonda de "Igual/Diferente" (Same/Different) para medir la discriminación estructural básica, distinguiéndola de la verdadera vinculación relacional.

Métricas Evaluadas

1. Métricas Geométricas (Estáticas):
   • Ratio de Participación Global (G.PR): Mide la dimensionalidad efectiva global.
   • Puntuación de Isotropía Global (G.Iso): Mide la distribución de la varianza más allá del componente principal superior.
   • Isotropía Local (L.Iso): Mide la isotropía de los vecindarios locales en el espacio de embedding.
2. Métricas Funcionales (Dinámicas):
   • Rango Efectivo del Jacobiano (JER): Mide el rango efectivo del Jacobiano de entrada-salida ($J_f(x) = \partial f(x) / \partial x$). Esto cuantifica la dimensionalidad de las variaciones locales en el espacio de representación inducidas por perturbaciones de la entrada, caracterizando la sensibilidad funcional.
3. Análisis de Lectura (Readout Analysis):
   • Los autores probaron si otras lecturas basadas en la geometría (kNN, PCA Local) podrían recuperar la información de vinculación de los embeddings congelados cuando la similitud de coseno fallaba.

3. Resultados Clave

Las Métricas Geométricas Fallan al Predecir la Vinculación

• Correlación Nula: Las métricas geométricas estándar (G.PR, G.Iso, L.Iso) exhibieron una correlación cercana a cero con la precisión de la vinculación compositiva en todos los 26 modelos (p. ej., $r \approx 0.11$ para G.Iso, $p > 0.5$).
• Ortogonalidad: Las propiedades geométricas de alta calidad (p. ej., alta isotropía) no se traducen en un rendimiento de vinculación funcional. Los modelos con excelente geometría global (como DINOv2 o CLIP) se desempeñaron a niveles cercanos al azar en la tarea de vinculación.
• Robustez: Este resultado nulo se mantuvo a través de diversas elecciones de hiperparámetros (tamaños de vecindario $k$) y formulaciones de métricas (Rango Efectivo, Ratio de Participación).

La Sensibilidad Funcional Predice la Vinculación

• Fuerte Correlación: El Rango Efectivo del Jacobiano (JER) mostró una fuerte correlación positiva con la precisión de la vinculación ($r = 0.69, p < 0.001$).
• Poder Predictivo: Una regresión bivariante que combina el JER y la precisión de discriminación "Igual/Diferente" explicó el 78% de la varianza en el rendimiento de la vinculación ($R^2 = 0.78$).
• Dependencia del Objetivo:
  • Los objetivos de Decorrelación de la Varianza (Barlow Twins, VICReg) mantuvieron un JER alto (28.8) y alcanzaron la mayor precisión de vinculación (44%).
  • Los objetivos Contrastivos y de Visión-Lenguaje (CLIP, DINOv2) exhibieron un "colapso de rango" en sus espectros Jacobianos, resultando en un JER bajo (18–20) y una precisión de vinculación cercana al azar (13%).
  • Los modelos Supervisados mostraron el JER más bajo (~14.1).

Mecanismo de Colapso de Rango

• Análisis Espectral: Los modelos de decorrelación de la varianza mantienen un espectro de valores singulares plano y de decaimiento lento, lo que indica una sensibilidad uniforme a través de las direcciones de entrada. En contraste, modelos como CLIP y DINOv2 muestran un rápido decaimiento espectral, concentrando la sensibilidad en unos pocos modos dominantes.
• Análisis de Profundidad: El colapso de rango ocurre en diferentes etapas según el objetivo. CLIP y DINOv2 exhiben un colapso en la mitad de la red (bloques 5–8), mientras que MAE mantiene un rango alto en el backbone pero colapsa bruscamente en la capa de proyección.
• Limitaciones de la Lectura (Readout): Las lecturas geométricas alternativas (kNN, PCA Local) no lograron mejorar la precisión de la vinculación para los modelos con bajo JER, lo que sugiere que la información de vinculación no es recuperable mediante manipulación geométrica post-hoc.

Generalización

• La correlación entre el JER y el rendimiento de la vinculación se generalizó a imágenes naturales (benchmark SugarCrepe) dentro de la familia CLIP, donde el JER predijo el rendimiento ($r = 0.69$) incluso tras controlar la precisión zero-shot en ImageNet.

4. Explicación Teórica

El artículo postula que la disparidad entre la regularidad geométrica y la sensibilidad funcional surge del diseño del objetivo:

• Decorrelación de la Varianza: Estos objetivos constriñen explícitamente las estadísticas de segundo orden de las características (covarianza) mediante aumentos. Esto obliga al objetivo a dar forma directamente al Jacobiano ($J(x)\Sigma_\delta J(x)^\top$), preservando la sensibilidad a través de múltiples direcciones de entrada y manteniendo un JER alto.
• Contrastivos/Clustering/Máscaras/Semánticos: Estos objetivos constriñen el Jacobiano únicamente a través de proyecciones de rango deficiente (p. ej., gradientes de similitud o errores de reconstrucción). Dejan las direcciones ortogonales a la tarea específica (p. ej., alineación semántica o discriminación de instancias) sin restricciones, lo que conduce a un colapso en el rango funcional y una pérdida de la sensibilidad compositiva.

5. Significado y Reivindicaciones

Los autores afirman que la geometría global del embedding captura solo una visión parcial de la competencia representacional.

• Limitación de las Métricas Actuales: Los diagnósticos geométricos ampliamente utilizados rastrean de forma fiable el rendimiento en tareas impulsadas por la variación de un solo factor (p. ej., presencia de características), pero fallan sistemáticamente en tareas que requieren una estructura compositiva genuina.
• Nuevo Eje de Diagnóstico: El artículo establece la sensibilidad funcional (medida a través del Rango Efectivo del Jacobiano) como un eje crítico y complementario para modelar la estructura compuesta.
• Propiedad Intrínseca: Se demuestra que la accesibilidad lineal de la estructura compositiva es una propiedad intrínseca inducida por el objetivo de preentrenamiento, más que una característica que pueda recuperarse mediante lecturas geométricas alternativas.

El trabajo no propone un nuevo algoritmo de entrenamiento, sino que ofrece un marco de diagnóstico para comprender por qué ciertos objetivos (como la decorrelación de la varianza) tienen éxito en tareas compositivas mientras que otros (como el aprendizaje contrastivo) fallan, a pesar de que ambos producen geometrías globales "bien condicionadas".