Resumen Técnico: La pérdida no es suficiente: Condiciones de muestreo y sesgo inductivo en el aprendizaje de representaciones contrastivas

Planteamiento del problema

El aprendizaje contrastivo (CL, por sus siglas en inglés) ha emergido como un paradigma dominante para el aprendizaje de representaciones autosupervisado, sin embargo, las condiciones teóricas bajo las cuales recupera con éxito una geometría latente significativa aún no se comprenden completamente. Aunque el éxito empírico es generalizado, los mecanismos precisos que impulsan el CL suelen ser heurísticos, lo que conduce a un uso ineficiente de recursos y a elecciones de diseño que pueden no explotar plenamente el potencial del método.

Las explicaciones teóricas existentes generalmente se dividen en dos categorías:

1. La explicación de la invariancia: Postula que el CL induce representaciones invariantes a factores de molestia (nuisance factors). Sin embargo, este marco no especifica qué factores son de molestia, ni cómo las aumentaciones de datos determinan implícitamente esta partición. Además, los factores considerados "de molestia" por el objetivo contrastivo pueden portar información discriminativa necesaria para tareas específicas de seguimiento (downstream).
2. La explicación de la recuperación: Asume que los datos residen en un manifold de alta dimensión con una estructura latente de baja dimensión, y que el CL recupera dicha estructura latente. Aunque es prometedor, los resultados previos de identificabilidad (p. ej., Zimmermann et al., 2021) dependen de supuestos fuertes, específicamente que el muestreo de pares positivos sigue una distribución von Mises-Fisher (vMF) de soporte completo.

El problema central abordado es que los mecanismos de muestreo del mundo real (aumentaciones) rara vez satisfacen el supuesto de soporte completo. A menudo restringen el soporte de los pares positivos (por ejemplo, fijando ciertas características semánticas mientras se perturban otras). El artículo investiga si el objetivo contrastivo por sí solo es suficiente para recuperar la geometría latente cuando se viola esta "condición de diversidad", y cómo el sesgo inductivo arquitectónico interactúa con la diversidad de muestreo.

Metodología

Marco Teórico

Los autores desarrollan un marco de teoría de la medida para analizar el aprendizaje contrastivo, modelando el proceso de generación de datos como una aplicación inyectiva $g: \mathcal{Z} \to \mathcal{X}$ desde un espacio latente $\mathcal{Z}$ hacia un espacio de observación $\mathcal{X}$. El codificador $f: \mathcal{X} \to \mathcal{Z}$ busca aprender una aplicación de recuperación $h = f \circ g$.

Definiciones Clave:

• Condición de Diversidad: Un requisito de soporte sobre la ley condicional de los pares positivos $P_{\tilde{Z}|Z}$. Se cumple si, para casi todo ancla $z$, la medida marginal $P_Z$ es absolutamente continua con respecto a la medida condicional $P_{\tilde{Z}|z}$ ($P_Z \ll P_{\tilde{Z}|z}$). Intuitivamente, el proceso de generación de vistas debe perturbar todas las características latentes; si cualquier dimensión latente permanece fija, el codificador no puede distinguir las variaciones a lo largo de esa dimensión.
• Pérdida InfoNCE: Analizada como un problema de minimización de entropía cruzada entre la verdadera condicional de muestreo $P_{\tilde{Z}|z}$ y la condicional del modelo $Q_{h,z}$.

Análisis Teórico

El artículo procede a través de tres etapas analíticas:

1. Caso de Soporte Completo: Se demuestra que el entorno estándar de vMF de soporte completo implica la condición de diversidad. Utilizando un argumento de Mazur-Ulam probabilístico, los autores muestran que cualquier minimizador global de la pérdida asintótica contrastiva recupera el espacio latente salvo una transformación ortogonal (isometría).
2. Caso de Violación de la Diversidad: Los autores modelan escenarios donde el soporte condicional está restringido a un manifold de menor dimensión (por ejemplo, fijando coordenadas latentes $u$ mientras se varía $v$). Demuestran que, bajo la diversidad violada, las aplicaciones no ortogonales pueden alcanzar una pérdida contrastiva asintótica estrictamente menor que cualquier aplicación ortogonal. Específicamente, la función de pérdida desincentiva activamente las soluciones que preservan la geometría, lo que conduce a espacios latentes mal estructurados donde las relaciones semánticas no se preservan.
3. Modelo Corregido: Para abordar el desajuste de soporte, los autores introducen una variante de InfoNCE "corregida por soporte" donde las muestras negativas se extraen del mismo manifold restringido que los pares positivos. Demuestran que esta corrección hace que las soluciones isométricas (ortogonales) sean alcanzables (es decir, se convierten en minimizadores globales), pero crucialmente, esto no garantiza que sean los únicos minimizadores.

Validación Experimental

Las predicciones teóricas se validan mediante dos conjuntos de experimentos:

1. Benchmarks Sintéticos: Utilizando un espacio latente esférico ($S^2$) y cinco procesos generativos (Identidad, Lineal, Espiral, Parches, MLP Invertible), los autores comparan codificadores de bajo sesgo inductivo (MLP) frente a codificadores de alto sesgo inductivo (modelos inversos diseñados para reflejar el proceso generativo).
   • Métricas: Identificabilidad lineal ($R^2$), Coeficiente de Correlación Media (MCC) y Error de Preservación Angular (APE).
   • Condiciones: Muestreo con la diversidad mantenida (soporte completo) frente a diversidad violada (dimensiones fijas).
2. Experimentos con CIFAR-10: Usando SimCLR con tres arquitecturas (MLP, ViT, ResNet-18) y variando los regímenes de aumentación (Todo, Solo Recorte, Todo sin recorte).
   • Objetivo: Examinar cualitativamente cómo el sesgo inductivo arquitectónico compensa la diversidad de muestreo limitada en datos del mundo real donde las latentes reales son desconocidas.

Resultados Clave

Hallazgos Teóricos

• Necesidad de Diversidad: La condición de diversidad es necesaria para la recuperación isométrica del espacio latente. Cuando se viola, el objetivo contrastivo por sí solo falla en recuperar la geometría latente, incluso con datos infinitos y codificadores expresivos.
• Fallo de InfoNCE Estándar: Bajo la diversidad violada, la pérdida InfoNCE estándar favorece las aplicaciones que distorsionan la geometría sobre las ortogonales.
• Rol de la Corrección de Soporte: Un objetivo InfoNCE corregido por soporte (muestreando negativos del manifold restringido) restaura la alcanzabilidad de las soluciones isométricas, pero no garantiza su selección. El espacio de soluciones sigue siendo no único sin restricciones adicionales.
• Rol Compensatorio del Sesgo Inductivo: Cuando la diversidad de muestreo es insuficiente, el sesgo inductivo arquitectónico se vuelve crítico. Los codificadores de alto sesgo inductivo (aquellos que aproximan la inversa del proceso generativo) pueden recuperar la estructura latente incluso cuando la condición de diversidad se viola, mientras que los codificadores de bajo sesgo inductivo fallan.

Hallazgos Empíricos

• Resultados Sintéticos:
  • Diversidad Mantenida: Los codificadores MLP logran una identificabilidad lineal casi perfecta ($R^2 \ge 0.99$), confirmando que los codificadores expresivos pueden recuperar la geometría latente cuando se cumple la condición de diversidad.
  • Diversidad Violada: El rendimiento de MLP colapsa ($R^2 \in [0.05, 0.13]$ para la mayoría de los procesos). En contraste, los codificadores inversos (alto sesgo inductivo) mantienen un alto rendimiento de recuperación ($R^2 \ge 0.88$).
  • InfoNCE Adaptado: Aplicar la pérdida corregida por soporte recupera parcialmente el rendimiento de MLP ($R^2 \approx 0.60\text{--}0.65$), pero no alcanza el rendimiento de los codificadores de alto sesgo inductivo, confirmando que la corrección de la pérdida por sí sola es insuficiente para la selección única.
• Resultados de CIFAR-10:
  • Un soporte de muestreo más amplio ("Todo" las aumentaciones) produce la mayor precisión en tareas de seguimiento en todas las arquitecturas.
  • Un mayor sesgo inductivo (ResNet-18 > ViT > MLP) mejora consistentemente el rendimiento.
  • Efecto de Interacción: La brecha de rendimiento entre arquitecturas se amplía a medida que la condición de diversidad se viola cada vez más (p. ej., "Todo sin recorte"). Bajo un muestreo restringido, la ResNet-18 de alto sesgo inductivo supera significativamente al MLP de bajo sesgo, demostando que los priors arquitectónicos son críticos cuando la diversidad de muestreo es limitada.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco riguroso para comprender los regímenes de éxito y fracaso en el aprendizaje contrastivo. Sus principales contribuciones son:

1. Formalizar la Condición de Diversidad: Distinguirla del supuesto de soporte completo de vMF utilizado en trabajos previos y demostrar que su violación altera fundamentalmente el paisaje de optimización, haciendo que las soluciones que preservan la geometría sean subóptimas bajo objetivos estándar.
2. Clarificar el Rol del Sesgo Inductivo: Establecer que, cuando la diversidad de muestreo es limitada, el sesgo inductivo arquitectónico no es meramente una mejora heurística, sino un mecanismo necesario para recuperar estructuras latentes significativas.
3. Limitaciones de la Modificación de la Pérdida: Mostrar que, si bien corregir el desajuste de soporte en la función de pérdida hace que las soluciones isométricas sean alcanzables, esto no garantiza su selección, reforzando la necesidad del sesgo inductivo.

Los autores concluyen que la interacción entre los mecanismos de muestreo y el sesgo inductivo del codificador determina conjuntamente la calidad de la representación. Sugieren que las decisiones de diseño para los procesos de aumentación y las arquitecturas de codificadores deberían guiarse por esta alineación teórica, reduciendo potencialmente el desperdicio computacional derivado de la experimentación de ensayo y error. El trabajo no pretende resolver todos los problemas de identificabilidad, sino aclarar las condiciones específicas bajo las cuales el aprendizaje contrastivo tiene éxito o falla al recuperar la geometría latente.