Resumen Técnico: Muestreo de Negativos Difíciles para el Aprendizaje Contrastivo

Planteamiento del Problema

El Aprendizaje Contrastivo (CL) busca aprender representaciones donde los puntos de datos similares estén cerca y los disímiles estén lejos. Aunque se sabe empíricamente que el muestreo de negativos difíciles (seleccionar muestras negativas que son difíciles de distinguir del ancla) mejora el rendimiento en tareas posteriores, su impacto teórico en la geometría de los mínimos globales ha sido poco explorado. Específicamente, existe una falta de comprensión rigurosa con respecto a:

1. Si el muestreo de negativos difíciles altera la geometría óptima de la representación en comparación con el CL estándar.
2. Las condiciones bajo las cuales ocurre el Colapso Neuronal (NC) —una geometría donde las medias de clase forman un Marco Estrecho Equiangular (ETF) y la varianza intra-clase desaparece— tanto en entornos Supervisados (SCL) como No Supervisados (UCL).
3. El fenómeno del Colapso Dimensional (DC), donde las representaciones colapsan a un subespacio de menor dimensión, y cómo el muestreo de negativos difíciles y la normalización de características influyen en ello.

Los trabajos teóricos existentes suelen depender de supuestos fuertes, como la independencia condicional de las vistas positivas aumentadas dado el rótulo, y se centran en funciones de pérdida específicas como InfoNCE.

Metodología

Los autores proponen un marco teórico unificado para analizar las pérdidas de CL bajo un modelo de datos latentes general.

1. Pérdida Generalizada y Funciones de Endurecimiento

El artículo define una función de pérdida contrastiva general $\ell_k$ utilizando una función $\psi_k$ convexa y no decreciente respecto a sus argumentos. Esto subsume pérdidas populares como InfoNCE y Triplet Loss.
Para modelar el muestreo de negativos difíciles, los autores introducen una funza de endurecimiento $\eta: \mathbb{R}^k \to \mathbb{R}$, que es no negativa y no decreciente respecto a sus argumentos. Esta función repondera la distribución de muestreo de los negativos, aumentando la probabilidad de seleccionar negativos que están más alineados con el ancla en el espacio de representación.

2. Marco Teórico

El análisis cubre cuatro entornos:

• SCL: Aprendizaje Contrastivo Supervisado (rótulos disponibles).
• HSCL: SCL con Negativos Difíciles.
• UCL: Aprendizaje Contrastivo No Supervisado (rótulos latentes).
• HUCL: UCL con Negativos Difíciles.

Los autores derivan cotas inferiores para las pérdidas esperadas en estos entornos. Una herramienta teórica clave es la desigualdad de comparación de Harris, utilizada para demostrar que la pérdida esperada con muestreo de negativos difíciles está acotada inferiormente por la pérdida de CL estándar.

3. Optimización y Geometría

El artículo investiga los mínimos globales de estas pérdidas. Define el Colapso Neuronal (NC) como el estado donde:

• Las medias de clase forman un Marco Estrecho Equiangular (ETF) normalizado.
• La varianza intra-clase es cero (todas las muestras de una clase se mapean al mismo punto).
• La dimensión de la representación $d_Z \ge C-1$ (donde $C$ es el número de clases).

Los autores también analizan el Colapso Dimensional (DC), definido como el hecho de que la matriz de covarianza empírica de las medias de clase tenga valores singulares que son cero o órdenes de magnitud menores que el mayor, lo que indica una pérdida de capacidad representacional.

Contribuciones Clave

1. Cotas Inferiores Teóricas y Dominancia (Teorema 1)

Los autores demuestran que, para cualquier mapeo de representación $f$, las pérdidas de Hard-SCL (HSCL) y Hard-UCL (HUCL) están acotadas inferiormente por sus contrapartes estándar (SCL y UCL). Esto se establece mediante la desigualdad de Harris, demostando que el muestreo de negativos difíciles efectivamente "inclina" la distribución de muestreo para minimizar la pérdida aún más, siempre que la función de pérdida sea no decreciente respecto a sus argumentos.

2. Optimalidad del Colapso Neuronal (Teoremas 2 y 3)

• SCL/HSCL: El artículo demuestra que los mínimos globales tanto para SCL como para HSCL corresponden a la geometría del Colapso Neuronal. Crucialmente, este resultado no requiere el supuesto de que las muestras positivas sean condicionalmente independientes dado el rótulo, una restricción común en la literatura previa. El valor de la pérdida óptima es idéntico para SCL y HSCL cuando se alcanza el NC.
• UCL/HUCL: Los autores establecen que el NC es la geometría óptima para UCL si la dimensión de incrustación (embedding) es suficientemente grande en relación con el número de clases latentes. Para HUCL, la geometría óptima depende del nivel de dificultad y de la posibilidad de "colisión de clases" (negativos que comparten la clase latente con el ancla).

3. Validación Empírica de la Dinámica de Optimización

El artículo proporciona la primera demostración empírica de que:

• Optimización Adam con Negativos Difíciles: Usando Adam con inicialización aleatoria y niveles de dificultad adecuados, HSCL y HUCL pueden converger a la geometría de NC, siempre que se aplique la normalización de características (bola unitaria o esfera unitaria).
• Colapso Dimensional: Sin el muestreo de negativos difíciles o la normalización de características, las representaciones aprendidas mediante Adam sufren de Colapso Dimensional (DC), fallando en alcanzar la geometría de NC.
• Normalización: La normalización de características es crítica para mitigar el DC. Sin ella, tanto los métodos aleatorios como los de negativos difíciles fallan en alcanzar el NC.

Resultados Experimentales

Datos Sintéticos

• SCL/HSCL: Convergieron a NC independientemente del nivel de dureza ($\beta$).
• UCL: Convergió a NC solo cuando los pares positivos se construyeron utilizando información de etiquetas (satisfaciendo los supuestos teóricos). Al usar ruido gaussiano aditivo (violando la independencia condicional), no se observó NC.
• HUCL: No convergió a NC; las medias de clase se desviaron significamente de la geometría ETF, con una desviación que aumentó a medida que aumentó la dureza.

Datasets del Mundo Real (CIFAR100, CIFAR10, TinyImageNet)

• Rendimiento en Tareas Posteriores: El muestreo de negativos difíciles con niveles de dureza moderados ($\beta=5, 10$) mejoró la precisión de la clasificación en más de 40 puntos porcentuales en comparación con el SCL y UCL estándar.
• Métricas de NC: En entornos supervisados, el aumento de la dureza llevó al modelo más cerca del NC. En entornos no supervisados, existió un nivel de dureza óptimo ($\beta=5$); niveles de dureza más altos resultaron en peores métricas de NC y un aumento del DC.
• Sensibilidad a la Inicialización: Partiendo de una inicialización "cercana al NC", los entornos supervisados (SCL/HSCL) mantuvieron las propiedades de NC. Los entornos no supervisados (HUCL) con alta dureza ($\beta=10, 30$) se alejaron del NC, exhibiendo un DC significativo.
• Tamaño de Lote (Batch Size): El NC fue alcanzable en tamaños de lote de 64 a 512. Sin embargo, tamaños de lote muy pequeños (32) dificultaron el NC en datasets de alta cardinalidad debido a la reducida diversidad de pares negativos.

Significado y Reivindicaciones

El artículo afirma proporcionar una prueba teórica más simple, compacta y transparente para la optimalidad del Colapso Neuronal en el aprendizaje contrastivo, eliminando la necesidad del supuesto de independencia condicional sobre las muestras positivas en el entorno supervisado.

Los autores enfatizan que, si bien el muestreo de negativos difíciles teóricamente reduce la cota inferior de la pérdida, su utilidad práctica es matizada:

1. Es esencial para prevenir el Colapso Dimensional en el entrenamiento optimizado con Adam, un fenómeno con el que el CL estándar suele sufrir sin normalización.
2. Mejora significativamente el rendimiento de clasificación en tareas posteriores.
3. Sin embargo, en entornos no supervisados, un exceso de dureza puede ser perjudicial, pudiendo causar colisiones de clases que impiden alcanzar la geometría óptima de NC.

El trabajo concluye identificando problemas abiertos, incluyendo la derivación de una cota inferior ajustada para HUCL que tome en cuenta las colisiones de clases y la comprensión de las condiciones bajo las cuales el DC puede evitarse sin alcanzar necesariamente el pleno Colapso Neuronal.