Resumen Técnico: Representaciones Óptimas para Aprendizaje Contrastivo Generalizado con Conjuntos de Datos Desbalanceados

Enunciado del Problema

El Aprendizaje Contrastivo (CL) busca aprender mapas de representación que acerquen las muestras "similares" (positivas) y separen las muestras "diferentes" (negativas). Si bien la geometría de las representaciones óptimas está bien comprendida para conjuntos de datos balanceados —exhibiendo un Colapso Neuronal (NC) donde las medias de clase forman un Marco Estricto Equiangular (ETF)—, el comportamiento del CL bajo distribuciones de clase desbalanceadas permanece en gran medida sin caracterizar. Los trabajos teóricos existentes se han centrado principalmente en:

1. Versiones empíricas de la pérdida InfoNCE con números específicos y casi máximos de muestras negativas ($k \approx$ tamaño del lote).
2. Configuraciones de clases balanceadas donde todas las clases tienen igual probabilidad.
3. Redes clasificadoras con pérdidas explícitamente dependientes de la etiqueta (por ejemplo, MSE, Entropía Cruzada), en lugar del riesgo general del CL.

Este artículo aborda la brecha en la comprensión de la geometría de representación óptima para pérdidas de CL generalizadas bajo desequilibrios de clase arbitrarios, investigando específicamente si la estructura ETF persiste e identificando nuevos fenómenos como el Colapso de Minoría (MC).

Metodología

Los autores adoptan un marco de Modelo de Características Sin Restricciones (UFM), tratando los vectores de características de la última capa como variables de optimización libres en lugar de los pesos de la red. Esto permite un análisis manejable del óptimo global.

Supuestos Clave y Configuración

• Función de Pérdida Generalizada: El estudio considera una amplia familia de pérdidas de CL definidas como $\ell_k = \psi(\dots)$, donde $\psi: \mathbb{R}^k \to \mathbb{R}$ es estrictamente convexa y estrictamente creciente por argumento. Esto incluye pérdidas populares como InfoNCE.
• Distribuciones de Muestreo: El análisis cubre tanto el CL No Supervisado (UCL), donde las negativas se extraen de todo el conjunto de datos (permitiendo "colisiones de clase"), como el CL Supervisado (SCL), donde las negativas se extraen de clases diferentes a la ancla.
• Desequilibrio de Clases: El artículo modela conjuntos de datos donde las probabilidades de clase $\lambda_i$ no son necesariamente iguales, incluyendo escenarios con desequilibrio extremo (una clase mayoritaria y múltiples clases minoritarias equiprobables).
• Estrategia de Optimización:
  1. Construcción de Cota Inferior: Se deriva una cota inferior ajustada $G(M)$ para el riesgo del CL, expresada únicamente en términos de los vectores de media de clase $M = [\mu_1, \dots, \mu_C]$.
  2. Relajación Convexa: El problema de minimizar el riesgo se transforma en minimizar una función $S(A)$ sobre la matriz de Gram $A = M^\top M$. Los autores demuestran que $S(A)$ es estrictamente convexa sobre el conjunto de matrices de correlación válidas.
  3. Caracterización Analítica: Se analizan las propiedades del minimizador único $A^*$ para determinar la estructura geométrica de las medias de clase óptimas.

Contribuciones Clave

1. Cota Inferior Generalizada y Colapso de Varianza

El artículo establece una nueva cota inferior (Lema 1) para el riesgo del CL que se cumple para cualquier función de pérdida estrictamente convexa y creciente por argumento, y para cualquier número de muestras negativas $k$.

• Colapso de Varianza Intraclase: Los autores demuestran que, para alcanzar esta cota inferior, el mapa de representación debe colapsar todas las muestras dentro de una clase hacia su media de clase (es decir, $f(x) = \mu_{y(x)}$).
• Norma Unitaria: Las medias de clase óptimas deben tener norma euclidiana unitaria.

2. Geometría de las Medias de Clase Óptimas

Para dimensiones de representación $d \ge C-1$:

• Deficiencia de Rango: Se demuestra que la única matriz de Gram óptima $A^*$ es deficiente en rango, con un rango máximo de $C-1$, incluso sin restricciones de rango explícitas.
• Cálculo Convexo: Las medias de clase óptimas pueden calcularse resolviendo un problema de optimización convexa sobre la matriz de Gram, seguido de una descomposición espectral.
• Estructura de Simetría: A diferencia del caso balanceado donde las medias forman un ETF, la geometría óptima para clases desbalanceadas exhibe una estructura de simetría equiangular determinada por las proporciones relativas de clase. Específicamente, si dos clases tienen igual probabilidad, sus medias mantienen productos internos idénticos con todas las demás medias de clase (Teorema 3).

3. Fenómeno de Colapso de Minoría (MC)

El artículo proporciona una prueba teórica rigurosa del Colapso de Minoría en CL.

• Definición: Cuando el desequilibrio de clase es extremo (específicamente, cuando la probabilidad de la clase mayoritaria $\lambda_1$ supera un umbral no asintótico $\tau$), las representaciones óptimas de todas las muestras de las clases minoritarias colapsan en un único vector.
• Derivación del Umbral: Se deriva una condición suficiente para el MC en términos del número de clases $C$, el número de negativas $k$ y las propiedades de Lipschitz de la función de pérdida $\psi$.
• Especificidades de InfoNCE: Para la pérdida InfoNCE, el artículo deriva umbrales libres de parámetros:
  • $\tau \approx 0.9292$ para la configuración UCL.
  • $\tau \approx 0.9438$ para la configuración SCL.
    Estos umbrales garantizan el MC independientemente de $C$ o $k$.

4. Unificación de Configuraciones

Se demuestra que los resultados se cumplen tanto para las configuraciones UCL como SCL, con ajustes menores en las distribuciones de probabilidad, unificando así la comprensión teórica del aprendizaje contrastivo a través de diferentes mecanismos de muestreo.

Resultados y Validación

• Consistencia Teórica: Se demuestra matemáticamente que las cotas inferiores derivadas y las propiedades geométricas son necesarias y suficientes para la optimalidad bajo el UFM.
• Experimentos Numéricos:
  • Colapso Intraclase: Los experimentos en subconjuntos desbalanceados de CIFAR-10 (3 clases) utilizando ResNet-50 confirman que las redes entrenadas colapsan la varianza intraclase hacia las medias de clase. Las matrices de Gram resultantes coinciden con las calculadas mediante optimización convexa (CVX).
  • Colapso de Minoría: Los experimentos con desequilibrio extremo ($\lambda_1 = 0.9$) demuestran que las medias de las clases minoritarias colapsan en un único vector diametralmente opuesto a la media de la clase mayoritaria, validando el fenómeno teórico de MC.
  • Geometría: Los experimentos confirman que las clases desbalanceadas no forman un triángulo equilátero (ETF), sino un triángulo isósceles, consistente con las propiedades de simetría derivadas.

Significado y Afirmaciones

El artículo afirma proporcionar la primera caracterización computable de representaciones óptimas de CL bajo desequilibrio de clase general. Su significado radica en:

1. Generalizar el Colapso Neuronal: Extender el fenómeno NC desde configuraciones balanceadas a desbalanceadas, mostrando que, aunque el colapso intraclase persiste, la geometría interclase (ETF) no lo hace.
2. Explicar el Colapso de Minoría: Proporcionar una base teórica para el "colapso de minoría" observado empíricamente en CL, identificándolo como una solución óptima (aunque potencialmente indeseable) al problema de minimización de riesgo bajo desequilibrio extremo.
3. Eficiencia Computacional: Demostrar que las medias de clase óptimas pueden encontrarse mediante optimización convexa, sugiriendo que los espacios de representación de alta dimensión pueden ser ineficientes para aprender características óptimas en CL.
4. Robustez de la Teoría: Establecer que estos fenómenos son inherentes a la geometría de la función de pérdida y la distribución de muestreo, y no artefactos de arquitecturas de red específicas o dinámicas de entrenamiento.

Los autores concluyen identificando problemas abiertos, incluida la caracterización de la geometría óptima cuando $d < C-1$ (relevante para Modelos de Lenguaje Grandes) y el análisis de los efectos del muestreo de negativas difíciles.