Resumen Técnico: Cuando el Softmax Falla en la Cúspide: Correcciones de Valores Extremos para InfoNCE

1. Planteamiento del Problema

El aprendizaje contrastivo, particularmente los métodos que utilizan la pérdida InfoNCE (Estimación de Ruido de Información Contrastiva), se ha convertido en una piedra angular del aprendizaje de representaciones autosupervisado. InfoNCE emplea una función softmax para modelar la probabilidad de que un par positivo sea seleccionado sobre un conjunto de pares negativos. Aunque esto suele justificarse mediante límites de información teórica o se ve como una conveniencia computacional, el artículo argumenta que la forma del softmax codifica un supuesto estadístico específico sobre cómo se selecciona el ejemplo "ganador" (top-1).

El problema central identificado es un desajuste estadístico entre los supuestos subyacentes al enlace softmax y la realidad de los entornos de aprendizaje contrastivo modernos:

• El Supuesto: El softmax estándar de InfoNCE corresponde a un modelo de Plackett–Luce derivado de un modelo de utilidad aleatoria aditiva con ruido Gumbel independiente e idénticamente distribuido (i.i.d.). Esto implica que la cola de la distribución de similitud se comporta según el dominio de atracción de Gumbel (colas ligeras, soporte no acotado).
• La Realidad: En el aprendizaje contrastivo moderno, las representaciones suelen estar normalizadas (por ejemplo, mediante similitud de coseno), lo que sitúa las puntuaciones en un intervalo acotado (por ejemplo, $[-1, 1]$). Los negativos más "difíciles" —aquellos más críticos para el aprendizaje— residen cerca del límite superior (el tope de la puntuación). El artículo postula que el comportamiento de la cola de estas similitudes acotadas se describe mejor mediante el dominio de atracción de Weibull (extremo derecho finito, variación regular en el déficit respecto a ese extremo) en lugar del dominio de Gumbel.

El uso del softmax estándar basado en Gumbel para datos generados de un régimen de cola tipo Weibull conduce a una especificación errónea del modelo. Esto resulta en una asignación de gradiente subóptima, donde la función de pérdida asigna masa de probabilidad (y, por tanto, actualizaciones de gradiente) a negativos fáciles que son estadísticamente improbables de ser los verdaderos "ganadores", mientras que infrapondera a los negativos difíciles críticos cerca del extremo.

2. Metodología

El artículo propone WEINCE (InfoNCE Mejorado por Weibull), un reemplazo directo para la pérdida InfoNCE que corrige este desajuste estadístico sin introducir parámetros entrenables. La metodología procede en tres etapas:

A. Fundamento Teórico: Teoría de Valores Extremos (EVT)

Los autores aplican la Teoría de Valores Extremos para analizar el comportamiento asintótico del máximo de $K$ puntuaciones negativas cuando $K \to \infty$.

• Teorema de Fisher–Tippett–Gnedenko: Este teorema establece que el máximo normalizado de variables i.i.d. converge a una de tres distribuciones de Valor Extremo Generalizado (GEV), caracterizadas por un parámetro de forma $\xi$:
  • $\xi = 0$ (Gumbel): Colas ligeras, no acotado (coincide con el softmax estándar).
  • $\xi > 0$ (Fréchet): Colas pesadas, no acotado.
  • $\xi < 0$ (Weibull): Extremo derecho finito, puntuaciones acotadas.
• Tricotomía de la Geometría de la Cola: Para las similitudes de coseno acotadas, el artículo argumenta que la geometría de la cola relevante es a menudo de tipo Weibull ($\xi < 0$). El artículo deriva funciones de enlace "ajustadas a la geometría" para las probabilidades de selección top-1. Para el caso de Weibull, la probabilidad de que un candidato gane es proporcional a $(x_F - s_i)^{-\beta}$, donde $x_F$ es el extremo (1.0 para el coseno) y $\beta$ es un índice de cola. Esto conduce a un logit de "déficit": $\ell^W_{ij} = -\beta \log(x_F - s_{ij})$.

B. Diagnósticos Empíricos

Antes de proponer la solución, los autores validan el desajuste:

• Análisis de Picos sobre el Umbral (POT): El ajuste de una Distribución Pareto Generalizada a la cola de las puntuaciones de un codificador congelado arroja un parámetro de forma $\hat{\xi} \approx -0.39$, confirmando un comportamiento de tipo Weibull.
• Selección de Enlace Basada en Verosimilitud: Los autores comparan el enlace softmax estándar con una familia anidada que interpola entre la coordenada de traslación (Gumbel) y la coordenada del extremo (Weibull). El peso de interpolación ajustado $\hat{\lambda}$ es consistentemente distinto de cero (aprox. 0.33–0.50) en múltiples conjuntos de datos (CIFAR, STL-10) y arquitecturas (backbones), lo que indica que un enlace softmax puro es insuficiente y que un componente de déficit del extremo mejora significativamente la verosimilitud de los ganadores observados.

C. El Algoritmo WEINCE

WEINCE combina dinámicamente los logits de InfoNCE estándar con los logits de déficit de Weibull de forma por ancla (anchor-wise).

• Logits Interpolados: Para cada ancla $i$, el logit $\ell_{ij}$ se calcula como:
  $$\ell_{ij} = (1 - \lambda_i) \frac{s_{ij}}{\tau} + \lambda_i \left( -\hat{\beta}_i \log(x_F - s_{ij}) \right)$$
  donde $s_{ij}$ es la similitud de coseno, $\tau$ es la temperatura, y $x_F = 1$.
• Estimación Online: El peso de mezcla $\lambda_i$ y el índice de cola $\hat{\beta}_i$ se estiman online a partir de las estadísticas del minibatch actual, lo que no requiere pasadas adicionales hacia adelante ni parámetros entrenables:
  1. Señal de Dureza ($\rho_i$): El déficit mínimo ($1 - s_{ij}$) entre los negativos para el ancla $i$. Si el ancla tiene negativos muy cercanos al tope, $\rho_i$ es pequeño.
  2. Señal de Forma de la Cola ($\Delta AIC_i$): Una comparación del ajuste de una línea de Weibull frente a una de tipo Gumbel utilizando una puntuación de estilo AIC a los $K_{tail}$ déficits más pequeños.
  3. Peso de Mezcla: $\lambda_i$ se establece mediante una función sigmoide de estas señales. Se aproxima a 0 (InfoNCE puro) para anclas con evidencia débil del extremo y se aproxima a 1 (Weibull puro) para anclas con evidencia fuerte de tipo Weibull cerca del tope.
• Cálculo de la Pérdida: La pérdida final es la entropía cruzada estándar calculada utilizando estos logits interpolados.

3. Contribuciones Clave

1. Reinterpretación Estadística: El artículo identifica explícitamente el supuesto estadístico oculto en el softmax de InfoNCE (geometría de cola Gumbel) y demuestra su desalineación con los espacios de incrustación (embeddings) acotados utilizados en el aprendizaje contrastivo moderno.
2. Diagnósticos: Proporciona evidencia teórica y empírica (mediante análisis POT y pruebas de razón de verosimilitud) de que la cola de los negativos difíciles en el aprendizaje contrastivo exhibe un comportamiento de extremo de tipo Weibull, lo que provoca una mala asignación de gradientes en el InfoNCE estándar.
3. WEINCE: Ofrece una modificación práctica y sin parámetros de InfoNCE que utiliza estadísticas de lote online para interpolar adaptativamente entre los logits de softmax y los de déficit de Weibull. Recupera InfoNCE como un caso especial ($\lambda=0$) y aplica correcciones solo cuando los datos respaldan la geometría del extremo.

4. Resultados Experimentales

Los autores evaluaron WEINCE como un reemplazo directo de InfoNCE en cinco benchmarks de visión y un benchmark de NLP, utilizando protocolos de evaluación de características congeladas (proyección lineal y k-NN).

• Benchmarks de Visión:
  • Datasets: CIFAR-10, CIFAR-100, STL-10, ImageNet-32 y Tiny-ImageNet.
  • Backbones: ResNet-18, ResNet-50 y ViT-Small.
  • Resultados: WEINCE superó consistentemente a InfoNCE vanilla. Las ganancias notables incluyeron:
    • CIFAR-100 (ResNet-18): +3.27% de precisión lineal.
    • CIFAR-100 (ResNet-50): +4.82% de precisión lineal.
    • STL-10 (ResNet-50): +1.58% de precisión lineal.
    • ViT-Small en Tiny-ImageNet: +3.41% de precisión lineal.
  • k-NN: Se observaron mejoras consistentes en las métricas de recuperación (R@1, R@2, etc.) en todos los conjuntos de datos.
• Benchmark de NLP:
  • Configuración: SimCSE no supervisado utilizando BERT-base-uncased sobre 1M de sentencias de Wikipedia, evaluado en el STS-Benchmark.
  • Resultados: WEINCE alcanzó una correlación de Spearman de 76.36 frente a 71.74 de InfoNCE (+4.63 puntos), demostrando que la corrección del extremo acotado se generaliza más allá de la visión.
• Eficiencia: El método añade una carga computacional insignificante (~0.67% de aumento en el tiempo por paso) e introduce cero parámetros entrenables.

5. Significación y Reivindicaciones

El artículo sostiene que la interpretación estándar de InfoNCE como una simple conveniencia computacional pasa por alto un desajuste estadístico crítico en el tratamiento de los negativos difíciles. Al aplicar la Teoría de Valores Extremos, los autores demuestran que el evento "ganador" en espacios de similitud acotados se modela mejor mediante una distribución de déficit de extremo de Weibull que mediante una distribución de traslación de Gumbel.

La importancia de WEINCE radica en su capacidad para:

• Corregir la Asignación de Gradiente: Al alinear la función de pérdida con la verdadera geometría de la cola de los datos, WEINCE asegura que la masa del gradiente se concentre en los negativos difíciles más informativos cerca del tope de la puntuación, en lugar de diluirse en los negativos fáciles.
• Mejorar la Calidad de la Representación: Las mejoras consistentes en la evaluación de características congeladas sugieren que un tratamiento estadístico más fiel del objetivo contrastivo conduce a representaciones más transferibles.
• Proporcionar un Marco General: El enfoque no se limita a la visión; se aplica a cualquier objetivo contrastivo que utilice similitudes acotadas, como lo demuestran los resultados de NLP.

Los autores mantienen una postura modesta, señalando que el método no requiere cambios arquitectónicos ni ajuste de hiperparámetros y sirve como una mejora directa y eficiente para las canalizaciones (pipelines) existentes de aprendizaje contrastivo. Enfatizan que la corrección es adaptativa, preservando el comportamiento estándar de InfoNCE cuando los datos no presentan una fuerte evidencia del extremo.