📊 statistics

Similarity search generalisation in contrastive learning with InfoNCE loss

Este artículo establece que la pérdida InfoNCE con $k$ muestras negativas aproxima una entropía cruzada esperada que cuantifica la desviación en la búsqueda de similitud e introduce un nuevo límite de continuidad mediante la diferenciación de Gâteaux para demostrar que aumentar el número de muestras negativas estabiliza el error de generalización para funciones de incrustación Lipschitz.

Autores originales: Nick Whiteley

Publicado 2026-07-13

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nick Whiteley

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot lo que significa "similar". Le muestras una imagen de un gato (el ancla) y luego una imagen ligeramente diferente del mismo gato (el positivo). También le muestras un montón de fotos de perros, coches y plátanos (los negativos). El trabajo del robot es aprender un "embedding" especial (un mapa matemático) que acerque las dos fotos del gato y aleje los perros.

La herramienta que el robot utiliza para aprender se llama InfoNCE. Es como un juego donde el robot obtiene una puntuación basada en qué tan bien separa a los gatos del ruido. Pero aquí surge la gran pregunta: si el robot aprende este juego perfectamente con las fotos que le mostraste, ¿será realmente bueno encontrando cosas similares en el mundo real (datos no vistos) que nunca ha visto antes?

Este artículo, escrito por Nick Whiteley, profundiza en esa pregunta. No se limita a decir "funciona"; intenta explicar por qué funciona y cómo cambia el juego el número de fotos de "ruido" (muestras negativas).

La magia de la multitud de "ruido"

En el juego de InfoNCE, normalmente le das al robot unas pocas muestras negativas (quizás 10 o 100). Pero en el mundo real, hay infinitas posibilidades. ¿Qué pasa si le das al robot una multitud masiva de muestras negativas?

El artículo demuestra algo muy específico: A medida que aumentas el número de muestras negativas ( $k$ ), el rendimiento del robot se acerca cada vez más a una búsqueda "ideal" perfecta.

Piénsalo de esta manera:

La Búsqueda Ideal: Imagina a un bibliotecario mágico que sabe exactamente cómo el universo genera pares "positivos" (como el gato y su gemelo). Este bibliotecario puede decirte instantáneamente la similitud perfecta entre cualquier par de cosas.
La Búsqueda del Robot: El robot utiliza su mapa aprendido para adivinar la similitud.
La Conexión: El artículo muestra que la diferencia entre la suposición del robot y la respuesta perfecta del bibliotecario mágico se reduce muy rápido a medida que añades más muestras negativas. Específicamente, el error cae a un ritmo de $O(1/k)$ .

Esto significa que si duplicas el número de muestras negativas, reduces el error a la mitad. Si tienes 1,000 negativos, el error es minúsculo. Este es un hecho matemático probado en el artículo, no solo una suposición. Corrige una idea anterior que sugería que el error podría caer más lento (como $1/\sqrt{k}$ ). El autor demuestra que, con la matemática adecuada, es mucho más rápido: $1/k$ .

La perilla de temperatura

Hay otro personaje en esta historia: el parámetro de temperatura ( $\tau$ ). Imagina esto como una "perilla de enfoque" en el cerebro del robot.

Si la temperatura es baja, el robot es muy exigente. Solo le importan las cosas más similares e ignora el resto.
Si la temperatura es alta, el robot es más relajado y considera un rango más amplio de similitudes.

El artículo demuestra que esta perilla actúa como un regularizador. Si giras la temperatura hacia arriba (la haces alta), el mapa del robot se ve obligado a permanecer más cerca de la distribución promedio de todos los datos, evitando que se vuelva loco o se ajuste demasiado a valores atípicos extraños. El artículo establece explícitamente que cuanto mayor sea la temperatura, más se restringe el comportamiento de búsqueda del robot para estar cerca de la distribución general de los datos, independientemente de cómo esté configurado el robot.

El superpoder del "promedio"

Uno de los hallazgos más emocionantes trata sobre la generalización: qué tan bien se desempeña el robot con datos nuevos y no vistos.

Teorías previas sugerían que añadir más muestras negativas podría hacer que las matemáticas fueran complicadas y difíciles de controlar. Pero este artículo argumenta lo contrario. Introduce una nueva herramienta matemática (usando algo llamado diferenciación de Gâteaux) para demostrar que el efecto de "promedio" de las muestras negativas en la función de pérdida en realidad estabiliza el rendimiento del robot.

Piénsalo como si estuvieras haciendo una encuesta. Si le preguntas a una persona, su opinión puede ser errática. Si le preguntas a 10, es mejor. Si le preguntas a 1,000, la opinión promedio se vuelve muy estable y confiable. El artículo demuestra que la función de pérdida InfoNCE funciona exactamente como esta encuesta. A medida que $k$ crece, el "ruido" de las muestras individuales malas se promedia, y la capacidad del robot para generalizar a nuevos datos se estabiliza.

Lo que el artículo descarta

Es importante notar lo que este artículo dice que no es la respuesta:

Argumenta contra la idea de que la tasa de error cae lentamente (como $1/\sqrt{k}$ ) cuando $k$ se hace grande. El artículo demuestra que cae más rápido ( $1/k$ ).
No se basa en el supuesto de que las muestras "positivas" y "negativas" provienen exactamente de la misma distribución de forma simétrica. El artículo rechaza explícitamente la idea de que necesitemos asumir que las muestras positivas son simplemente extracciones aleatorias del mismo grupo que los negativos. En el mundo real, los pares positivos se crean mediante transformaciones específicas (como recortar una foto), y el artículo maneja esta realidad de "caja negra" sin forzarla a una simetría perfecta.
No afirma que el robot necesite un tipo específico de red neuronal (como una CNN profunda). Los resultados se mantienen para cualquier función de embedding que sea "Lipschitz" (es decir, que no cambie de forma demasiado brusca), lo cual incluye muchos tipos de redes, pero la prueba es general.

¿Qué tan seguros estamos?

Los autores están muy seguros de las mecánicas centrales. Han demostrado matemáticamente (usando cálculo riguroso y teoría de la probabilidad) que:

El error entre la búsqueda del robot y la búsqueda ideal es de $O(1/k)$ .
El error de generalización (qué tan bien funciona con nuevos datos) se estabiliza a medida que $k$ crece debido al efecto de promedio.
El parámetro de temperatura $\tau$ juega un papel específico y predecible en la restricción de la búsqueda.

Ellos no dependen de simulaciones o experimentos para hacer estas afirmaciones; estas se derivan de los primeros principios. Sin embargo, señalan que para redes neuronales muy complejas y profundas, los límites podrían volverse "vacuos" (demasiado amplios para ser útiles) a menos que la red sea muy grande o los datos sean enormes. Sugieren que el trabajo futuro podría combinar su nueva matemática con otras técnicas para manejar mejor esas redes masivas.

El panorama general

En términos simples, este artículo nos dice que la función de pérdida InfoNCE es una herramienta muy robusta. No es solo una heurística que "funciona bien en la práctica". Tiene un fundamento teórico profundo:

Aprende a aproximar una búsqueda de similitud ideal.
Cuantas más muestras negativas le lances, más rápido converge a ese ideal.
El promedio de esas muestras protege naturalmente al modelo contra el sobreajuste, haciéndolo confiable en datos no vistos.

Así que, la próxima vez que veas un sistema utilizando aprendizaje contrastivo para encontrar imágenes o textos similares, recuerda: esencialmente está ejecutando una encuesta masiva y matemáticamente probada sobre "qué es similar", y cuantas más personas (muestras negativas) le pregunte, más precisa será la respuesta.

Resumen Técnico: Generalización de la Búsqueda de Similitud en el Aprendizaje Contrastivo con la Pérdida InfoNCE

Planteamiento del Problema
El aprendizaje contrastivo, particularmente mediante el uso de la pérdida InfoNCE, es una técnica fundamental para entrenar modelos de incrustación (embedding) utilizados en la búsqueda de similitud. Si bien la comprensión teórica de InfoNCE ha avanzado significativamente en el límite de muestras negativas infinitas ( $k \to \infty$ ) —a menudo enmarcada en términos de maximización de la información mutua o el equilibrio entre alineación y uniformidad—, existe una brecha en la comprensión de cómo el régimen de $k$ finito se relaciona con el rendimiento de la generalización de la búsqueda de similitud en datos no vistos. Los análisis de generalización existentes se han centrado mayoritariamente en tareas de clasificación posteriores (downstream), donde los límites dependen explícitamente de $k$ de formas que parecen contradecir las observaciones empíricas que indican que un $k$ grande mejora el rendimiento. Además, se requiere clarificar cómo el comportamiento del riesgo poblacional converge hacia una métrica de búsqueda de similitud idealizada y cómo esta convergencia estabiliza el error de generalización.

Metodología
El artículo adopta un marco de teoría de la medida para analizar la pérdida InfoNCE sin asumir arquitecturas de redes neuronales específicas ni algoritmos de descenso de gradiente. La metodología central consiste en:

Formulación Probabilística: Los datos de entrenamiento se modelan como tuplas i.i.d. compuestas por un ancla, una muestra positiva (generada mediante un núcleo de Markov $M$ ) y $k$ muestras negativas (extraídas de una distribución de datos $\pi_{data}$ ). La función de incrustación $\phi$ mapea las entradas a la esfera unidad $S^{d-1}$ .
Interpretación del Núcleo de Markov: Los autores definen un núcleo de Markov $Q^\phi_\tau$ que representa una búsqueda de similitud softmax sobre la distribución de datos. También definen un contraparte empírica $\hat{Q}^\phi_{\tau, k}$ basada en datos no vistos.
Límites de Continuidad mediante Diferenciación de Gâteaux: Se deriva un nuevo límite de continuidad para la pérdida InfoNCE utilizando la diferenciación de Gâteaux. A diferencia de otros enfoques que dependen de la continuidad de Lipschitz de la pérdida logística (que a menudo recurren a la maximización sobre las muestras negativas), este límite preserva la estructura de promediación inherente a la pérdida InfoNCE. Introduce un parámetro de "temperatura inversa" $\beta$ para ajustar el límite respecto a la temperatura algorítmica $\tau$ .
Análisis de Complejidad de Rademacher: El límite de continuidad derivado se aplica para acotar la complejidad de Rademacher empírica de la pérdida InfoNCE para funciones de incrustación que son Lipschitz en sus parámetros. Esto permite obtener un límite de generalización que rastrea explícitamente el papel de $k$ .

Contribuciones Clave

Tasa de Convergencia del Riesgo Poblacional: El artículo establece que el riesgo poblacional de la pérdida InfoNCE converge a la entropía cruzada entre el núcleo del generador de muestras positivas $M$ y el núcleo de búsqueda softmax $Q^\phi_\tau$ a una tasa de $O(1/k)$ . Esto refina resultados previos que reportaban $O(1/\sqrt{k})$ .
Interpretación de la Generalización de la Búsqueda de Similitud: Se proporciona una nueva interpretación donde se demuestra que el riesgo poblacional está a $O(1/k)$ de la entropía cruzada esperada entre un núcleo softmax empírico (construido a partir de datos no vistos) y un núcleo empírico idealizado que representa la similitud implícita definida por el generador de muestras positivas. Esto enmarca la minimización de InfoNCE como el aprendizaje de un mecanismo de búsqueda de similitud que aproxima la estructura implícita del proceso de generación de datos.
Nuevo Límite de Continuidad: Los autores introducen un límite de continuidad (Proposición 4) que mantiene la estructura de promediación de las muestras negativas. Esto contrasta con los límites estándar de Lipschitz que recurren a la maximización sobre las muestras negativas, una distinción que es crucial para el análisis de generalización subsiguiente.
Estabilización del Error de Generalización: Al aplicar el nuevo límite de continuidad a clases de incrustación Lipschitz, el artículo demuestra que el efecto de promediación de $k$ muestras negativas en la función de pérdida se traduce directamente en la estabilización del error de generalización (complejidad de Rademacher) a medida que $k$ crece. Esto proporciona una justificación teórica para la observación empírica de que aumentar el número de muestras negativas mejora la generalización.

Resultados

Teorema 1 (Límite Combinado): El artículo sintetiza sus hallazgos en un límite de generalización integral. Descompone la diferencia entre la entropía cruzada esperada de la búsqueda de similitud en datos no vistos y el riesgo empírico en tres componentes:
1. Variabilidad de la Muestra: $O(n^{-1/2})$ , independiente de $k$ .
2. Penalización por Complejidad: $O(n^{-1/2})$ , que se estabiliza a medida que $k \to \infty$ debido a la estructura de promediación en el límite.
3. Sesgo de $k$ Finito: $O(1/k)$ , que representa la desviación entre el riesgo poblacional de $k$ finito y la métrica de búsqueda de similitud idealizada.
Sensibilidad de la Temperatura: El análisis destaca que el límite de generalización se vuelve cada vez más sensible a las normas de las muestras negativas a medida que la temperatura $\tau$ se acerca a cero, lo que sugiere que temperaturas más bajas pueden conducir a errores de generalización mayores si las normas de las muestras negativas son grandes.
Independencia de la Dimensión: Los límites derivados para funciones de incrustación en la esfera $S^{d-1}$ no dependen explícitamente de la dimensión de la incrustación $d$ , contrastando con los límites para incrustaciones no restringidas.

Significancia
El artículo afirma proporcionar una comprensión teórica más clara de InfoNCE al desplazar el enfoque de la clasificación posterior hacia su aplicación primaria: la búsqueda de similitud. Al establecer una tasa de convergencia de $O(1/k)$ y demostrar que el promediado sobre las muestras negativas estabiliza el error de generalización, el trabajo ofrece una base teórica para la necesidad práctica de un gran número de muestras negativas en el aprendizaje contrastivo. El nuevo límite de continuidad, derivado mediante la diferenciación de Gâteaux, se presenta como una herramienta técnica que preserva las propiedades estructurales de la pérdida InfoNCE, permitiendo un análisis de generalización más preciso que los métodos anteriores basados en Lipschitz. Los resultados se presentan como agnósticos al algoritmo, aplicables a cualquier función de incrustación obtenida mediante la minimización del riesgo empírico dentro de las clases de funciones especificadas.