🤖 machine learning

On the Importance of Embedding Norms in Self-Supervised Learning

Este artículo resuelve la aparente contradicción respecto al papel de las normas de incrustación en el aprendizaje autosupervisado mediante la demostración, a través de análisis teóricos y experimentales, de que estas normas, a pesar de la prevalencia de la similitud de coseno, gobiernan críticamente las tasas de convergencia y codifican la confianza de la red, donde las normas más pequeñas indican muestras inesperadas.

Autores originales: Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

Publicado 2026-06-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La visión general: El problema de la "bola con picos"

Imagina que estás enseñando a una computadora a reconocer imágenes (como gatos y perros) sin mostrarle ninguna etiqueta. Esto se llama Aprendizaje Auto-supervisado (SSL).

Para hacer esto, la computadora convierte cada imagen en un punto matemático en un espacio gigante de múltiples dimensiones. Para que las matemáticas funcionen, la computadora normalmente obliga a que todos estos puntos se asienten en la superficie de una bola perfecta y suave (un hiperesfera). Lo hace midiendo qué tan similares son dos puntos basándose en su dirección (como comprobar si dos flechas apuntan en la misma dirección), ignorando qué tan largas son las flechas.

El descubrimiento del artículo:
Los autores descubrieron que, aunque se supone que la computadora debe ignorar la longitud de estas flechas (la "norma de la incrustación" o embedding norm), la longitud en realidad importa mucho. De hecho, el proceso de entrenamiento hace que las flechas de las imágenes comunes y fáciles de reconocer crezcan mucho, mientras que las flechas de las imágenes raras o confusas se mantienen cortas.

Esto convierte la "bola perfecta y suave" de la computadora en una bola con picos. Los picos son las flechas largas para los datos familiares, y las áreas planas son las flechas cortas para los datos no familiares.

Las dos reglas principales del artículo

El artículo explica dos cosas principales sobre estas "longitudes de las flechas" (normas):

1. El efecto de la "mochila pesada" (Velocidad de convergencia)

La analogía: Imagina que estás intentando caminar hacia un destino (aprendiendo la respuesta correcta). Si llevas una mochila pesada (una flecha larga/norma), te mueves mucho más lento. Si eres ligero (una flecha corta), puedes correr.

Lo que dice el artículo:
Las matemáticas muestran que cuanto más larga es la flecha, más lento aprende la computadora. Específicamente, la velocidad de aprendizaje cae por el cuadrado de la longitud de la flecha.

La paradoja (Catch-22): Para aprender, la computadora necesita empujar las flechas para juntarlas. Pero el acto de empujarlas para juntarlas hace que las flechas crezcan naturalmente.
El resultado: La computadora entra en un bucle donde intenta aprender, pero su propio aprendizaje hace que la "mochila" sea más pesada, ralentizándola.

2. El "medidor de confianza" (Confianza de la red)

La analogía: Piensa en la longitud de la flecha como un control de volumen para la confianza.

Fuerte (Flecha larga): La computadora está muy segura de esta imagen. Ve este tipo de gato a menudo, así que tiene una señal fuerte y larga para él.
Suave (Flecha corta): La computadora no está segura. Puede ser un ángulo extraño de un gato, o una imagen de un perro que parece un gato. La señal es débil y corta.

Lo que dice el artículo:
La longitud de la flecha codifica naturalmente qué tan segura está el modelo.

Datos comunes: Si una imagen se parece a los datos de entrenamiento, la flecha se vuelve larga (Alta Confianza).
Datos extraños: Si una imagen es totalmente nueva o rara (Fuera de la Distribución / Out-of-Distribution), la flecha se mantiene corta (Baja Confianza).
Datos desequilibrados: Si la computadora ve "Gatos" 1,000 veces y "Perros" solo 10 veces, las flechas de los "Gatos" crecerán enormes y las de los "Perros" se quedarán diminutas. Esto hace que la computadora sea sesgada e inestable.

Las soluciones: Cómo arreglar la bola con picos

Los autores probaron tres formas de evitar que las flechas crezcan descontroladamente y de arreglar la velocidad de aprendizaje.

1. El "Decaimiento de pesos" (La atadura)

Qué es: Una herramienta estándar en el aprendizaje automático que tira suavemente de los pesos hacia cero.
El hallazgo del artículo: Ayuda a mantener las flechas de modo que no sean demasiado largas, pero es una solución lenta y gradual. Si tiras demasiado fuerte, la computadora olvida todo (la bola colapsa). Si no tiras lo suficiente, las flechas se vuelven demasiado largas y el aprendizaje se ralentiza.

2. La "Inicialización por corte" (La línea de salida)

Qué es: Antes de que comience el entrenamiento, los autores toman todos los números internos de la computadora y los dividen por una constante (como 3 o 9).
La analogía: Imagina empezar una carrera con todos usando botas pesadas. En su lugar, los haces empezar descalzos.
El hallazgo del artículo: Esto es una gran victoria. Al empezar con flechas cortas, la computadora aprende mucho más rápido. Evita el problema de la "mochila pesada" desde el primer paso. Funciona especialmente bien para modelos que no utilizan ejemplos "negativos" (modelos no contrastivos como SimSiam).

3. El "GradScale" (El control de volumen)

Qué es: Una capa especial que cambia cómo aprende la computadora. Observa la longitud de la flecha y ajusta el paso de aprendizaje.
La analogía: Si la flecha es larga (mochila pesada), la computadora da un paso diminuto. Si la flecha es corta, da un paso grande.
El hallazgo del artículo: Esto cancela por completo el efecto de la "mochila pesada". Hace que la velocidad de aprendizaje sea constante independientemente de qué tan larga sea la flecha. Sin embargo, el artículo señala que esto puede ser difícil de ajustar y a veces hace que la computadora se confunda si los datos son demasiado desordenados.

Resumen de resultados

El problema: Los modelos de SSL crean naturalmente representaciones "con picos" donde los datos comunes tienen flechas largas y los datos raros tienen flechas cortas. Esto ralentiza el aprendizaje y crea sesgos.
La buena noticia: ¡La longitud de la flecha es en realidad una señal útil! Te dice qué tan segura está la computadora.
La solución: Puedes arreglar los problemas de velocidad y estabilidad:
1. Empezando con números más pequeños (Inicialización por corte).
2. Usando una capa especial para ajustar los pasos de aprendizaje según la longitud de la flecha (GradScale).
3. Ajustando cuidadosamente cuánto tiras de los pesos hacia atrás (Decaimiento de pesos).

El artículo concluye que no debemos mirar solo la dirección de los puntos de datos; también debemos gestionar su longitud para que el aprendizaje auto-supervisado sea más rápido y confiable.

Resumen Técnico: Sobre la Importancia de las Normas de Incrustación en el Aprendizaje Auto-supervisado

Planteamiento del Problema

El aprendizaje auto-supervisado (SSL, por sus siglas en inglés) se ha convertido en un paradigma dominante para el aprendizaje de representaciones de datos sin señales supervisadas, particularmente a través de métodos como SimCLR, MoCo, SimSiam y BYOL. Estos métodos dependen típicamente de la optimización de la similitud de coseno entre los vectores de incrustación (embeddings), restringiendo efectivamente la dinámica de aprendizaje a una hiperesfera. En consecuencia, los análisis teóricos se han centrado mayoritariamente en la distribución de los puntos en esta hiperesfera, asumiendo a menudo que las normas de las incrustaciones (la magnitud de los vectores antes de la normalización) son irrelevantes o simplemente un subproducto de la normalización $L_2$ .

Sin embargo, las observaciones empíricas sugieren que las normas de las incrustaciones contienen información significativa relacionada con la convergencia de la red y la confianza. Trabajos previos señalaron que las normas escalan inversamente los gradientes bajo la pérdida de similitud de coseno e indican que se correlacionan con la certeza del modelo, pero faltaba una comprensión teórica y empírica sistemática de esta relación. Este artículo aborda la aparente contradicción: si bien el SSL optimiza la dirección (similitud de coseno), la magnitud de los vectores de incrustación desempeña un papel crítico, y a menudo perjudicial, en la dinámica de entrenamiento.

Metodología

Los autores emplean una combinación de análisis teórico, simulaciones controladas y extensos experimentos empíricos para investigar el papel de las normas de las incrustaciones en el SSL.

Análisis Teórico:
- El artículo deriva los gradientes del término atractivo ( $L^A_{ij}$ ) y de la pérdida InfoNCE con respecto a un vector de incrustación $z_i$ .
- Demuestra que los gradientes para las pérdidas basadas en similitud de coseno son ortogonales al propio vector de incrustación.
- Utilizando estas propiedades, los autores demuestran que aplicar pasos de descenso de gradiente para maximizar la similitud de coseno aumenta inevitablemente la magnitud (norma) de los vectores de incrustación.
- Se establecen límites teóricos que muestran que el cambio en la similitud de coseno por cada paso de gradiente es inversamente proporcional al cuadrado de la norma de la incrustación ( $\rho^2$ ). Esto implica que, a medida que las normas crecen, la tasa de aprendizaje efectiva disminuye cuadráticamente, ralentizando la convergencia.
Simulaciones:
- Convergencia Idealizada: Los autores simulan el descenso de gradiente en pares de puntos en una hiperesfera para verificar que las normas iniciales de las incrustaciones más grandes conducen a una convergencia significativamente más lenta, confirmando la ralentización cuadrática predicha por la teoría.
- Dinámica de Clases Latentes: Utilizando un conjunto de datos sintético generado a partir de clases latentes, el estudio simula el entrenamiento de SSL para observar cómo evolucionan las normas de las incrustaciones. Encuentran que las incrustaciones en regiones densas del espacio latente (muestras observadas frecuentemente) desarrollan normas más grandes que aquellas en regiones dispersas.
Experimentos Empíricos:
- Correlación de Confianza: Experimentos en CIFAR-10, CIFAR-100 e ImageNet-100 demuestran que las normas de las incrustaciones se correlacionan con la confianza del modelo. Las muestras con mayores normas tienen más probabilidades de estar dentro de la distribución (in-distribution), ser clasificadas correctamente por un clasificador kNN y estar asociadas con una alta concordancia de los etiquetadores humanos (baja entropía). Por el contrario, las muestras fuera de la distribución (OOD) exhiben normas significativamente menores.
- Estrategias de Intervención: El artículo evalúa tres mecanismos para mitigar el "efecto de la norma de la incrustación" (la tendencia de las normas a crecer y ralentizar el entrenamiento):
  - Decaimiento de Pesos (Weight Decay): Regularización estándar que penaliza los pesos grandes, controlando indirectamente el crecimiento de las inclexiones.
  - Inicialización de Corte (Cut-Initialization): Una estrategia de inicialización novedosa donde los pesos de la red se dividen por una constante $c$ al inicio del entrenamiento para asegurar normas de incrustación iniciales pequeñas, las cuales son mantenidas por el decaimiento de pesos.
  - Capa GradScale: Una función personalizada de autograd de PyTorch que reescala el gradiente por la norma de la incrustación elevada a la potencia $p$ . Establecer $p=1$ cancela el efecto de escalado inverso de la norma sobre el gradiente, normalizando efectivamente la tasa de aprendizaje por muestra.

Contribuciones Clave y Resultados

1. El Efecto de la Norma de la Incrustación y la Convergencia

El artículo establece que la optimización de la similitud de coseno crea un "círculo vicioso": se requieren normas de incrustación pequeñas para una convergencia rápida (para evitar gradientes evanescentes), pero el proceso de optimización mismo impulsa estas normas a crecer.

Resultado: Los límites teóricos y las simulaciones confirman que las normas de las incrustaciones imponen una ralentización cuadrática en la convergencia del SSL.
Resultado: El decaimiento de pesos puede mitigar esto, pero un decaimiento excesivo conduce al colapso de la representación, mientras que un decaimiento insuficiente permite que las normas crezcan sin control, ralentizando el entrenamiento.

2. Las Normas de Incrustación como Métricas de Confianza

Los autores demuestran que las normas de las incrustaciones codifican naturalmente la confianza de un modelo en la representación aprendida.

Resultado: Las normas de incrustación altas corresponden a muestras prototípicas y frecuentes, y a una alta precisión de clasificación.
Resultado: Las normas de incrustación bajas corresponden a muestras raras, datos fuera de la distribución y muestras con alto desacuerdo de los etiquetadores humanos (alta entropía).
Resultado: Este fenómeno se mantiene tanto en métodos de contraste (SimCLR) como no de contraste (SimSiam), lo que sugiere que es una propiedad intrínseca de la optimización basada en la similitud de coseno.

3. Estrategias de Mitigación y Ganancias de Rendimiento

El artículo propone y valida métodos para gestionar las normas de las incrustaciones, mostrando mejoras significativas en la eficiencia del entrenamiento y la precisión final.

Inicialización de Corte (Cut-Initialization): Al combinar la inicialización de corte con el decaimiento de pesos estándar, se acelera la convergencia y se mejora la precisión final de kNN. Por ejemplo, en CIFAR-100, SimCLR con inicialización de corte ( $c=3$ ) mejoró la precisión en aproximadamente un 1-2% sobre el valor por defecto, mientras que SimSiam experimentó ganancias de aproximadamente un 10% en ImageNet-100.
GradScale: Este método, que cancela explícitamente el escalado de gradiente dependiente de la norma, proporciona mejoras adicionales, particularmente en entornos de clases desbalanceadas donde la varianza en las normas de las incrustaciones puede desestabilizar el entrenamiento.
Datos Desbalanceados: El efecto de la norma de la incrustación es particularmente perjudicial en conjuntos de datos con desequilibrio de clases. Las intervenciones propuestas (Inicialización de Corte y GradScale) logran mejoras de dos dígitos en precisión en estos escenarios (por ejemplo, mejorando SimSiam en CIFAR-100 desbalanceado del 21.6% al 31.5%).
Robustez: Estos beneficios persisten incluso cuando se utilizan optimizadores adaptativos como Adam.

Significado y Reivindicaciones

El artículo afirma resolver un vacío en la literatura al proporcionar el primer análisis exhaustivo de cómo las normas de las incrustaciones interactúan con la dinámica de entrenamiento de SSL. Los autores argumentan que las normas de las incrustaciones no son meramente un subproducto de la normalización, sino que son integrales para comprender y optimizar el comportamiento de la red.

Perspectiva Teórica: El trabajo clarifica el "efecto de la norma de la incrustación", mostrando que es una consecuencia inevitable de la optimización basada en la similitud de coseno que ralentiza la convergencia de forma cuadrática.
Utilidad Práctica: Los hallazgos sugieren que gestionar las normas de las incrustaciones es esencial para un entrenamiento de SSL efectivo, especialmente en entornos no de contraste y escenarios de datos desbalanceados. Los mecanismos propuestos ("Cut-Initialization" y "GradScale") ofrecen formas simples y con principios para mejorar la estabilidad y el rendimiento del entrenamiento.
Interpretabilidad: El artículo postula que las normas de las incrustaciones sirven como una medida natural e intrínseca de la confianza del modelo y la novedad de la muestra, ofreciendo una nueva lente para analizar las representaciones de SSL sin requerir señales supervisadas adicionales.

Los autores concluyen que, si bien el efecto de la norma de la incrustación presenta desafíos, también ofrece oportunidades, como utilizar las normas para guiar el entrenamiento en entradas no vistas o para identificar ejemplos prototípicos. Señalan que las arquitecturas no contrastivas parecen ser más sensibles a estos efectos, lo que plantea interrogantes para trabajos futuros respecto al diseño arquitectónico y el potencial beneficio del efecto en contextos específicos de transferencia de aprendizaje.