🤖 AI

Cluster Contrast for Unsupervised Visual Representation Learning

El artículo presenta Cluster Contrast (CueCo), un nuevo método de aprendizaje de representaciones visuales no supervisado que combina sinérgicamente objetivos de contraste y agrupamiento para dispersar simultáneamente las características disímiles y alinear las similares, logrando un rendimiento de vanguardia en los referentes de CIFAR e ImageNet.

Autores originales: Nikos Giakoumoglou, Tania Stathaki

Publicado 2026-07-30

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikos Giakoumoglou, Tania Stathaki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer animales, pero tienes una montaña de fotos y cero etiquetas. No puedes decirle al robot "esto es un gato" o "esto es un perro". Este es el mundo del aprendizaje no supervisado, una rama de la inteligencia artificial donde las computadoras intentan aprender los patrones del mundo por sí mismas, sin un maestro que les señale las cosas. Para hacer esto, los investigadores utilizan dos trucos principales. El primero es el aprendizaje contrastivo, que es como enseñarle a un niño a notar diferencias: "Esta foto no es esa foto". Esto obliga a la computadora a separar las cosas diferentes en su mente para que no se mezclen. El segundo truco es el agrupamiento (clustering), que es como clasificar una pila desordenada de ropa. La computadora observa todos los calcetines y camisetas e intenta agrupar los que son similares, incluso si aún no sabe cómo se llaman. Durante mucho tiempo, estos dos trucos funcionaron en habitaciones separadas, pero los científicos se preguntaron: ¿qué pasaría si pudiéramos hacer que trabajaran juntos en la misma habitación para crear una comprensión superinteligente de las imágenes?

Entra CueCo (Cluster Contrast), un nuevo método propuesto por los investigadores Nikolaos Giakoumoglou y Tania Stathaki del Imperial College London. Piensa en CueCo como un maestro coreógrafo para una pista de baile abarrotada. En el pasado, los instructores de baile (algoritmos) o bien le decían a todos que se separaran lo más posible (aprendizaje contrastivo) o bien les decían a todos que se amontonaran en grupos apretados (clustering). CueCo hace ambas cosas al mismo tiempo. Utiliza una dinámica de "empuje y atracción", muy parecida a los imanes. Empuja a los diferentes tipos de bailarines (como gatos y perros) para que se mantengan alejados y no colisionen, mientras que simultáneamente atrae a los bailarines del mismo tipo (todos los gatos) hacia un círculo estrecho y acogedor.

Los investigadores construyeron un sistema con dos redes neuronales: una red de "consulta" (query) que aprende y una red de "clave" (key) que se mueve lentamente, como una sombra que sigue al aprendiz. Probaron esto en tres famosos conjuntos de datos de imágenes: CIFAR-10, CIFAR-100 e ImageNet-100. Los resultados fueron impresionantes. Cuando congelaron el aprendizaje y simplemente pidieron a un clasificador simple que clasificara las imágenes, CueCo logró una precisión del 91.40% en CIFAR-10, 68.56% en CIFAR-100 y 78.65% en ImageNet-100. Estos números lo sitúan al nivel de los mejores métodos disponibles actualmente, demostrando que mezclar el "empuje" del contraste con la "atracción" del agrupamiento crea un mapa más organizado y útil del mundo visual.

La magia del empuje y la atracción

Para entender cómo funciona CueCo, imagina que estás organizando una biblioteca masiva donde todos los libros están mezclados y no conoces los títulos. Tienes dos objetivos: asegurar que ningún par de libros diferentes se vean iguales, y asegurar que todas las copias del mismo libro estén apiladas ordenadamente.

El Empuje (Aprendizaje Contrastivo)
Primero, CueCo toma una imagen y crea dos versiones ligeramente diferentes de ella, como tomar una foto de un gato, luego recortarla y girarla un poco. Le dice a la computadora: "Estas dos vistas son el mismo gato". Pero también mira fotos de perros y dice: "Estos son totalmente diferentes". Utilizando una regla matemática llamada pérdida InfoNCE, el sistema actúa como una fuerza repulsiva. Empuja las características del "gato" lejos de las características del "perro" en el espacio de memoria de la computadora. Esto asegura que si vuelves a ver un gato, la computadora no piense accidentalmente que es un perro. Esto separa las diferentes clases, haciéndolas distintas.

La Atracción (Agrupamiento/Clustering)
Pero separar las cosas no es suficiente; también necesitas agrupar las cosas similares. Aquí es donde entra la "atracción". Dado que la computadora no tiene etiquetas reales, adivina qué imágenes van juntas buscando patrones. Crea "clusters" o grupos. CueCo actúa entonces como una fuerza atractiva, atrayendo todas las imágenes del mismo tipo para que se acerquen entre sí en una bola compacta. Utiliza dos herramientas específicas para esto:

Pérdida de Contraste de Centroide (Centroid Contrastive Loss): Esto asegura que cada imagen se alinee con el "centro de gravedad" de su grupo. Es como asegurarse de que cada foto de un gato esté parada justo al lado del imaginario "Centro del Gato".
Pérdida de Varianza (Variance Loss): Esto asegura que el grupo no sea solo una nube suelta, sino una bola apretada y compacta. Minimiza la distancia entre las imágenes y el centro de su grupo, asegurando que los "gatos" estén todos agrupados estrechamente, no dispersos.

La dinámica de la pista de baile
El artículo visualiza esto como fuerzas en la física. La parte contrastiva es una fuerza repulsiva (como dos polos norte de un imán que se empujan), asegurando que las clases diferentes no se fusionen. La parte de agrupamiento es una fuerza atractiva (como polos opuestos que se atraen), asegurando que la misma clase se mantenga compacta. El objetivo es alcanzar un equilibrio perfecto donde el grupo del "gato" esté lejos del grupo del "perro", pero cada uno de los gatos esté de la mano con cada otro gato.

Cómo lo hicieron

Los investigadores no solo adivinaron; construyeron un marco específico. Utilizaron una estructura de base ResNet-18, que es una estructura estándar y fiable para el reconocimiento de imágenes. Lo entrenaron en tres conjuntos de datos:

CIFAR-10: 10 tipos de imágenes pequeñas.
CIFAR-100: 100 tipos de imágenes pequeñas.
ImageNet-100: Un subconjunto de 100 tipos de un conjunto de datos mucho más grande y complejo.

Utilizaron un truco ingenioso llamado codificador de momento (momentum encoder). Imagina que la red de "consulta" es un estudiante que aprende rápido, y la red de "clave" es un profesor que se actualiza lentamente. El profesor es simplemente un promedio suave y lento del estudiante. Esto evita que el sistema se confunda por cambios repentinos y ayuda a mantener estables los "grupos" (clusters) a lo largo del tiempo.

Para asegurarse de que los grupos no se quedaran estancados en un mal patrón (como poner todas las imágenes en una sola pila gigante), utilizaron una "cola" de imágenes para calcular los centros de los grupos. También reiniciaban estos grupos cada 1,000 pasos para mantener las cosas frescas y equilibradas.

Los resultados: ¿Funciona?

El equipo probó su método viendo qué tan bien podía la computadora clasificar imágenes sin ayuda. Compararon CueCo contra otros métodos de alto nivel como MoCo-v2, SimCLR y BYOL.

En CIFAR-10, CueCo alcanzó un 91.40% de precisión. Esto es muy cercano a los mejores exponentes, mostrando que puede manejar tareas simples bien.
En CIFAR-100, alcanzó un 68.56%.
En ImageNet-100, logró un 78.65%.

Pero la verdadera magia ocurrió en la clasificación de imágenes no supervisada. Normalmente, cuando las computadoras solo agrupan cosas sin etiquetas, hacen un trabajo mediocre. Sin embargo, CueCo demostró que podía agrupar imágenes mucho mejor que los demás. En CIFAR-10, logró una precisión de agrupación del 75.06%, superando las versiones reimplementadas de MoCo-v2 (63.51%) y SimCLR (74.50%). En CIFAR-100, obtuvo un 33.82%, superando nuevamente a la competencia.

Los investigadores también realizaron un "estudio de ablación", que es como desarmar una máquina para ver qué parte hace qué. Encontraron que:

Usar solo el "empuje" (pérdida contrastiva) daba una buena base.
Añadir la "atracción" (pérdida de centroide) mejoraba el agrupamiento.
Añadir la "densidad" (pérdida de varianza) hacía que los resultados fueran aún mejores.

Esto demostró que las tres partes de su sistema de "empuje y atracción" son necesarias para obtener los mejores resultados.

Por qué esto es importante

El artículo sugiere que, al combinar estas dos fuerzas, podemos crear representaciones visuales que sean tanto distintas (fáciles de diferenciar) como organizadas (fáciles de agrupar). Esto es algo importante porque significa que podríamos no necesitar tantos ejemplos etiquetados por humanos para enseñar a las computadoras cómo ver. El método no pretende haber resuelto el problema de la IA por completo, pero ofrece una nueva y prometedora dirección. Demuestra que un poco de "empuje" y un poco de "atracción" pueden ayudar a una computadora a comprender el mundo de una manera que es a la vez amplia y detallada, todo sin un solo maestro humano diciendo: "Eso es un gato".

Resumen Técnico: Contraste de Clústeres para el Aprendizaje de Representaciones Visuales No Supervisado

Planteamiento del Problema
El aprendizaje de representaciones visuales no supervisado busca extraer características significativas de datos no etiquetados, reduciendo la brecha de rendimiento con las técnicas supervisadas. Si bien el aprendizaje contrastivo ha logrado resultados de vanguardia al tratar cada imagen y sus aumentos como clases distintas (centrándose en la invarianza intra-imagen), este principalmente dispersa las características para asegurar la separación inter-clase. Por el contrario, los métodos basados en agrupamiento (clustering) exploran las similitudes entre diferentes imágenes para formar grupos, pero a menudo sufren de retrasos en las señales de supervisión o asignaciones de clúster estáticas que no logran adaptarse a las características de los datos en evolución durante el entrenamiento. El desafío radica en combinar eficazmente el poder discriminativo del aprendizaje contrastivo con las capacidades de cohesión de agrupación del clustering para refinar las representaciones de características sin anotaciones manuales.

Metodología: Contraste de Clústeres (CueCo)
Los autores proponen Cluster Contrast (CueCo), un marco de auto-supervisión que integra el aprendizaje contrastivo y el agrupamiento del espacio de características a través de una dinámica de "empuje-atracción" (push-pull). La arquitectura utiliza dos redes neuronales: un codificador de consulta ( $f_\theta$ ) y un codificador de clave ( $f_\xi$ ), donde el codificador de clave se actualiza mediante un promedio de movimiento lento de los parámetros del codificador de consulta.

El marco optimiza el espacio de características utilizando tres componentes de pérdida distintos:

Pérdida Contrastiva ( $L_1$ ): Basada en el criterio InfoNCE, este componente actúa como una "fuerza repulsiva". Une pares positivos (vistas aumentadas de la misma imagen) y separa muestras negativas (vistas de diferentes imágenes). Esto asegura que las clases distintas estén bien separadas en el espacio de características.
Pérdida de Contraste de Centroide ( $L_2$ ): Este componente actúa como una "fuerza atractiva" a nivel de clúster. Después de asignar las características a pseudo-clústeres (mediante K-means en una cola), esta pérdida alinea las características con su centroide de clúster asignado mientras las aleja de otros centroides. Esto refina la granularidad de las representaciones.
Pérdida de Varianza ( $L_3$ ): Este objetivo minimiza la distancia euclidiana al cuadrado entre las características y sus centroides de clúster, escalada por la varianza del clúster. Asegura que las características no solo se alineen con los centroides, sino que también se ajusten a la distribución general del clúster, promoviendo la compacidad y uniformidad intra-clase.

Mecanismo de Agrupamiento Online
Para abordar la ineficiencia computacional y la naturaleza estática del agrupamiento offline (por ejemplo, ejecutar K-means al final de cada época), CueCo emplea un esquema de agrupación de momento online. En lugar de re-agrupar todo el conjunto de datos, el método mantiene una cola de características. Los centroides de los clústeres ( $c_i$ ) y las varianzas ( $\sigma^2_i$ ) se actualizan continuamente en cada iteración utilizando un enfoque basado en el momento (similar a la actualización del codificador de clave). Esto permite que la estructura de agrupación se adapte dinámicamente a las características visuales más recientes de los datos, facilitando una propagación de gradiente estable.

La función de objetivo final es una suma ponderada de estas pérdidas:
$L = \lambda_1 \cdot L_1 + \lambda_2 \cdot L_2 + \lambda_3 \cdot L_3$

Contribuciones Clave
El artículo describe tres contribuciones principales:

Nuevo Marco de Mecanismo Dual: Introducción de CueCo, que aprovecha la dinámica de "empuje-atracción" para optimizar simultáneamente la separación inter-clase (mediante la pérdida contrastiva) y la cohesión intra-clase (mediante las pérdidas de agrupamiento del espacio de características).
Análisis Teórico: Un análisis exhaustivo que demuestra cómo la integración de la pérdida contrastiva con el agrupamiento del espacio de características mejora de manera cohesiva la representación de características.
Desempeño Empírico: Demostración de un desempeño de vanguardia en bancos de pruebas estándar, validando la efectividad del método propuesto.

Resultos Experimentales
Los autores evaluaron CueCo utilizando una arquitectura ResNet-18 con protocolos de evaluación lineal y tareas de clasificación de imágenes no supervisadas en CIFAR-10, CIFAR-100 e ImageNet-100.

Evaluación Lineal (Precisión Top-1):
- CIFAR-10: 91.40%
- CIFAR-100: 68.56%
- ImageNet-100: 78.65%
  Estos resultados son competitivos con otros métodos de vanguardia como MoCo-v3, BYOL y DINO, como se muestra en la Tabla 1 del artículo.
Métricas de Agrupamiento No Supervisado:
En CIFAR-10 y CIFAR-100, CueCo superó a las versiones re-implementadas de MoCo-v2 y SimCLR en todas las métricas estándar: Información Mutua Normalizada (NMI), Información Mutua Ajustada (AMI), Índice de Rand Ajustado (ARI) y Precisión de Agrupamiento (ACC). Por ejemplo, en CIFAR-10, CueCo logró una precisión de agrupación del 75.06% en comparación con el 74.50% de SimCLR.
Estudios de Ablación:
Los experimentos en CIFAR-100 confirmaron que, si bien la pérdida contrastiva por sí sola proporciona una base sólida, la adición de la pérdida de contraste de centroide mejora las métricas de agrupación, y la inclusión de la pérdida de varianza mejora aún más tanto la evaluación lineal como el desempeño de la clasificación no supervisada.

Significancia y Reivindicaciones
El artículo afirma que CueCo establece una nueva dirección para avanzar en el aprendizaje de representaciones visuales no supervisado al integrar con éxito las fortalezas del aprendizaje contrastivo y el agrupamiento. Al equilibrar las fuerzas "repulsivas" del aprendizaje contrastivo con las fuerzas "atractivas" del agrupamiento, el método produce representaciones más discriminativas con una estructura de clase mejorada sin requerir datos etiquetados. Los autores enfatizan que este enfoque efectivamente dispersa y alinea las representaciones de características simultáneamente, lo que conduce a modelos robustos que sobresalen particularmente en las métricas de clasificación de imágenes no supervisadas.

La magia del empuje y la atracción

Cómo lo hicieron

Los resultados: ¿Funciona?

Por qué esto es importante

Más como este