🤖 machine learning

Three Necessary Principles for Self-Supervised Visual Representation Learning

Este artículo sostiene que el aprendizaje efectivo de representaciones visuales autosupervisadas requiere la integración simultánea de tres principios no superpuestos —invariancia semántica (observación), predicción espacial a nivel de parche y no degeneración representacional (regularización)— para prevenir el colapso del modelo y unificar los principales métodos bajo un único marco de descomposición de energía.

Autores originales: Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki

Publicado 2026-08-11

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nikos Giakoumoglou, Paschalis Giakoumoglou, Tania Stathaki

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un robot a entender el mundo, pero tienes una regla estricta: no puedes mostrarle ninguna etiqueta. No puedes decir: "Esto es un gato" o "Eso es un coche". Este campo de estudio se llama aprendizaje autosupervisado (self-supervised learning). El robot tiene que aprender mirando imágenes del mundo y descubriendo patrones por su cuenta, sin que un maestro le diga qué es cada cosa.

Para hacer esto, el robot necesita construir un mapa mental, o una "representación", de lo que ve. Piensa en esto como una biblioteca. Si el robot solo memoriza cada píxel de cada foto, la biblioteca será un caos de polvo y papel. Pero si aprende a agrupar las cosas por significado —poniendo todos los "gatos" en un estante y todos los "coches" en otro—, habrá aprendido una representación útil. La gran pregunta que los científicos se han estado haciendo es: ¿Cuál es el conjunto mínimo absoluto de reglas que el robot necesita seguir para construir esta biblioteca correctamente sin confundirse o rendirse?

Durante mucho tiempo, los investigadores probaron diferentes trucos. Algunos le dijeron al robot que mirara dos fotos diferentes de la misma cosa y se asegurara de que se parecieran (como reconocer un gato ya sea durmiendo o jugando). Otros le dijeron que mirara una parte de una foto y adivinara cómo se ve la parte que falta (como un rompecabezas). Pero a menudo, el robot se quedaba atascado. Aprendía un "atajo" donde simplemente emitía la misma respuesta aburrida para cada foto, diciendo efectivamente: "No me importa, todo es lo mismo". Esto se llama colapso (collapse), y es el mayor modo de fallo en este campo. El artículo que estás a punto de leer profundiza en por qué ocurren estos fallos y propone un nuevo libro de reglas de tres partes para evitarlo.

La receta de tres ingredientes para un robot inteligente

Los autores de este artículo, Nikos, Paschalis y Tania, argumentan que para enseñar a un robot a ver sin etiquetas, no puedes confiar solo en uno o dos trucos. Necesitas tres ingredientes distintos trabajando juntos. Si dejas uno fuera, el cerebro del robot se romperá, se volverá demasiado simple o perderá su sentido del espacio. Ellos llaman a estos tres principios Observación, Predicción y Regularización.

Piensa en entrenar a un robot como entrenar a un detective para resolver un misterio.

1. Observación: La regla de "la misma cosa"

El primer principio es la Observación. Esto consiste en enseñar al robot que dos fotos diferentes del mismo objeto son en realidad la misma cosa. Si tomas una foto de un perro por la mañana y otra por la tarde, el robot debe darse cuenta: "¡Hey, ese es el mismo perro!".

En el lenguaje del artículo, esto trata sobre la invarianza semántica. Imagina que miras a un amigo a través de un caleidoscopio. Los colores cambian, las formas se retuercen, pero sigues sabiendo que es tu amigo. El robot necesita un "Proyector" (una herramienta en su cerebro) que elimine las torsiones confusas y se concentre en la identidad central. Si solo tienes esta regla, el robot se vuelve bueno reconociendo qué son las cosas, pero olvida dónde están. Es como saber que un perro es un perro, pero no tener idea de si el perro está sentado a la izquierda o a la derecha de la habitación.

2. Predicción: El juego de la "pieza faltante"

El segundo principio es la Predicción. Esto trata sobre la estructura espacial. Imagina que cubres parte de una foto con una caja negra. El robot tiene que adivinar qué hay dentro de esa caja basándose en el resto de la imagen.

Este es el Principio de Predicción. Obliga al robot a entender cómo encajan las cosas en el espacio. Si solo tienes esta regla, el robot se convierte en un gran solucionador de rompecabezas para una sola imagen, pero se confunde si le muestras el mismo objeto desde un ángulo diferente. Podría pensar que un gato visto de lado es una criatura completamente distinta a un gato visto de frente. Aprende el "mapo" de una foto específica, pero no aprende que el mapa permanece igual aunque gires la foto.

3. Regularización: La regla "anti-trampa"

El tercer principio es la Regularización. Esta es la parte más crítica para evitar que el robot utilice atajos. ¿Recuerdas al "robot que se queda atascado" que simplemente emite la misma respuesta para todo? Eso se llama colapso.

Los autores demuestran que sin una regla específica para detener esto, el robot encontrará la manera de usar un atajo. Imagina a un estudiante haciendo un examen que se da cuenta de que, si escribe "42" para todas las respuestas, obtiene una puntuación perfecta porque la clave de corrección del profesor está rota. El robot hace lo mismo: encuentra un atajo donde deja de aprender y simplemente emite un número constante.

El Principio de Regularización es como un supervisor estricto que revisa el trabajo del estudiante para asegurarse de que no esté simplemente repitiendo la misma respuesta. Obliga a la "biblioteca" interna del robot a ser llena y diversa. Asegura que el robot use toda su capacidad cerebral y no colapse en una línea plana y aburrida. El artículo muestra que si intentas usar "ejemplos negativos" (mostrarle al robot qué no debe coincidir) para detener este atajo, es como intentar detener una fuga con una tirita; ayuda un poco, pero eventualmente el robot encontrará la forma de rodearlo. Necesitas una regla fuerte y explícita (una restricción geométrica) para detener realmente el colapso.

El gran descubrimiento: Necesitas los tres

Los autores no solo lo supusieron; construyeron un marco matemático (una "descomposición de energía") que combina estas tres reglas en una sola ecuación. Luego realizaron experimentos para ver qué sucede cuando eliminan un ingrediente a la vez.

Esto es lo que encontraron:

Si dejas caer la Observación: El robot pierde su capacidad de reconocer que el mismo objeto se ve diferente bajo distintas luces o ángulos. Se convierte en un genio espacial pero en un idiota semántico.
Si dejas caer la Predicción: El robot pierde su sentido del espacio. Sabe qué son las cosas, pero no puede decirte dónde están o cómo se relacionan entre sí. En sus pruebas, el robot fue mucho peor encontrando parches específicos de una imagen (como encontrar una hoja específica en un árbol).
Si dejas caer la Regularización: El robot colapsa. Deja de aprender por completo. Los autores demostraron matemáticamente que sin esta regla, el robot puede lograr una puntuación "perfecta" simplemente emitiendo el mismo número aburrido para cada imagen. Es un fallo global.

También observaron un truco popular utilizado en muchos modelos de IA modernos llamado Codificador de Momento (Momentum Encoder). Esta es una técnica donde el robot utiliza una versión de sí mismo que "se mueve lentamente" para ayudar a aprender. Los autores demostraron que, si bien este truco ayuda al robot a aprender más rápido al principio, no evita realmente que el robot colapse a largo plazo. Una vez que el robot se asienta, el codificador de momento simplemente copia lo que el robot principal está haciendo. Si el robot principal está colapsado, el de momento también lo estará. Lo único que garantiza verdaderamente que el robot se mantiera inteligente es esa regla explícita de Regularización.

Por qué esto es importante

El artículo unifica casi todos los métodos importantes de aprendizaje autosupervisado. Ya sea que un método se llame "Contrastivo" (como SimCLR) o "Predictivo" (como JEPA), los autores muestran que todos son solo diferentes formas de mezclar estos tres ingredientes. Algunos métodos mezclan Observación y Regularización pero saltan la Predicción. Otros mezclan Predicción y Regularización pero saltan la Observación.

Los experimentos de los autores, realizados en un pequeño conjunto de datos llamado STL-10 con un modelo llamado ViT-Tiny, mostraron que cuando combinas los tres, obtienes los mejores resultados. Específicamente, el modelo que tenía los tres principios alcanzó una precisión del 55.0% en una prueba estándar, mientras que los modelos que carecían de un principio cayeron significativamente (por ejemplo, faltar la Observación redujo la precisión en 13.4 puntos).

También demostraron que estas tres reglas no luchan entre sí. La regla de "Observación" envía una señal uniforme a través de toda la imagen, mientras que la regla de "Predicción" envía una señal específica solo a las partes de la imagen que se están adivinando. Trabajan como un equipo, no como un tira y afloja.

La conclusión

El mensaje principal es simple pero poderoso: no puedes construir una IA visual robusta e inteligente confiando solo en un tipo de truco. Necesitas un sistema que observe la similitud, prediga las partes faltantes y esté estrictamente regularizado para evitar atajos.

Los autores sugieren que los futuros diseñadores de IA dejen de intentar inventar trucos complejos y ocultos para detener el colapso de sus modelos. En su lugar, deben construir explícitamente estos tres principios en sus sistemas. Es como construir una casa: necesitas una base (Regularización), paredes (Observación) y un techo (Predicción). Si dejas fuera la base, todo se cae. Si dejas fuera el techo, el interior se moja. Y si dejas fuera las paredes, no tienes una casa.

Este artículo no pretende haber construido la IA más grande o rápida de la historia. En cambio, proporciona un mapa matemático claro de por qué la IA funciona de la manera en que lo hace, demostrando que estos tres principios no son solo sugerencias útiles, sino condiciones absolutamente necesarias para que un robot aprenda a ver el mundo sin un maestro.

Resumen Técnico: Tres Principios Necesarios para el Aprendizaje de Representaciones Visuales Auto-supervisado

Planteamiento del Problema

El aprendizaje auto-supervisado (SSL, por sus siglas en inglés) para el aprendizaje de representaciones visuales está actualmente fragmentado en familias distintas de métodos, principalmente enfoques basados en la invariancia (ej. SimCLR, BYOL) y Arquitecturas de Predicción de Embebidos Conjuntos (JEPAs) (ej. I-JEPA). Aunque ambos buscan aprender funciones de compatibilidad sobre pares de observaciones, sufren de un modo de fallo común: el colapso representacional, donde el codificador mapea todas las entradas a una constante o a un subespacio de baja dimensión.

Los métodos existentes abordan el colapso mediante diversos mecanismos —minería de negativos, dinámica asimétrica (codificadores de momentum) o regularización estadística— pero estos suelen confundirse con el objetivo de aprendizaje primario. El artículo argumenta que el campo carece de un marco teórico unificado que separe explícitamente los componentes necesarios de una señal de entrenamiento completa. Específicamente, no está claro si los métodos actuales satisfacen todas las condiciones necesarias o si los mecanismos implícitos (como los codificadores de momentum) proporcionan garantías genuinas contra el colapso en la convergencia.

Metodología: La Descomposición de Energía Unificada

Los autores proponen un marco unificado de Modelos de Energía Basados en la Energía (EBM, por sus siglas en inglés) donde la energía total de entrenamiento $F_w(x, y)$ se descompone en tres términos no superpuestos:

$F_w(x, y) = \alpha F_{proj}(x, y) + \beta F_{pred}(x, y) + \gamma \Omega(f_\theta)$

Esta descomposición formaliza tres principios distintos:

Principio de Observación ( $F_{proj}$ ): El codificador debe producir representaciones globales semánticamente invariantes. Esto se logra mediante un proyector $h_\psi$ que mapea las representaciones de agrupamiento global a un espacio de embebido donde se mide la compatibilidad entre vistas (ej. mediante NT-Xent o MSE). Este principio asegura la alineación semántica entre vistas pero descarta la estructura espacial.
Principio de Predicción ( $F_{pred}$ ): El codificador debe soportar la predicción de contenido enmascarado en el espacio latente. Un predictor $g_\phi$ mapea parches de contexto e información posicional hacia representaciones objetivo predichas. Este principio impone consistencia espacial dentro de una imagen, pero no impone inherentemente la invariancia entre vistas.
Principio de Regularización ( $\Omega$ ): El objetivo de entrenamiento debe contener un término que prevenga el colapso dimensional mediante la restricción de la geometría de la distribución de lotes (batches) de las representaciones. Este término debe ser estrictamente positivo en cualquier solución colapsada (masa de Dirac) y minimizarse solo cuando la covarianza de la representación tiene un rango efectivo completo. Los ejemplos estudiados incluyen VCReg, SIGReg y RDMReg.

Los autores argumentan que omitir cualquiera de los tres principios permite soluciones degeneradas que los dos restantes no pueden descartar. Además, demuestran que en ausencia de regularización explícita, la combinación de observación y predicción admite un codificador constante como minimizador global. Asimismo, demuestran que la alineación contrastiva (observación) ofrece una resistencia "autolimitada" al colapso debido al decaimiento del gradiente a medida que las representaciones se homogeneizan.

Contribuciones Clave

Formalización de los Tres Principios: El artículo define la Observación, la Predicción y la Regularización como condiciones no superpuestas en la superficie de energía. Demuestran que la regularización es teóricamente necesaria en regímenes sin negativos y que la resistencia contrastiva es autolimitada.
Necesidad Estructural: Los autores proporcionan argumentos estructurales mostrando que la predicción es necesaria para las señales espaciales y la observación es necesaria para la alineación semántica entre vistas. Demuestran que estos objetivos son complementarios en gradiente en la salida del codificador: la observación proporciona un gradiente global uniforme, mientras que la predicción proporciona un gradiente espacialmente local concentrado en los parches de contexto.
Unificación de Trabajos Previos: El artículo demuestra que cada método importante de SSL es un caso especial de esta descomposición de energía unificada. Al establecer los coeficientes $\alpha, \beta, \gamma$ en cero, se recuperan los métodos de invariancia, los métodos predictivos o los enfoques híbridos.
Redundancia del Codificador de Momentum: Los autores demuestran que si un codificador online converge a un punto fijo, el codificador de objetivo de momentum converge al mismo punto. Por consiguiente, el codificador de momentum no proporciona ninguna garantía de colapso más allá de lo que ofrece un regularizador explícito; su beneficio se limita al suavizado transitorio del objetivo.
Taxonomía Unificada: Una taxonomía exhaustiva (Tabla 5) clasifica los métodos existentes según cuáles de los tres principios satisfacen, revelando que muchos métodos de vanguardia (ej. DINOv2, C-JEPA) satisfacen los tres pero retienen mecanismos implícitos redundantes.

Resultados Experimentales

Los autores validan sus afirmaciones teóricas mediante experimentos controlados en ViT-Tiny entrenado en STL-10.

Verificación del Colapso: Los experimentos confirman que combinar observación y predicción sin regularización conduce al colapso dimensional (bajo rango efectivo) y a una baja precisión en la sonda lineal (38.7% frente a 49.2% con regularización).
Necesidad de los Principios:
- Eliminar la Regularización (manteniendo Observación y Predicción) resulta en una caída de 3.4 puntos en la precisión y un colapso en el rango efectivo.
- Eliminar la Predicción resulta en una caída de 5.5 puntos y una degradación significativa en la recuperación espacial de parches (el recall@5 espacial cae del 93.0% al 89.9%), confirmando la falta de señales de entrenamiento espacial.
- Eliminar la Observación causa la mayor caída de precisión individual (13.4 puntos), confirmando la necesidad de la alineación semántica entre vistas.
Complementariedad de Gradientes: El análisis de gradientes muestra que el objetivo de invariancia produce un gradiente uniforme en todos los tokens de parche, mientras que el objetivo de predicción produce gradientes solo en los tokens de contexto visibles, confirmando que actúan sobre aspectos disjuntos de la representación.
Redundancia de Momentum: Los experimentos muestran que los modelos con y sin codificadores de momentum convergen a la misma precisión asintótica cuando hay un regularizador explícito, validando la afirmación teórica de redundancia en la convergencia.
Intercambiabilidad de Regularizadores: Diferentes regularizadores explícitos (SIGReg, RDMReg) producen un rendimiento comparable, mientras que VCReg muestra una precisión menor a pesar de tener un rango efectivo más alto, lo cual se atribuye al conflicto de gradiente con el objetivo de predicción.

Significado y Reivindicaciones

El artículo afirma proporcionar una disciplina de diseño para el aprendizaje auto-supervisado al aislar los roles específicos de la observación, la predicción y la regularización. La importancia radica en:

Desacoplamiento de la Prevención del Colapso: Pasar de mecanismos implícitos entrelazados (como los codificadores de momentum o el centrado) hacia una regularización geométrica explícita, que ofrece una garantía demostrable contra el colapso en la convergencia.
Modularidad: La descomposición permite a los profesionales especificar, intercambiar y diagnosticar objetivos de forma independiente. Un fallo puede atribuirse a un principio faltante en lugar de a una interacción opaca de trucos arquitectónicos.
Claridad Teórica: El trabajo aclara que los "tres principios" son estructuralmente necesarios y no sustituibles a la escala estudiada, y que los diversos métodos del campo son simplemente diferentes instancias de una única descomposición de energía.

Los autores mantienen la modestia, señalando que su validación se realiza a una escala pequeña (ViT-Tiny/STL-10) y que si estas propiedades de ordenación e intercambiabilidad persisten a escalas mayores sigue siendo una pregunta abierta. Presentan su contribución como un marco analítico más que como un nuevo sistema de vanguardia.