Resumen Técnico: LeVLJEPA

Planteamiento del Problema

El preentrenamiento visión-lenguaje (VLP) ha estado históricamente dominado por objetivos contrastivos (p. ej., CLIP, SigLIP), que optimizan la alineación de un único embedding de imagen agrupado (pooled) con un embedding de texto. Mientras que el aprendizaje autosupervisado puramente visual ha migrado mayoritariamente hacia métodos predictivos no contrastivos (p. ej., DINO, I-JEPA, LeJEPA), el VLP no ha seguido esta trayectoria.

Esta discrepancia crea una desalineación entre los objetivos de entrenamiento y las necesidades de despliegue modernas. Los codificadores de visión y lenguaje se utilizan cada vez más no como clasificadores zero-shot, sino como backbones visuales congelados para sistemas de predicción densa (p. ej., segmentación semántica) y modelos de visión-lenguaje (p. ej., LLaVA). Estos sistemas de despliegue consumen la rejilla completa de tokens de parches en lugar de un único vector agrupado. Sin embargo, los objetivos contrastivos supervisan primordialmente el embedding agrupado global, tratando las características por token solo como un subproducto. El artículo plantea la siguiente pregunta: ¿Puede el preentrenamiento end-to-end visión-lenguaje funcionar sin negativos contrastivos para servir mejor a estas aplicaciones densas a nivel de token?

Metodología: LeVLJEPA

Los autores presentan LeVLJEPA, el primer método de preentrenamiento visión-lenguaje end-to-end totalmente no contrastivo. Adapta el marco LeJEPA al entorno cross-modal utilizando una arquitectura predictiva con restricciones específicas para prevenir el colapso de la representación sin pares negativos.

Arquitectura y Objetivo

El método emplea dos codificadores: un Transformer de Visión (ViT) para imágenes y un codificador basado en GPT-2 para el texto. Ambos producen embeddings ($Z_V$ y $Z_T$) que se pasan a través de predictores específicos de la modalidad (MLPs) para generar predicciones cross-modales.

El objetivo de entrenamiento, $L_{LeVLJEPA}$, combina dos componentes:

1. Predicción Cross-Modal con Stop-Gradients:

   • El codificador de imagen predice el embedding de texto, y el codificador de texto predice el embedding de imagen.
   • Crucialmente, los objetivos se desprenden mediante una operación de stop-gradient. Los gradientes fluyen solo a través del predictor y el codificador que produce la predicción, no hacia el codificador que produce el objetivo.
   • Pérdida: $L_{cross} = \frac{1}{B} \sum (\|h_v(z_v) - \text{sg}(z_t)\|^2 + \|h_t(z_t) - \text{sg}(z_v)\|^2)$.
   • Esta asimetría evita que los codificadores colapsen en un subespacio de baja dimensión compartido, un modo de fallo observado al usar regresión simétrica directa.

2. Regularización Distribucional por Modalidad (SIGReg):

   • Para prevenir el colapso sin pares negativos, la distribución de los embeddings de cada modalidad se regulariza para ser una Gaussiana isotrópica.
   • Esto se logra mediante SIGReg (Sketched Isotropic Gaussian Regularization), que proyecta los embeddings sobre direcciones 1D aleatorias y aplica una prueba de normalidad basada en la función característica (Epps–Pulley).
   • Esto evita la maldición de la dimensionalidad asociada con el emparejamiento de densidad directa y no requiere parámetros de temperatura, codificadores de momentum o esquemas de profesor-estudiante.

Protocolo de Entrenamiento

• Datasets: Evaluado en dos escalas: CC12M (12M muestras) y Datacomp-L (92M muestras).
• Estabilidad: El método entrena de forma estable sin la dependencia del tamaño de lote (batch size) característica de los métodos contrastivos. El objetivo se calcula por muestra, lo que lo hace ampliamente invariante al tamaño del lote.
• Ablaciones: Los experimentos confirman que eliminar cualquier componente (p. ej., usar MSE directo sin stop-gradients, o usar predictores sin SIGReg) conduce al colapso o a un rendimiento deficiente.

Resultados Clave

1. Calidad de la Representación Global (Embeddings Agrupados)

Cuando se evalúa en protocolos que reducen la imagen a un solo vector:

• Transferencia Zero-Shot: A la escala de Datacomp-L, los baselines contrastivos (InfoNCE, SigLIP) superan a LeVLJEPA. Esto es esperado, ya que la clasificación zero-shot mide directamente la alineación imagen-texto que los métodos contrastivos optimizan. A la escala menor de CC12M, la brecha se reduce significamente.
• Linear Probing: En tokens CLS congelados, LeVLJEPA está a la par con los baselines contrastivos en ImageNet, Places365, Aircraft y Pets. Esto indica que las características visuales globales aprendidas por LeVLJEPA son igualmente discriminativas, y la brecha en zero-shot se debe a los mecanismos de alineación más que a la calidad de las características.
• Robustez al Fondo: LeVLJEPA demuestra una robustez superior ante cambios de fondo (ImageNet-9), mostrando caídas de precisión menores cuando los foregrounds se componen sobre diferentes fondos. Esto sugiere una representación más centrada en el objeto.

2. Características Semánticas Densas (Tokens de Parches)

Cuando se evalúa en tareas que consumen la secuencia completa de tokens de parches, LeVLJEPA muestra una superioridad marcada:

• Segmentación Semántica: En ADE20K y COCO-Stuff, LeVLJEPA supera a ambos baselines contrastivos por un margen significativo (~2.0–2.2 mIoU) cuando se utiliza como un backbone congelado con una cabeza lineal. Esto indica una estructura espacial y semántica más fuerte en las características por token.
• Modelos de Visión-Lenguaje (VLMs): Cuando se utiliza como un backbone visual congelado para VLMs (con un puente ligero entrenado para un LLM congelado), LeVLJEPA alcanza la mayor precisión en GQA, VQAv2 y POPE a través de dos familias distintas de modelos de lenguaje (Llama-1B y Qwen-1.5B).
  • Notablemente, SigLIP es el modelo zero-shot más fuerte pero el backbone de VLM más débil, mientras que LeVLJEPA es el modelo zero-shot más débil pero el backbone más fuerte.
  • LeVLJEPA también produce respuestas más equilibradas en POPE (alucinación de objetos), reduciendo el sesgo de "sí" visto en otros modelos.

Significancia y Reivindicaciones

El artículo establece que el preentrenamiento no contrastivo es un medio efectivo para producir características visuales semánticas densas, desafiando la suposición de que los negativos contrastivos son necesarios para obtener representaciones de alta calidad entre visión y lenguaje.

• Desacoplamiento de Alineación y Calidad de Características: Los resultados demuestran que la propiedad representacional que genera un clasificador zero-shot fuerte (alineación global) es distinta de la propiedad que genera un codificador de características visuales fuerte (estructura de tokens densa).
• Relevancia para el Despliegue Moderno: A medida que los codificadores de visión-lenguaje se despliegan cada vez más como backbones congelados para la predicción densa y modelos ajustados por instrucciones, los protocolos de evaluación estándar (zero-shot, linear probing en vectores agrupados) fallan en capturar las métricas de rendimiento relevantes. LeVLJEPA sobresale en estos escenarios de despliegue.
• Simplicidad y Estabilidad: El método logra estos resultados con una receta de entrenamiento más simple, eliminando la necesidad de muestreo de negativos, ajuste de temperatura, codificadores de momentum o esquemas de profesor-estudiante, manteniéndose estable a gran escala.

Los autores concligen que, si bien los objetivos contrastivos retienen una ventaja en la alineación directa de imagen-texto, los objetivos predictivos no contrastivos son superiores para aprender las características densas por token requeridas por la próxima generación de sistemas de visión-lenguaje.