What Drives Compositional Generalization? The Importance of Continuous Training Objectives in Visual Generative Models

Resumen Técnico: ¿Qué impulsa la generalización composicional? La importancia de los objetivos de entrenamiento continuos en modelos generativos visuales

1. El Problema: Generalización Composicional vs. Interpolación

El desafío central que aborda este trabajo es la generalización composicional: la capacidad de un modelo generativo para crear combinaciones novedosas de conceptos conocidos (por ejemplo, generar un "hombre rubio que no sonríe" si solo ha visto "hombres sonrientes" o "mujeres rubias").

Actualmente, existe un dualismo arquitectónico en la generación visual:

• Modelos de Difusión Continua (como DiT): Trabajan en espacios latentes continuos.
• Modelos de Enmascaramiento Discreto (como MaskGIT): Trabajan con tokens discretos (catégoricos).

Aunque los modelos discretos son muy exitosos en el procesamiento de lenguaje (LLMs), el estudio observa que en visión, estos modelos suelen fallar al intentar generar composiciones fuera de la distribución de entrenamiento (out-of-distribution), limitándose a "interpolar" o memorizar combinaciones vistas previamente.

2. Metodología: Un Marco de Aislamiento Causal

Para entender qué causa este fallo, los autores diseñan un marco experimental que aísla tres ejes de diseño mediante "interpolaciones" controladas:

1. El Tokenizador: ¿Influye si usamos un VAE continuo o un VQ-VAE discreto?
2. El Modelo Generativo: ¿Es el objetivo de entrenamiento (denoising vs. masking) o la naturaleza de la distribución (continua vs. discreta) lo que importa?
3. La Señal de Condicionamiento: ¿Qué pasa si la información de los factores es incompleta o está cuantizada?

Utilizan diversos conjuntos de datos para validar sus hallazgos: desde sintéticos (Shapes2D/3D) hasta reales (CelebA), videos (CLEVRER-Kubric) y escenarios de conducción (CoVLA), e incluso extienden la prueba al lenguaje (Llama-3.2).

3. Contribuciones Clave y Hallazgos

• Hallazgo 1: La continuidad es la clave. El estudio demuestra que el factor determinante no es el tokenizador ni la estrategia de enmascaramiento, sino que el objetivo de entrenamiento opere sobre una distribución continua. Los modelos que predicen valores continuos (DiT, MAR, GIVT) generalizan composicionalmente, mientras que los que predicen categorías discretas (MaskGIT) fallan.
• Hallazgo 2: La importancia del condicionamiento completo. La generalización se degrada significativamente si el condicionamiento es cuantizado (ej. usar la palabra "rojo" en lugar del valor RGB exacto) o si hay "concept dropout" (faltan factores en la señal de entrenamiento).
• Hallazgo 3: Intervención mediante JEPA. Los autores proponen una solución para "curar" a los modelos discretos. Introducen un objetivo auxiliar basado en Arquitecturas Predictivas de Incrustación Conjunta (JEPA). Este objetivo obliga al modelo a predecir representaciones latentes continuas de las partes enmascaradas, actuando como una "relajación continua" del objetivo discreto.

4. Resultados Principales

• Mejora en Modelos Discretos: Al añadir el objetivo JEPA a MaskGIT, el modelo muestra una mejora drástica en la capacidad de generar composiciones de nivel 2 (dos cambios de factor), superando la limitación de la naturaleza categórica.
• Análisis Mecanicista: Mediante técnicas de interpretabilidad, demuestran que el objetivo JEPA reduce la polisemia en las cabezas de atención y disminuye el solapamiento de los "circuitos" neuronales. Esto significa que el modelo aprende representaciones más desentrelazadas (disentangled), donde cada neurona o circuito se especializa en un factor específico (color, forma, etc.) en lugar de mezclar conceptos.
• Transferencia a otros dominios:
  • Video: En el dataset de conducción CoVLA, los modelos continuos superan ampliamente a los discretos en la recuperación de escenas novedosas.
  • Lenguaje: En tareas de aritmética con tarjetas, el uso de razonamiento en espacios continuos (COCONUT) superó al razonamiento de cadena de pensamiento estándar (CoT), sugiriendo que la ventaja de la continuidad es universal.

5. Significado e Impacto

Este trabajo es fundamental porque proporciona una hoja de ruta para el diseño de la próxima generación de modelos generativos. Sugiere que, para lograr una IA verdaderamente creativa y confiable (capaz de razonar y combinar conceptos de forma lógica), debemos alejarnos de los objetivos puramente categóricos y movernos hacia objetivos de entrenamiento continuos. Esto permite que los modelos capturen la estructura semántica subyacente de los datos en lugar de simplemente aprender a clasificar tokens.