Resumen Técnico: Condicionamiento en el Tiempo de Prueba con Características Visuales Alineadas con la Representación (REPA-G)

Declaración del Problema

Si bien se ha demostrado que la alineación de la representación con modelos auto-supervisados acelera el entrenamiento de los modelos de difusión y mejora la calidad de las muestras, su potencial para mejorar el condicionamiento en el tiempo de inferencia permanece en gran medida inexplorado. Las estrategias de condicionamiento actuales en la síntesis de imágenes suelen depender de etiquetas de clase o descripciones textuales. El condicionamiento basado en clases ofrece un control grueso limitado a categorías predefinidas, mientras que los prompts de texto, aunque flexibles, suelen ser imprecisos y ambiguos. Además, los métodos de condicionamiento post-entrenamiento existentes a menudo requieren parámetros adicionales, entrenamiento específico para la tarea o modificaciones arquitectónicas que permanecen fijas en la inferencia. Existe la necesidad de un método que permita un control preciso, flexible y de grano fino sobre la generación sin reentrenar el modelo ni depender de prompts ambiguos.

Metodología: REPA-G

Los autores presentan Representation-Aligned Guidance (REPA-G), un marco que aprovecha las representaciones internas de los modelos de difusión entrenados con alineación de representación para permitir el condicionamiento visual en el tiempo de prueba.

Mecanismo Central

REPA-G opera optimizando un objetivo de similitud (un "potencial") durante el proceso de inferencia. El método guía el proceso de eliminación de ruido hacia una representación objetivo extraída de un extractor de características pre-entrenado (por ejemplo, DINOv2).

1. Extracción de Características: Los tokens visuales se extraen de una imagen de referencia (ancla) utilizando la misma red auto-supervisada utilizada durante la fase de alineación del entrenamiento del modelo.
2. Guía de Gradiente: El procedimiento de muestreo se modifica mediante el cálculo del gradiente de una función de potencial $\mathscr{V}$ que cuantifica la alineación entre las características internas de la muestra generada y las características de condicionamiento.
3. Distribución Inclinada: Teóricamente, esta guía dirige el proceso de muestreo para extraer de una "distribución inclinada" $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$, donde $p_0$ es la distribución de datos original y $\lambda$ controla la fuerza de la guía.

Decisiones de Diseño para el Potencial

El marco soporta múltiples granularidades de control adaptando la función de potencial $\mathscr{V}$:

• Alineación de Parches Independientes (IPA): Permite flexibilidad espacial.
  • Mapa de Características Completo: Impone restricciones espaciales densas para la reconstrucción estocástica.
  • Mapa de Características Enmascarado: Preserva la información dentro de regiones específicas (por ejemplo, la forma de un objeto) permitiendo la variación en otras partes.
  • Concepto Promedio: Alinea el promedio semántico global, eliminando las restricciones espaciales para guiar la categoría general (por ejemplo, "conejo").
  • Concepto Único: Se enfoca la guía en un parche local específico.
• Alineación de Parches Selectiva (SPA): Utiliza un mecanismo de soft-max con un parámetro de temperatura $T$ para ponderar dinámicamente los parches basándose en su similitud con un concepto objetivo. Esto permite al modelo localizar conceptos de forma adaptativa, evitando restricciones espaciales rígidas.

Requisitos Previos

El método requiere que el modelo de difusión sea entrenado con alineación de representación (por ejemplo, usando objetivos REPA o REPA-E). Esto asegura que el espacio de características interno sea semánticamente significativo y esté bien condicionado, lo que significa que las distancias en el espacio de características se correlacionan con las distancias en el espacio de densidad condicional. Sin esta alineación, el espacio de características carece de la estructura semántica necesaria para un condicionamiento efectivo.

Contribuciones Clave

1. Marco REPA-G: El primer marco de condicionamiento visual en el tiempo de prueba para modelos de difusión entrenados con alineación de representación. Alinea las características internas de la difusión con objetivos de un codificador auto-supervisado sin requerir ajuste fino o reentrenamiento.
2. Justificación Teórica: Los autores proporcionan un análisis teórico que muestra cómo esta guía permite el muestreo de una distribución inclinada inducida por un potencial. También justifican que las características auto-supervisadas son adecuadas para esta tarea debido a la coherencia semántica y las propiedades de mapeo suave del espacio de representación alineado.
3. Control Versátil: El método permite el control sobre conceptos visuales concretos y abstractos a múltiples escalas, desde el emparejamiento de texturas finas mediante parches únicos hasta la guía semántica amplia utilizando tokens globales. También soporta la composición de múltiples conceptos (por ejemplo, combinar un objeto de una imagen con el fondo de otra).

Resultados Experimentales

Los autores evaluaron REPA-G en los conjuntos de datos ImageNet y COCO utilizando modelos de flujo de emparejamiento (SiT) entrenados con alineación de representación.

• Rendimiento a Nivel de Distribución: En ImageNet, REPA-G supera significativamente a los baselines incondicionales y a los modelos SiT estándar cuando se condicionan. Por ejemplo, usando REPA-E con características de DINOv2 (FDINO), el método logró una Distancia de Incepción de Fréchet (FID) de 1.45 (Mapa de Características Completo) y 2.30 (Enmascarado), comparado con 15.07 para el baseline incondicional. El método también demostró altos puntajes de Inception (IS) y métricas de Precisión/Recall.
• Alineación a Nivel de Instancia: Las imágenes generadas mostraron una alta similitud de coseno con las imágenes ancla a través de los espacios de características de DINOv2, JEPA y CLIP, con valores de PSNR que indican una fuerte fidelidad a nivel de píxel en las reconstrucciones enmascaradas.
• Comparación con Texto-a-Imagen: Al compararse contra un baseline de texto-a-imagen (CAD-I) en COCO, REPA-G utilizando características visuales alcanzó un rendimiento superior (FID de 2.11 frente a 37.98 para texto), sugiriendo que las características visuales proporcionan una señal más densa e informativa que los captions de texto.
• Composición de Múltiples Conceptos: En tareas de generación compositiva (combinar objetos ancla con fondos objetivo), las variantes de REPA-G (IPA y SPA) superaron significativamente a los baselines de clase-condicional e interpolación en términos de puntuaciones CLIP y métricas de similitud de parches.

Significancia y Reivindicaciones

El artículo afirma que REPA-G ofrece una alternativa flexible y precisa a los prompts de texto, a menudo ambiguos, o a las etiquetas de clase toscas. Al operar enteramente en el tiempo de inferencia, evita el costo computacional y la complejidad de entrenar nuevos mecanismos de condicionamiento o realizar ajustes finos de los modelos. Los autores enfatizan que la efectividad del método depende de que el modelo sea entrenado con alineación de representación, lo que asegura que el espacio de características interno posea la estructura semántica necesaria. Aunque el enfoque actualmente requiere el ajuste de la escala de guía $\lambda$ para tareas compositivas y enfrenta desafíos con variaciones en el punto de vista de la escena, representa un paso significativo hacia el modelado generativo controlado y dirigido por características.