Resumen Técnico: Trajectory Forcing (TF)

1. Planteamiento del Problema

Los modelos generativos actuales basados en difusión y flujo sobresalen en la producción de imágenes de alta calidad, pero operan como sistemas "centrados en el punto final" (endpoint-centric). Los usuarios especifican condiciones (por ejemplo, etiquetas de clase) y reciben un resultado final, mientras que la dinámica generativa intermedia permanece oculta, desestructurada y computacionalmente opaca. Aunque métodos recientes han utilizado el orden de generación para mejorar la calidad de la muestra, tratan los estados intermedios meramente como subproductos computacionales internos (por ejemplo, componentes de frecuencia o completado de tokens) en lugar de como objetos semánticos disponibles para la inspección o intervención humana.

Esto contrasta con la creación visual humana, que sigue un flujo de trabajo de lo general a lo particular: establecer una composición global antes de refinar los detalles locales, de modo que cada etapa intermedia sea inspeccionable y revisable. El artículo postula que las propias trayectorias generativas pueden hacerse interpretables, semánticamente estructuradas y editables, desplazando el enfoque del la imagen final hacia la trayectoria generativa.

2. Metodología: Trajectory Forcing (TF)

Trajectory Forcing es un marco centrado en la trayectoria que organiza la síntesis de imágenes como una secuencia de etapas semánticamente estructuradas, progresando desde el diseño global hasta representaciones a nivel de objeto, parte y detalle.

2.1 Espacio de Representación y Construcción de la Jerarquía

En lugar de operar en el espacio de píxeles brutos o en espacios latentes estándar (como VQ-VAE) donde la geometría puede no alinearse con la estructura semántica, TF opera en el espacio de características de DINOv2, un codificador visual preentrenado.

• Jerarquía de Maestro (Teacher Hierarchy): El marco deriva una jerarquía de lo general a lo particular mediante el agrupamiento (clustering) de los tokens latentes de DINOv2 a través de métodos no supervisados.
  • Objeto/Fondo: K-means ($K=2$) separa la imagen en objeto y fondo basándose en un prior de centro.
  • Partes y Subpartes: El agrupamiento aglomerativo utilizando una métrica de distancia semántico-espacial combinada ($\mathcal{D} = \cos \langle \mathbf{z}_i, \mathbf{z}_j \rangle + \alpha \|\mathbf{p}_i - \mathbf{p}_j\|_2$) descompone el objeto en partes y subpartes.
• Lienzos de Nivel (Level Canvases): Estos grupos definen "lienzos de nivel" ($z^{(l)}$). Los niveles más gruesos ($l=0$) representan características de media constantes por tramos de las regiones, mientras que los niveles más finos ($l=L-1$) representan las características latentes de resolución completa.

2.2 Flujo de Emparejamiento Jerárquico Condicionado a un Paso

Para evitar el alto costo de inferencia de la difusión progresiva de múltiples pasos ($L \times T$), TF emplea un modelo de emparejamiento de flujo de un solo paso condicionado por la jerarquía.

• Arquitectura: Se entrena una red única compartida (DiT) a través de todos los niveles de la jerarquía.
• Condicionamiento: En cada paso de entrenamiento, se muestrea un nivel $l$. La red recibe:
  1. El lienzo ruidoso del nivel actual $z^{(l)}(t)$.
  2. El lienzo del nivel anterior $z^{(l-1)}$ como una condición espacial (fusionada mediante concatenación de canales y proyección).
  3. Condiciones globales estándar (etiqueta de clase, intervalo de tiempo, escala de guía).
• Objetivo de Entrenamiento: El modelo minimiza una pérdida combinada:
  • Pérdida de Flujo (Flow Loss): Utiliza la predicción de $x$ (predicción de latentes desruidosos) con un objetivo de pérdida $v$ basado en MeanFlow (iMF) para permitir la generación de un solo paso.
  • Pérdida Estructural (Structural Loss): Una penalización de distancia de coseno que asegura que los tokens dentro de una región predicha se alineen con la característica media real de esa región, imponiendo consistencia estructural.

2.3 Muestreo y Edición Jerárquica

• Inferencia: La generación procede secuencialmente desde $l=0$ hasta $L-1$. Cada nivel requiere solo una evaluación de la función de red (NFE), lo que resulta en un costo total de $L$-NFE (por ejemplo, 4 NFEs para $L=4$). Cada salida intermedia es decodificable en una imagen visual a través de un decodificador de Autoencoder de Representación (RAE) compartido.
• Edición Interactiva: Los usuarios pueden inspeccionar imágenes decodificadas en cualquier nivel $l^*$, modificar el lienzo (mediante el intercambio de características o la reasignación de forma/región) y regenerar los niveles subsiguientes. Debido a la naturaleza markoviana del proceso, las ediciones en el nivel $l^*$ se propagan a los niveles más finos pero dejan sin cambios los niveles más gruesos, permitiendo un control sobre el alcance de la modificación.

3. Contribuciones Clave

1. Marco Centrado en la Trayectoria: Propone TF, que modela la síntesis como una trayectoria estructurada, interpretable y de lo general a lo particular, permitiendo la inspección y edición en cada nivel semántico.
2. Emparejamiento de Flujo de un Paso Condicionado por la Jerarquía: Extiende la generación de un solo paso a trayectorias multinivel mediante el condicionamiento por nivel y la supervisión de consistencia estructural, logrando una calidad competitiva con $L$-NFE.
3. Métricas de Trayectoria: Introduce métricas más allá de FID para medir la Invarianza Local (cómo las ediciones afectan a las regiones no editadas) y la Consistencia Estructural (coherencia entre regiones padre e hijo).
4. Validación Empírica: Demuestra en ImageNet que TF logra una calidad de muestra competitiva (FID) al tiempo que expone estados intermedios coherentes y soporta ediciones localizadas.

4. Resultados Experimentales

Los experimentos se realizaron en ImageNet a una resolución de $256 \times 256$ utilizando características de DINOv2 y un decodificador ViT-XL.

• Calidad de la Muestra: TF logra puntuaciones FID competitivas. Por ejemplo, la variante TF-L/16+FD-loss alcanza un FID de 2.02 e IS de 259.3 con solo 80 épocas de entrenamiento y 4 NFEs, comparable a las líneas base de múltiples pasos que requieren cientos de épocas y NFEs.
• Eficiencia: A diferencia de las líneas base jerárquicas como NVG (que requiere ~184 NFEs), TF requiere solo $L=4$ NFEs.
• Métricas de Trayectoria:
  • Puntuación de Invarianza Local (LIS): Muestra que las ediciones en los niveles más gruesos (objeto/fondo) se propagan más fuertemente a la imagen final, mientras que las ediciones más finas (subpartes) permanecen localizadas.
  • Tasa de Desvío de Padre (PMR): Tanto la PMR espacial como la de características se mantienen bajas, lo que indica que las regiones hijas están contenidas espacialmente dentro de las regiones padre y mantienen la consistencia semántica.

5. Significado y Reivindicaciones

El artículo afirma que, al desplazar el enfoque de la imagen final hacia la trayectoria generativa, TF abre una vía hacia la síntesis de imágenes controlable y consciente de la trayectoria.

• Interpretabilidad: A diferencia de la difusión estándar donde los estados intermedios se descartan, TF hace que cada estado intermedio sea visualmente decodificable y semánticamente significativo.
• Editabilidad: Permite a los usuarios intervenir en granularidades semánticas específicas (diseño global vs. detalles locales) con efectos predecibles en el resultado final.
• Eficiencia: Demuestra que la generación estructurada de alta calidad no requiere un costoso proceso iterativo de eliminación de ruido en cada nivel, aprovechando el emparejamiento de flujo de un solo paso.

Los autores reconocen las limitaciones, señalando que la jerarquía depende del agrupamiento no supervisado con un prior de centro (que puede tener dificultades con objetos no centrados) y que los resultados actuales se basan en épocas tempranas de entrenamiento (40–80), dejando diferido el análisis de escalabilidad adicional. Sin embargo, la contribución central sigue siendo el establecimiento de un marco donde la propia trayectoria generativa sirve como una interfaz de usuario para el control.