Resumo Técnico: Trajectory Forcing (TF)

1. Definição do Problema

Os atuais modelos generativos de difusão e baseados em fluxo destacam-se na produção de imagens de alta qualidade, mas operam como sistemas "centrados no endpoint". Os usuários especificam condições (ex: rótulos de classe) e recebem um resultado final, enquanto a dinâmica generativa intermediária permanece oculta, não estruturada e computacionalmente opaca. Embora métodos recentes tenham utilizado a ordem de geração para melhorar a qualidade das amostras, eles tratam os estados intermediários meramente como subprodutos computacionais internos (ex: componentes de frequência ou conclusões de tokens) em vez de objetos semânticos disponíveis para inspeção ou intervenção humana.

Isso contrasta com a criação visual humana, que segue um fluxo de trabalho de grosso para o fino: estabelecer a composição global antes de refinar os detalhes locais, com cada estágio intermediário sendo inspecionável e revisável. O artigo postula que as próprias trajetórias generativas podem ser tornadas interpretáveis, semanticamente estruturadas e editáveis, deslocando o foco da imagem final para o caminho generativo.

2. Metodologia: Trajectory Forcing (TF)

O Trajectory Forcing é um framework centrado na trajetória que organiza a síntese de imagens como uma sequência de estágios semanticamente estruturados, progredindo do layout global para representações de nível de objeto, parte e detalhe.

2.1 Espaço de Representação e Construção de Hierarquia

Em vez de operar no espaço de pixels brutos ou em espaços latentes padrão (como VQ-VAE), onde a geometria pode não se alinhar com a estrutura semântica, o TF opera no espaço de características do DINOv2, um codificador visual pré-treinado.

• Hierarquia do Professor (Teacher Hierarchy): O framework deriva uma hierarquia de grosso para o fino através do agrupamento (clustering) de tokens latentes do DIOv2 via métodos não supervisionados.
  • Objeto/Segundo Plano: O K-means ($K=2$) separa a imagem em objeto e segundo plano com base em um prior de centro.
  • Partes e Subpartes: O agrupamento aglomerativo usando uma métrica de distância semântico-espacial combinada ($\mathcal{D} = \cos \langle \mathbf{z}_i, \mathbf{z}_j \rangle + \alpha \|\mathbf{p}_i - \mathbf{p}_j\|_2$) decompõe o objeto em partes e subpartes.
• Canvases de Nível (Level Canvases): Estes clusters definem "canvases de nível" ($z^{(l)}$). Níveis mais grosseiros ($l=0$) representam características médias de região constantes por partes, enquanto níveis mais finos ($l=L-1$) representam as características latentes de resolução total.

2.2 Flow Matching de Passo Único Condicionado pela Hierarquia

Para evitar o alto custo de inferência da difusão progressiva de múltiplos passos ($L \times T$), o TF emprega um modelo de flow-matching de passo único condicionado pela hierarquia.

• Arquitetura: Uma única rede compartilhada (DiT) é treinada em todos os níveis da hierarquia.
• Condicionamento: Em cada passo de treinamento, um nível $l$ é amostrado. A rede recebe:
  1. O canvas ruidoso do nível atual $z^{(l)}(t)$.
  2. O canvas do nível anterior $z^{(l-1)}$ como uma condição espacial (fundida via concatenação de canais e projeção).
  3. Condições globais padrão (rótulo de classe, intervalo de tempo, escala de orientação/guidance scale).
• Objetivo de Treinamento: O modelo minimiza uma perda combinada:
  • Perda de Fluxo (Flow Loss): Utiliza predição de $x$ (predizendo latentes de-noised) com um objetivo de perda $v$ baseado em MeanFlow (iMF) para permitir a geração de passo único.
  • Perda Estrutural (Structural Loss): Uma penalidade de distância de cosseno garantindo que os tokens dentro de uma região prevista se alinhem com a característica média da região de verdade fundamental (ground-truth), impondo consistência estrutural.

2.3 Amostragem e Edição Hierárquica

• Inferência: A geração procede sequencialmente de $l=0$ até $L-1$. Cada nível requer apenas uma avaliação da função de rede (NFE), resultando em um custo total de $L$-NFE (ex: 4 NFEs para $L=4$). Cada saída intermediária é decodificável em uma imagem visual via um decodificador de Autoencoder de Representação (RAE) compartilhado.
• Edição Interativa: Usuários podem inspecionar imagens decodificadas em qualquer nível $l^*$, modificar o canvas (via troca de características ou reatribuição de forma/região) e regerar os níveis subsequentes. Devido à natureza Markoviana do processo, edições no nível $l^*$ propagam-se para os níveis mais finos, mas deixam os níveis mais grosseiros inalterados, permitindo um escopo controlado de modificação.

3. Principais Contribuições

1. Framework Centrado na Trajetória: Propõe o TF, que modela a síntese como uma trajetória estruturada e interpretável de grosso para o fino, permitindo inspeção e edição em cada nível semântico.
2. Flow Matching de Passo Único Condicionado pela Hierarquia: Estende a geração de passo único para trajetórias de múltiplos níveis via condicionamento por nível e supervisão de consistência estrutural, alcançando qualidade competitiva com $L$-NFE.
3. Métricas de Trajetória-Conscientes: Introduz métricas além do FID para medir a Invariância Local (como edições afetam regiões não editadas) e a Consistência Estrutural (coerência entre regiões pai e filho).
4. Validação Empírica: Demonstra no ImageNet que o TF alcança uma qualidade de amostra competitiva (FID) enquanto expõe estados intermediários coerentes e suporta edições localizadas.

4. Resultados Experimentais

Experimentos foram conduzidos no ImageNet com resolução de $256 \times 256$ usando características DINOv2 e um decodificador ViT-XL.

• Qualidade da Amostra: O TF alcança pontuações FID competitivas. Por exemplo, a variante TF-L/16+FD-loss atinge um FID de 2.02 e IS de 259.3 com apenas 80 épocas de treinamento e 4 NFEs, comparável a baselines de múltiplos passos que exigem centenas de épocas e NFEs.
• Eficiência: Ao contrário de baselines hierárquicos como o NVG (que requer ~184 NFEs), o TF requer apenas $L=4$ NFEs.
• Métricas de Trajetória:
  • Pontuação de Invariância Local (LIS): Mostra que edições em níveis mais grosseiros (objeto/segundo plano) propagam-se mais fortemente para a imagem final, enquanto edições mais finas (subpartes) permanecem localizadas.
  • Taxa de Erro de Roteamento de Pai (PMR): Tanto o PMR espacial quanto o de características permanecem baixos, indicando que as regiões filhas estão espacialmente contidas dentro das regiões pai e mantêm consistência semântica.

5. Significância e Alegações

O artigo afirma que, ao deslocar o foco da imagem final para o caminho generativo, o TF abre um caminho para a síntese de imagens controlável e consciente da trajetória.

• Interpretabilidade: Diferente da difusão padrão onde os estados intermediários são descartados, o TF torna cada estado intermediário visualmente decodificável e semanticamente significativo.
• Editabilidade: Permite que usuários intervenham em granularidades semânticas específicas (layout global vs. detalhes locais) com efeitos previsíveis no resultado final.
• Eficiência: Demonstra que a geração estruturada de alta qualidade não requer o caro processo iterativo de denoising de múltiplos passos em cada nível, aproveitando o flow matching de passo único.

Os autores reconhecem limitações, observando que a hierarquia depende de agrupamento não supervisionado com um prior de centro (que pode ter dificuldades com objetos não centralizados) e que os resultados atuais baseiam-se em épocas iniciais de treinamento (40–80), com a análise de escalonamento adicional adiada. No entanto, a contribuição central permanece o estabelecimento de um framework onde a própria trajetória generativa serve como uma interface de usuário para controle.