Sintesi Tecnica: Trajectory Forcing (TF)

1. Definizione del Problema

Gli attuali modelli generativi basati su diffusione e flow operano con eccellenza nella produzione di immagini di alta qualità, ma funzionano come sistemi "centrati sull'endpoint". Gli utenti specificano le condizioni (ad esempio, etichette di classe) e ricevono un output finale, mentre la dinamica generativa intermedia rimane nascosta, strutturata in modo opaco e computazionalmente oscura. Sebbene metodi recenti abbiano utilizzato l'ordine di generazione per migliorare la qualità del campione, essi trattano gli stati intermedi meramente come sottoprodotti computazionali interni (ad esempio, componenti di frequenza o completamenti di token) piuttosto che come oggetti semantici disponibili per l'ispezione o l'intervento umano.

Ciò contrasta con la creazione visiva umana, che segue un flusso di lavoro da grossolano a fine: stabilire la composizione globale prima di raffinare i dettagli locali, con ogni fase intermedia che è ispezionabile e rivedibile. Il paper postula che le traiettorie generative stesse possano essere rese interpretabili, semanticamente strutturate ed editabili, spostando il focus dall'immagine finale alla traiettoria generativa.

2. Metodologia: Trajectory Forcing (TF)

Trajectory Forcing è un framework centrato sulla traiettoria che organizza la sintesi di immagini come una sequenza di stadi semanticamente strutturati, progredendo dal layout globale alle rappresentazioni a livello di oggetto, parte e dettaglio.

2.1 Spazio di Rappresentazione e Costruzione della Gerarchia

Invece di operare nello spazio dei pixel grezzi o negli standard spazi latenti (come VQ-VAE) dove la geometria potrebbe non allinearsi con la struttura semantica, TF opera nello spazio delle feature di DINOv2, un encoder visivo pre-addestrato.

• Gerarchia Teacher: Il framework deriva una gerarchia da grossolano a fine tramite il clustering dei token latenti di DINOv2 mediante metodi non supervisionati.
  • Oggetto/Sfondo: K-means ($K=2$) separa l'immagine in oggetto e sfondo basandosi su un prior centrale.
  • Parti e Sotto-parti: Il clustering agglomerativo utilizzando una metrica di distanza semantico-spaziale combinata ($\mathcal{D} = \cos \langle \mathbf{z}_i, \mathbf{z}_j \rangle + \alpha \|\mathbf{p}_i - \mathbf{p}_j\|_2$) decompone l'oggetto in parti e sotto-parti.
• Level Canvas: Questi cluster definiscono i "level canvas" ($z^{(l)}$). I livelli più grossolani ($l=0$) rappresentano feature medie a tratti costanti per regione, mentre i livelli più fini ($l=L-1$) rappresentano le feature latenti a risoluzione completa.

2.2 Flow Matching a Passo Singolo Condizionato dalla Gerarchia

Per evitare l'alto costo di inferenza della diffusione progressiva multi-step ($L \times T$), TF impiega un modello di flow-matching a passo singolo condizionato dalla gerarchia.

• Architettura: Una singola rete condivisa (DiT) è addestrata attraverso tutti i livelli gerarchici.
• Condizionamento: Ad ogni step di addestramento, un livello $l$ viene campionato. La rete riceve:
  1. Il noisy current-level canvas $z^{(l)}(t)$.
  2. Il previous-level canvas $z^{(l-1)}$ come condizione spaziale (fuso tramite concatenazione di canali e proiezione).
  3. Condizioni globali standard (etichetta di classe, intervallo temporale, scala di guida).
• Obiettivo di Addestramento: Il modello minimizza una perdita combinata:
  • Flow Loss: Utilizza la predizione di $x$ (predizione dei latenti denoised) con un obiettivo di $v$-loss basato su MeanFlow (iMF) per abilitare la generazione in un singolo step.
  • Structural Loss: Una penalità di distanza coseno che assicura che i token all'interno di una regione predetta si allineino con la feature media della regione di ground-truth, imponendo la coerenza strutturale.

2.3 Campionamento e Editing Gerarchico

• Inferenza: La generazione procede sequenzialmente da $l=0$ a $L-1$. Ogni livello richiede solo una singola valutazione della funzione di rete (NFE), risultando in un costo totale di $L$-NFE (ad esempio, 4 NFE per $L=4$). Ogni output intermedio è decodificabile in un'immagine visiva tramite un decoder Representation Autoencoder (RAE) condiviso.
• Editing Interattivo: Gli utenti possono ispezionare le immagini decodificate a qualsiasi livello $l^*$, modificare il canvas (tramite swapping di feature o riassegnazione di forma/regione) e rigenerare i livelli successivi. Grazie alla natura markoviana del processo, le modifiche al livello $l^*$ si propagano ai livelli più fini ma lasciano invariati i livelli più grossolani, permettendo un controllo mirato della modifica.

3. Contributi Chiave

1. Framework Centrato sulla Traiettoria: Propone TF, che modella la sintesi come una traiettoria strutturata e interpretabile da grossolano a fine, consentendo l'ispezione e l'editing a ogni livello semantico.
2. Flow Matching a Passo Singolo Condizionato dalla Gerarchia: Estende la generazione a passo singolo alle traiettorie multi-livello tramite condizionamento level-wise e supervisione della coerenza strutturale, raggiungendo una qualità competitiva con $L$-NFE.
3. Metriche Consapevoli della Traiettoria: Introduce metriche oltre a FID per misurare l'Invarianza Locale (come le modifiche influenzano le regioni non modificate) e la Coerenza Strutturale (coerenza tra regioni genitore e figlio).
4. Validazione Empirica: Dimostra su ImageNet che TF raggiunge una qualità di campionamento competitiva (FID) esponendo al contempo stati intermedi coerenti e supportando edizioni localizzate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su ImageNet a una risoluzione di $256 \times 256$ utilizzando feature DINOv2 e un decoder ViT-XL.

• Qualità del Campione: TF raggiunge punteggi FID competitivi. Ad esempio, la variante TF-L/16+FD-loss raggiunge un FID di 2.02 e un IS di 259.3 con soli 80 epoch di addestramento e 4 NFE, paragonabile a baseline multi-step che richiedono centinaia di epoch e NFE.
• Efficienza: A differenza dei baseline gerarchici come NVG (che richiede circa 184 NFE), TF richiede solo $L=4$ NFE.
• Metriche di Traiettoria:
  • Local Invariance Score (LIS): Mostra che le modifiche ai livelli più grossolani (oggetto/sfondo) si propagano più fortemente all'immagine finale, mentre le modifiche più fini (sotto-parti) rimangono localizzate.
  • Parent Misrouting Rate (PMR): Sia il PMR spaziale che quello delle feature rimangono bassi, indicando che le regioni figlie sono spazialmente contenute entro le regioni genitore e mantengono la coerenza semantica.

5. Significato e Rivendicazioni

Il paper sostiene che, spostando il focus dall'immagine finale alla traiettoria generativa, TF apre una strada verso una sintesi di immagini controllabile e consapevole della traiettoria.

• Interpretabilità: A differenza della diffusione standard dove gli stati intermedi vengono scartati, TF rende ogni stato intermedio visivamente decodificabile e semanticamente significativo.
• Editabilità: Permette agli utenti di intervenire a specifiche granularità semantiche (layout globale vs dettagli locali) con effetti prevedibili sull'output finale.
• Efficienza: Dimostra che una generazione strutturata di alta qualità non richiede un costoso denoising iterativo multi-step ad ogni livello, sfruttando invece il flow matching a passo singolo.

Gli autori riconoscono i limiti, notando che la gerarchia dipende dal clustering non supervisionato con un prior centrale (che può avere difficoltà con oggetti non centrati) e che i risultati attuali si basano su epoch di addestramento precoci (40–80), con l'analisi della scalabilità ulteriore differita. Tuttavia, il contributo principale rimane l'istituzione di un framework in cui la stessa traiettoria generativa funge da interfaccia utente per il controllo.