Sintesi Tecnica: Condizionamento al Tempo di Test con Caratteristiche Visive Allineate alla Rappresentazione (REPA-G)

Definizione del Problema

Sebbene l'allineamento della rappresentazione con modelli auto-supervisionati sia stato dimostrato efficace per accelerare l'addestramento dei modelli di diffusione e migliorare la qualità del campionamento, il suo potenziale per potenziare il condizionamento al tempo di inferenza rimane ampiamente inesplorato. Le attuali strategie di condizionamento nella sintesi di immagini si affidano tipicamente a etichette di classe o descrizioni testuali. Il condizionamento basato su classi offre solo un controllo grossolano limitato a categorie predefinite, mentre i prompt testuali, sebbene flessibili, sono spesso imprecisi e ambigui. Inoltre, i metodi di condizionamento post-addestramento esistenti richiedono spesso parametri aggiuntivi, addestramento specifico per il compito o modifiche architettoniche che rimangono fisse durante l'inferenza. È necessario un metodo che permetta un controllo preciso, flessibile e fine-grained sulla generazione senza dover riaddestrare il modello o fare affidamento su prompt ambigui.

Metodologia: REPA-G

Gli autori introducono Representation-Aligned Guidance (REPA-G), un framework che sfrutta le rappresentazioni interne dei modelli di diffusione addestrati con l'allineamento della rappresentazione per abilitare il condizionamento visivo al tempo di test.

Meccanismo Core

REPA-G opera ottimizzando un obiettivo di similarità (un "potenziale") durante il processo di inferenza. Il metodo guida il processo di denoising verso una rappresentazione target estratta da un estrattore di caratteristiche auto-supervisionato pre-addestrato (ad es., DINOv2).

1. Estrazione delle Caratteristiche: I token visivi vengono estratti da un'immagine di riferimento (ancora) utilizzando la stessa rete auto-supervisionata utilizzata durante la fase di allineamento dell'addestramento del modello.
2. Guida del Gradiente: La procedura di campionamento viene modificata calcolando il gradiente di una funzione di potenziale $\mathscr{V}$ che quantifica l'allineamento tra le caratteristiche interne del campione generato e le caratteristiche di condizionamento.
3. Distribuzione Inclinata: Teoricamente, questa guida orienta il processo di campionamento per trarre da una "distribuzione inclinata" $\tilde{p}_0(x; x_c) \propto p_0(x) e^{\lambda \mathscr{V}(\phi(x), \phi(x_c))}$, dove $p_0$ è la distribuzione originale dei dati e $\lambda$ controlla la forza della guida.

Scelte di Design per il Potenziale

Il framework supporta molteplici granularità di controllo adattando la funzione di potenziale $\mathscr{V}$:

• Independent Patch Alignment (IPA): Permette flessibilità spaziale.
  • Full Feature Map: Impone vincoli spaziali densi per la ricostruzione stocastica.
  • Masked Feature Map: Preserva le informazioni all'interno di regioni specifiche (ad es., la forma di un oggetto) consentendo variazioni altrove.
  • Average Concept: Allinea la media semantica globale, rimuovendo i vincoli spaziali per guidare la categoria generale (ad es., "coniglio").
  • Single Concept: Focalizza la guida su un singolo patch locale.
• Selective Patch Alignment (SPA): Utilizza un meccanismo soft-max con un parametro di temperatura $T$ per pesare dinamicamente i patch in base alla loro similarità con un concetto target. Ciò consente al modello di localizzare adattivamente i concetti, superando i rigidi vincoli spaziali.

Prerequisiti

Il metodo richiede che il modello di diffusione sia addestrato con l'allineamento della rappresentazione (ad es., utilizzando obiettivi REPA o REPA-E). Ciò garantisce che lo spazio delle caratteristiche interne sia semanticamente significativo e ben condizionato, il che significa che le distanze nello spazio delle caratteristiche correlano con le distanze nello spazio della densità condizionale. Senza questo allineamento, lo spazio delle caratteristiche manca della struttura semantica necessaria per un condizionamento efficace.

Contributi Chiave

1. Framework REPA-G: Il primo framework di condizionamento visivo al tempo di test per modelli di diffusione addestrati con l'allineamento della rappresentazione. Allinea le caratteristiche interne della diffusione con i target di un encoder auto-supervisionato senza richiedere fine-tuning o riaddestramento.
2. Giustificazione Teorica: Gli autori forniscono un'analisi teorica dimostrando che questa guida consente il campionamento da una distribuzione inclinata indotta dal potenziale. Giustificano inoltre che le caratteristiche auto-supervisionate sono ben adatte a questo compito grazie alla coerenza semantica e alle proprietà di mappatura fluida dello spazio di rappresentazione allineato.
3. Controllo Versatile: Il metodo permette il controllo di concetti visivi concreti e astratti a molteplici scale, dalla corrispondenza di texture fine tramite singoli patch alla guida semantica ampia tramite token globali. Supporta anche la composizione di multi-concetti (ad es., combinare un oggetto di un'immagine con lo sfondo di un'altra).

Risultati Sperimentali

Gli autori hanno valutato REPA-G sui dataset ImageNet e COCO utilizzando modelli di flow matching (SiT) addestrati con l'allineamento della rappresentazione.

• Prestazioni a Livello di Distribuzione: Su ImageNet, REPA-G supera significativamente i baseline non condizionati e i modelli SiT standard quando condizionato. Ad esempio, utilizzando REPA-E con caratteristiche DINOv2 (FDINO), il metodo ha raggiunto un Fréchet Inception Distance (FID) di 1.45 (Full Feature Map) e 2.30 (Masked), rispetto a 15.07 del baseline non condizionato. Il metodo ha inoltre dimostrato alti punteggi Inception (IS) e metriche di Precision/Recall.
• Allineamento a Livello di Istanza: Le immagini generate hanno mostrato un'alta similarità del coseno con le immagini ancora attraverso gli spazi di caratteristiche DINOv2, JEPA e CLIP, con valori PSNR che indicano una forte fedeltà a livello di pixel nelle ricostruzioni mascherate.
• Confronto con Text-to-Image: Rispetto a un baseline text-to-image (CAD-I) su COCO, REPA-G utilizzando caratteristiche visive ha ottenuto prestazioni superiori (FID di 2.11 vs 37.98 per il testo), suggerendo che le caratteristiche visive forniscono un segnale più denso e informativo rispetto alle didascalie testuali.
• Composizione Multi-Concetto: Nei compiti di generazione compositiva (combinare oggetti ancora con background target), le varianti di REPA-G (IPA e SPA) hanno superato significativamente i baseline class-conditional e di interpolazione in termini di punteggi CLIP e metriche di similarità patch-wise.

Significato e Rivendicazioni

Il paper sostiene che REPA-G offre un'alternativa flessibile e precisa ai prompt testuali spesso ambigui o alle etichette di classe grossolane. Operando interamente al tempo di inferenza, evita il costo computazionale e la complessità dell'addestramento di nuovi meccanismi di condizionamento o del fine-tuning dei modelli. Gli autori enfatizzano che l'efficacia del metodo è subordinata al fatto che il modello sia addestrato con l'allineamento della rappresentazione, il che assicura che lo spazio delle caratteristiche interne possieda la necessaria struttura semantica. Sebbene l'approccio richieda attualmente la regolazione della scala di guida $\lambda$ per i compiti compositivi e affronti sfide con la variazione dei punti di vista della scena, rappresenta un passo significativo verso una modellazione generativa controllabile e guidata dalle caratteristiche.