Contrastive-Augmented Flow Matching for Style-Content Disentanglement

Sintesi Tecnica: CAtFM (Contrastive-Augmented Flow Matching) per la Disgiunzione tra Stile e Contenuto

Definizione del Problema
Apprendere rappresentazioni che separino efficacemente contenuto e stile è fondamentale per la generazione controllabile e la generalizzazione compositiva. Tuttavia, gli approcci esistenti affrontano una dicotomia:

• Metodi discriminativi (ad es., apprendimento contrastivo) ottimizzano la separabilità delle caratteristiche e i confini decisionali, ma tipicamente modellano solo la distribuzione condizionale $P(y|x)$. Di conseguenza, faticano nella generalizzazione compositiva verso nuove combinazioni di fattori e non riescono a generare campioni coerenti con la struttura sottostante dei dati.
• Metodi generativi (ad es., modelli di diffusione e basati sul flusso come SCFlow) consentono la sintesi controllabile e il trasporto invertibile, ma spesso mancano di variabili latenti esplicitamente disgiunte. Addestrati principalmente con obiettivi generativi, questi modelli esibiscono una "disgiunzione non vincolata", in cui le rappresentazioni di contenuto e stile filtrano l'una nell'altra, risultando in fattori semanticamente disallineati o incompleti. Questo limite è particolarmente pronunciato quando si gestiscono combinazioni inedite di fattori familiari.

Metodologia: CAtFM
Gli autori propongono CAtFM (Contrastive-Augmented Flow Matching), un framework che integra la regolarizzazione contrastiva in una formulazione di flow matching invertibile. L'innovazione principale risiede nell'applicazione della supervisione contrastiva agli endpoint predetti piuttosto che ai latenti intermedi o ai campi di velocità.

1. Fondazione del Flow Matching: CAtFM si basa su SCFlow, che modella la fusione e la disgiunzione di stile-contenuto come un problema di trasporto deterministico tra una distribuzione sorgente disgiunta $p_0(x)$ e una distribuzione target fusa $p_1(x)$. Il modello apprende un campo di velocità $v_\theta(x_t, t)$ per trasportare i campioni tramite un'equazione differenziale ordinaria (ODE).
2. Costruzione degli Endpoint: Poiché i fattori puri di contenuto e stile non sono disponibili nella realtà, il metodo costruisce triplette di addestramento utilizzando coppie di riferimento contenuto-stile. L'endpoint sorgente $x_0$ è formato dalla concatenazione di un riferimento di contenuto (con uno stile casuale) e un riferimento di stile (con un contenuto casuale). L'endpoint target $x_1$ è l'immagine fusa (o il suo embedding).
3. Predizione Bidirezionale degli Endpoint: A differenza del Flow Matching standard che predice la velocità, CAtFM utilizza il campo di velocità appreso per ricostruire sia gli endpoint sorgente ($\hat{x}_0$) che target ($\hat{x}_1$) in un unico passaggio:
   • $\hat{x}_0 = x_t - t \cdot v_\theta(x_t, t)$
   • $\hat{x}_1 = x_t + (1-t) \cdot v_\theta(x_t, t)$
4. Regolarizzazione Contrastiva: Gli obiettivi contrastivi sono applicati direttamente a queste rappresentazioni ricostruite. La predizione concatenata viene divisa in metà contenuto e metà stile. Le perdite contrastive in-batch (ad es., InfoNCE, Margin Loss) sono applicate indipendentemente alle componenti di contenuto e stile utilizzando le rispettive etichette. Ciò impone compattezza intra-fattore e separazione inter-fattore senza assumere rappresentazioni strettamente pure o completamente fattorizzate.
5. Obiettivo di Addestramento: La perdita totale combina la perdita standard di Flow Matching ($\mathcal{L}_{FM}$) con la perdita contrastiva ($\mathcal{L}_{cont}$), pesata da un iperparametro $\lambda$:
   $$\mathcal{L}_{total} = \mathcal{L}_{FM} + \lambda \cdot \mathcal{L}_{cont}$$

Contributi Chiave

• Formulazione Innovativa: CAtFM è il primo framework per la disgiunzione stile-contenuto basato sul flow matching che utilizza le predizioni bidirezionali degli endpoint come segnali di apprendimento espliciti.
• Disgiunzione Implicita con Vincoli Espliciti: Il metodo mantiene la formulazione implicita e a bassa supervisione di SCFlow (dove la disgiunzione deriva dall'invertibilità del flusso), aggiungendo al contempo vincoli discriminativi espliciti per prevenire la fuga dei fattori.
• Robustezza allo Shift della Distribuzione: Accoppiando i vincoli discriminativi con il trasporto deterministico, il metodo ottiene una maggiore robustezza open-set e una migliore generalizzazione compositiva rispetto ai baseline puramente generativi o discriminativi.
• Agnosticismo della Rappresentazione: L'approccio è validato attraverso molteplici spazi di embedding congelati (CLIP, DINO, ALIGN), dimostrando che l'obiettivo proposto migliora la discriminazione dello stile e la fedeltà del contenuto indipendentemente dall'estrattore di caratteristiche sottostante.

Risultati Sperimentali
Gli autori valutano CAtFM su dati sintetici, stili inediti nel dominio e benchmark del mondo reale (ImageNet, WikiArt, DomainNet, DTD).

• Correttezza Semantica: CAtFM supera vanilla SCFlow e CLIP nella precisione del retrieval zero-shot sia per il contenuto che per lo stile. Ottiene una maggiore similarità del coseno con le descrizioni testuali e punteggi FID inferiori per la generazione forward.
• Disgiunzione: Le metriche quantitative mostrano miglioramenti significativi nella Notazione di Informazione Mutua Normalizzata (NMI) e nei punteggi di silhouette, indicando un clustering più stretto e una migliore separazione dei fattori di contenuto e stile nello spazio latente rispetto a SCFlow e ai baseline puramente discriminativi.
• Generalizzazione: Su dataset out-of-domain e classi di stile non viste, CAtFM dimostra prestazioni superiori nei compiti di retrieval (F1 score) e nella classificazione open-set (AUOC). Rifiuta efficacemente le classi viste quando presentate con query inedite, una capacità in cui i modelli puramente generativi spesso falliscono.
• Analisi Qualitativa: I risultati visivi confermano che CAtFM produce output di stile con un minimo di fuga di contenuto e rappresentazioni di contenuto che preservano indizi semantici più ampi e il contesto della scena rispetto a SCFlow.

Significatività e Rivendicazioni
Il paper sostiene che CAtFM fornisca un "modo semplice per accoppiare vincoli discriminativi con trasporto deterministico". Gli autori argomentano che, sebbene i modelli di flusso generativi forniscano una solida struttura per la disgiunzione tramite l'invertibilità, essi beneficiano significativamente dei vincoli contrastivi espliciti per evitare la fuga dei fattori. Il lavoro dimostra che l'integrazione di questi paradigmi produce rappresentazioni che non sono solo semanticamente coerenti e ben separate, ma anche robuste sotto i cambiamenti di distribuzione, affrontando i limiti dell'uso di approcci puramente generativi o discriminativi in isolamento. Gli autori osservano che il metodo attualmente opera in spazi di embedding congelati e che il lavoro futuro potrebbe estendere questo alla controllabilità a livello di pixel tramite spazi latenti VAE/diffusion.