Controlla: Learning Controllability via Graph-Constrained Latent Geometry

Riepilogo Tecnico: Apprendimento della Controllabilità tramite Geometria Latente Vincolata da Grafi

Enunciato del Problema
L'attuale generazione multimodale controllabile, in particolare nei modelli di diffusione e nei transformer di diffusione, è formulata prevalentemente come un problema di condizionamento al momento dell'inferenza. Sebbene i metodi che utilizzano prompt, guida o moduli ausiliari (ad esempio ControlNet, DreamBooth) possano generare output realistici, spesso mancano di un meccanismo esplicito per strutturare l'evoluzione degli attributi semantici. Ciò porta a tre principali modalità di fallimento:

1. Deriva dell'Identità: Cambiamenti indesiderati nell'identità del soggetto durante le modifiche semantiche.
2. Comportamento Cross-Modale Incoerente: Disallineamento tra output testuali, audio e visivi.
3. Deriva Semantica: Stati intermedi imprevedibili o instabili durante la traversata degli attributi.

Gli approcci esistenti trattano la controllabilità come un vincolo esterno imposto a spazi latenti impliciti, piuttosto che come una proprietà della geometria latente stessa. Di conseguenza, le modifiche semantiche sono spesso imposte euristically anziché emergere da rappresentazioni strutturate.

Metodologia: Controlla
Gli autori propongono Controlla, un framework modulare a controllo fattorizzato che ridefinisce la controllabilità come una proprietà della geometria latente strutturata. Invece di affidarsi esclusivamente al condizionamento al momento dell'inferenza, Controlla apprende uno spazio latente strutturato a grafo in cui gli attributi semantici evolvono lungo traiettorie coerenti con il grafo, preservando l'identità fondata sul riferimento.

Il framework opera attraverso i seguenti componenti:

1. Fattorizzazione Multimodale: Dati gli input (immagine target, immagine di riferimento, testo, audio), viene appresa una rappresentazione condivisa $z$ e fattorizzata in due componenti distinte:

   • Fattore Attributo ($z_{attr}$): Cattura le variazioni semantiche (ad esempio, l'emozione).
   • Fattore Identità ($z_{id}$): Codifica l'identità fondata sul riferimento dall'immagine di riferimento.
   • La disentanglement è enforced tramite vincoli di ortogonalità ($L_\perp$) e regolarizzazione di Lipschitz ($L_L$) per garantire trasformazioni fluide.

2. Priors a Grafo: Due grafi costruiti offline definiscono la struttura relazionale:

   • Grafo delle Emozioni ($G_e$): Cattura le relazioni semantiche tra stati affettivi in uno spazio unificato di valenza-eccitazione.
   • Grafo dell'Identità ($G_i$): Codifica le relazioni tra le identità di riferimento per incoraggiare una struttura compatta intra-identità.

3. Trasporto Ottimale Vincolato da Grafo (Graph-OT): Il meccanismo di allineamento centrale utilizza il Trasporto Ottimale per allineare i fattori latenti appresi con i priors a grafo:

   • Gromov–Wasserstein Fuso (FGW): Allinea lo spazio degli attributi con il grafo delle emozioni, garantendo che le distanze relative tra gli embedding degli attributi latenti corrispondano alle distanze semantiche in $G_e$.
   • Gromov–Wasserstein (GW): Allinea lo spazio dell'identità con il grafo dell'identità $G_i$ per mantenere una struttura relazionale coerente e prevenire la deriva dell'identità.

4. Meccanismo di Controllo: Durante la generazione, il fattore di identità $z_{id}$ viene mantenuto fisso, mentre il fattore di attributo $z_{attr}$ viene attraversato lungo percorsi coerenti con il grafo delle emozioni. Ciò induce cambiamenti semantici strutturati e prevedibili senza condizionamento euristico esterno.

Contributi Chiave

1. Cambiamento di Formulazione: Il documento propone una formulazione in cui la controllabilità è favorita da trasformazioni latenti coerenti con il grafo, piuttosto che dal solo condizionamento al momento dell'inferenza.
2. Framework Controlla: Un'architettura modulare composta da un encoder di fattorizzazione multimodale, un modulo di allineamento Graph-OT e adattatori di condizionamento del generatore fattorizzati.
3. Benchmark AffectHuman-43K: La costruzione di un nuovo benchmark multimodale consapevole delle perdite, progettato per il controllo affettivo fondato sul riferimento. A differenza dei dataset co-registrati naturalmente, decoupla esplicitamente l'identità visiva (specificata da un'immagine di riferimento) dai segnali di controllo affettivo (testo e audio). Presenta split disgiunti per l'identità con 0% di perdita di identità di riferimento tra gli split.
4. Metriche Consapevoli della Geometria: Introduzione di metriche per valutare la coerenza della traiettoria (Coerenza Geodetica), la disentanglement latente (Punteggio di Disentanglement Latente) e la fluidità della traiettoria, andando oltre la semplice accuratezza degli endpoint.

Risultati
Gli esperimenti su AffectHuman-43K e le valutazioni cross-dataset (AffectNet, CelebA-HQ) dimostrano che Controlla ottiene miglioramenti coerenti rispetto a forti baseline, inclusi StyleCLIP, ControlNet++, ICEdit, FLUX.1 Kontext e ibridi DreamBooth.

• Prestazioni: Controlla mostra prestazioni superiori in accuratezza delle emozioni (Acc), fluidità della traiettoria (TS) e preferenza umana (H).
• Geometria: Il metodo ottiene una maggiore disentanglement latente (LDS) e una minore incoerenza geodetica (GC), confermando che l'attraversamento appreso segue la struttura del grafo prevista.
• Preservazione dell'Identità: Il framework mantiene una similarità dell'identità (ID-Sim) e un AUC di verifica competitivi o superiori, anche sotto grandi trasformazioni semantiche.
• Studi di Ablazione: La rimozione dei vincoli a grafo o del grounding multimodale porta a un degrado significativo nella controllabilità e nella coerenza dell'identità, validando che i guadagni derivano dalla geometria latente strutturata piuttosto che dal solo condizionamento aggiuntivo.

Significato e Affermazioni
Il documento afferma un passaggio dal controllo euristico guidato dai prompt verso un apprendimento di rappresentazione guidato dalla geometria. Modellando la controllabilità come una proprietà della geometria latente globale, Controlla abilita trasformazioni fluide e che preservano l'identità lungo traiettorie coerenti con il grafo. Gli autori affermano che il loro approccio affronta la natura fondamentalmente sottodeterminata dell'editing multimodale attuale strutturando esplicitamente lo spazio latente.

Il lavoro è presentato come una giustificazione a livello di rappresentazione condizionale: se l'allineamento a grafo, la stabilità dell'identità, la separazione dei fattori e la fluidità locale sono ottimizzati, l'attraversamento semantico produce variazioni di output limitate. Il documento non afferma di risolvere tutte le sfide generative o di garantire l'ottimalità globale, ma dimostra piuttosto che imporre una struttura a grafo sulle direzioni latenti migliora la controllabilità, la preservazione dell'identità e l'allineamento cross-modale in modo misurabile e riproducibile. Si nota che il lavoro futuro potrebbe estendere questo framework a video e a fattori di controllo più ampi definiti da grafi.