Riepilogo Tecnico: EmoStyle

Problematica

Il documento affronta la sfida della generazione di immagini artistiche sensibili alle emozioni (emotion-aware artistic image generation), un compito che richiede a un modello di soddisfare simultaneamente tre vincoli: la fedeltà semantica a un prompt testuale di input, l'aderenza a uno stile artistico specificato e l'espressione di uno stato emotivo target.

La difficoltà principale risiede nel gap di controllo tra gli input disponibili al momento del test e le condizioni fini richieste per la generazione. Sebbene i dataset di addestramento (come EmoArt) contengano ricche annotazioni strutturate — inclusi attributi visivi, punteggi di valenza-arousal, emozioni dominanti ed etichette di effetto terapeutico — tali segnali strutturati sono assenti al momento del test. Il modello riceve solo un prompt compatto e un bucket di stile target. Di conseguenza, il generatore deve inferire implicitamente come tradurre l'emozione target in parametri visivi specifici (colore, illuminazione, pennellata, composizione, linea e layout) senza una guida esplicita, un compito che i modelli di diffusione standard condizionati da prompt faticano a eseguire con alta fedeltà.

Metodologia

Gli autori propongono EmoStyle, un framework basato sul modello di diffusione Z-Image. Il sistema opera attraverso una pipeline a quattro stadi progettata per colmare il divario tra prompt compatti e stati di generazione strutturati:

1. Pianificazione dall'Affect al Prompt (LLM Reasoner)

Invece di riscrivere il prompt o generare attributi visivi a forma libera, il sistema impiega un ragionatore LLM per inferire le variabili affettive e di layout mancanti. Dato il caption di input ($x_i$) e il bucket di stile target ($y_i$), il ragionatore predice un piano affettivo ($P_i$) strutturato composto da:

• Sommario Affettivo ($F_i$): Punteggi continui di valenza ($v$) e arousal ($\eta$), un'etichetta di emozione dominante ($e$) e etichette di effetto terapeutico ($H$).
• Decisione del Rapporto d'Aspetto ($\rho$): Un'orientazione del canvas predetta per guidare la risoluzione.

Queste predizioni sono derivate da vocabolari predefiniti e intervalli continui normalizzati, garantendo che i segnali di controllo rimangano compatti e stabili.

2. Esperti LoRA Specifici per Bucket

Per gestire la diversità degli stili artistici, il framework adotta un approccio Mixture-of-Experts (MoE) adattato ai bucket di stile disponibili (es. inkwash, ukiyoe, gongbi, rinascimentale, astratto, ecc.).

• Per ogni bucket di stile, un adattatore LoRA (Low-Rank Adaptation) dedicato viene addestrato sul corrispondente sottoinsieme del dataset EmoArt, mantenendo congelato il backbone Z-Image.
• Durante l'inferenza, il sistema seleziona deterministicamente l'esperto LoRA corrispondente al target bucket di stile. Ciò fornisce prior specifici per il bucket per colore, texture, pennellata e composizione, garantendo la coerenza dello stile senza complessi meccanismi di routing.

3. Modulazione della Condizione Affettiva

Il piano affettivo inferito viene codificato in un vettore di condizione affettiva compatto ($c_{i,aff}$) e iniettato nella rete di denoising.

• Codifica: Le coordinate continue di valenza-arousal sono codificate tramite posizionamento sinusoidale, mentre le etichette discrete di emozione e terapia sono mappate in embedding apprendibili. Queste vengono combinate con un termine di interazione per catturare la relazione tra intensità continua e tipi di emozione discreti.
• Modulazione: Il vettore affettivo viene iniettato tramite modulazione residua in stile AdaLN. Invece di aggiungere un nuovo livello, la testa affettiva predice offset residui ($\Delta s, \Delta g$) ai parametri nativi di scala e gate dei blocchi di Z-Image. Ciò consente ai segnali emotivi inferiti di guidare direttamente le feature intermedie (livelli di Attention e MLP), mentre lo stile LoRA gestisce l'aspetto artistico.

4. Raffinamento dei Candidati Guidato da VLM

Riconoscendo che una singola generazione stocastica può fallire nel soddisfare simultaneamente tutti i vincoli, il framework impiega una strategia di raffinamento al tempo di test.

• Vengono generate molteplici immagini candidate utilizzando diversi seed casuali.
• Un giudice VLM (Qwen3.5-397B-A17B) valuta ogni candidato basandosi su quattro criteri: allineamento al prompt, coerenza dello stile, coerenza del piano affettivo e qualità visiva no-reference.
• Il candidato con il punteggio aggregato più alto viene selezionato come output finale, senza richiedere ulteriore addestramento.

Contributi Chiave

Il documento delinea tre contributi primari:

1. Pianificatore Affettivo Basato su LLM: Un meccanismo che inferisce i segnali affettivi strutturati mancanti (valenza-arousal, etichette emotive) e di layout (rapporto d'aspetto) dai prompt compatti, convertendoli in variabili di generazione azionabili.
2. Framework Decoupled Style-Affect: Un'architettura innovativa sopra Z-Image che separa la selezione dello stile (tramite esperti LoRA specifici per bucket) dalla modulazione affettiva (tramite iniezione residua in stile AdaLN). Ciò consente agli stessi segnali affettivi di essere renderizzati con distinti prior specifici per lo stile.
3. Raffinamento Guidato da VLM: Una strategia di test-time senza addestramento che classifica i candidati generati in base a criteri multidimensionali (contenuto, stile, affetto, qualità) per mitigare i fallimenti di generazione.

Risultati Sperimentali

Il framework è stato valutato nel Track 1 dell'AffectiveArt Challenge 2026 (Generazione di Immagini Artistiche Sensibili alle Emozioni) utilizzando il dataset EmoArt.

• Performance nella Challenge: La sottomissione USTC_PI_LAB_TEAM ha ottenuto il 1° posto con un punteggio complessivo di 0.80, superando il secondo classificato (EmoForge, 0.78).
• Metriche Quantitative: Sul set di validazione locale, l'intero framework EmoStyle ha ridotto l'FID (Frechet Inception Distance) da 75.84 (Base Z-Image) a 58.64, indicando un miglioramento significativo del realismo visivo. L'AAS (Attribute Alignment Score) è aumentato da 0.73 a 0.79, dimostrando un migliore allineamento con gli attributi target.
• Studi di Ablazione:
  • La rimozione della predizione del rapporto d'aspetto ha causato la degradazione più significativa del FID (a 72.59), evidenziando l'importanza della pianificazione del layout.
  • La rimozione dello stile LoRA specifico ha causato un calo notevole dell'allineamento dello stile (da 0.75 a 0.71), confermando la necessità di adattatori specializzati.
  • La rimozione del raffinamento dei candidati ha degradato sia il FID che l'AAS, validando l'utilità della selezione guidata da VLM.
• Confronto Cross-Backbone: Quando applicato ad altri backbone (Flux2, GPT Image 2, Nano Banana 2) utilizzando solo le componenti agnostiche rispetto al modello (pianificazione e raffinamento), EmoStyle ha comunque migliorato le prestazioni, sebbene l'architettura completa su Z-Image abbia prodotto i risultati migliori in assoluto.

Significato e Rivendicazioni

Il documento afferma che EmoStyle colma efficacemente il divario tra prompt non strutturati e il controllo fine richiesto per la generazione artistica emotiva. Modellando esplicitamente l'inferenza degli stati affettivi e separando la specializzazione dello stile dalla modulazione emotiva, il framework consente al generatore di "decidere non solo cosa raffigurare, ma anche come l'emozione target debba essere espressa".

Gli autori pongono questo lavoro come una soluzione al "control gap" nella generazione al tempo di test, dimostrando che il ragionamento strutturato (pianificazione LLM), combinato con l'adattamento efficiente dei parametri (LoRA) e lo scaling al tempo di test (raffinamento VLM), può raggiungere risultati allo stato dell'arte nel design creativo sensibile alle emozioni senza riaddestrare il backbone di diffusione base. Il successo nell'AffectiveArt Challenge 2026 funge da validazione empirica di questo approccio di condizionamento affettivo strutturato.