Technische Samenvatting: EmoStyle

Probleemstelling

Het artikel behandelt de uitdaging van emotie-bewuste artistieke beeldgeneratie, een taak die een model vereist dat gelijktijdig drie beperkingen kan voldoen: semantische getrouwheid aan een invoertekstprompt, naleving van een specifieke artistieke stijl, en de expressie van een doel-emotionele staat.

De kern van de moeilijkheid ligt in de controlegap tussen de beschikbare test-tijd inputs en de fijnmazige condities die nodig zijn voor generatie. Hoewel trainingsdatasets (zoals EmoArt) rijke gestructureerde annotaties bevatten—inclusief visuele attributen, valentie-arousal scores, dominante emoties en therapeutische effect-labels—zijn deze gestructureerde aanwijzingen afwezig op test-tijd. Het model ontvangt slechts een compacte inputprompt en een doel-stijlsegment (style bucket). Bijgevolg moet de generator impliciet afleiden hoe de doel-emotie vertaald moet worden naar specifieke visuele parameters (kleur, lichtinval, penseelvoering, compositie, lijn en lay-out) zonder expliciete sturing, een taak waar standaard op prompts geconditioneerde diffusiemodellen moeite mee hebben om met hoge getrouwheid uit te voeren.

Methodologie

De auteurs stellen EmoStyle voor, een framework gebouwd op het Z-Image diffusiemodel. Het systeem werkt via een vierfasen-pipeline ontworpen om de kloof te overbruggen tussen compacte prompts en gestructureerde generatiestaten:

1. Prompt-naar-Affect Planning (LLM Reasoner)

In plaats van de prompt te herschrijven of vrije vorm visuele attributen te genereren, gebruikt het systeem een LLM reasoner om ontbrekende affectieve en lay-out variabelen af te leiden. Gegeven de invoerbeschrijving ($x_i$) en het doel-stijlsegment ($y_i$), voorspelt de reasoner een gestructureerd affectief plan ($P_i$) bestaande uit:

• Affectieve Samenvatting ($F_i$): Continue valentie ($v$) en arousal ($\eta$) scores, een dominante emotie-label ($e$), en therapeutische effect-labels ($H$).
• Aspect Ratio Beslissing ($\rho$): Een voorspelde canvasoriëntatie om de resolutie te sturen.

Deze voorspellingen worden afgeleid van vooraf gedefinieerde vocabulaires en genormaliseerde continue bereiken, wat ervoor zorgt dat de controle-signalen compact en stabiel blijven.

2. Bucket-Specifieke Stijl LoRA Experts

Om de diversiteit aan artistieke stijlen aan te pakken, hanteert het framework een Mixture-of-Experts (MoE) benadering die is afgestemd op de beschikbare stijlsegmenten (bijv. inktwassing, ukiyo-e, gongbi, renaissance, abstract, etc.).

• Voor elk stijlsegment wordt een toegewijde LoRA (Low-Rank Adaptation) adapter getraind op de corresponderende subset van de EmoArt-dataset, terwijl de Z-Image backbone bevroren blijft.
• Tijdens de inferentie selecteert het systeem deterministisch de LoRA-expert die overeenkomt met het doel-stijlsegment. Dit biedt segment-specifieke priors voor kleur, textuur, penseelvoering en compositie, wat zorgt voor stijlconsistentie zonder complexe routingmechanismen.

3. Affectieve Conditie Modulatie

Het afgeleide affectieve plan wordt gecodeerd in een compacte affectieve conditie vector ($c_{i,aff}$) en geïnjecteerd in het denoising netwerk.

• Encoding: Continue valentie-arousal coördinaten worden gecodeerd met behulp van sinusvormige positionele encoding, terwijl discrete emotie- en therapeutische labels worden gemapt naar leerbare embeddings. Deze worden gecombineerd met een interactieterm om de relatie tussen continue intensiteit en discrete emotietypes te vangen.
• Modulatie: De affectieve vector wordt geïnjecteerd via AdaLN-stijl residuele modulatie. In plaats van een nieuwe laag toe te voegen, voorspelt de affectieve head residuele offsets ($\Delta s, \Delta g$) voor de natuurlijke schaal- en gate-parameters van de Z-Image blokken. Dit stelt de afgeleide emotionele aanwijzingen in staat om de intermediaire features (Attention en MLP lagen) direct te sturen, terwijl de stijl LoRA de artistieke verschijning afhandelt.

4. VLM-Gestuurde Kandidaat Verfijning

In het besef dat een enkele stochastische generatie er mogelijk niet in slaagt om alle beperkingen gelijktijdig te voldoen, hanteert het framework een test-tijd verfijningsstrategie.

• Meerdere kandidaat-beelden worden gegenereerd met verschillende willekeurige seeds.
• Een Vision-Language Model (VLM) beoordelaar (Qwen3.5-397B-A17B) evalueert elke kandidaat op basis van vier criteria: prompt-overeenkomst, stijlconsistentie, affectieve-plan consistentie, en no-reference visuele kwaliteit.
• De kandidaat met de hoogste geaggregeerde score wordt geselecteerd als de uiteindelijke output, waarbij geen extra training vereist is.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. LLM-gebaseerde Affectieve Planner: Een mechanisme dat ontbrekende gestructureerde affectieve (valentie-arousal, emotie-labels) en lay-out (aspect ratio) aanwijzingen afleidt uit compacte prompts en deze omzet in actieerbare generatievariabelen.
2. Ontkoppeld Stijl-Affect Framework: Een nieuwe architectuur bovenop Z-Image die de stijlselectie (via segment-specifieke LoRA experts) ontkoppelt van de affectieve modulatie (via AdaLN-stijl residuele injectie). Dit maakt het mogelijk om dezelfde affectieve aanwijzingen te renderen met verschillende stijl-specifieke priors.
3. VLM-gestuurde Verfijning: Een training-vrije test-tijd strategie die gegenereerde kandidaten rangschikt op basis van multidimensionale criteria (inhoud, stijl, affect, kwaliteit) om generatiefouten te mitigeren.

Experimentele Resultaten

Het framework werd geëvalueerd in Track 1 van de AffectiveArt Challenge 2026 (Emotion-Aware Artistic Image Generation) met behulp van de EmoArt dataset.

• Challenge Prestaties: De USTC_PI_LAB_TEAM inzending behaalde de 1e plaats met een algemene score van 0.80, waarmee zij het tweede geplaatste team (EmoForge, 0.78) versloeg.
• Kwantitatieve Metrieken: Op de lokale validatieset verminderde het volledige EmoStyle framework de FID (Frechet Inception Distance) van 75.84 (Base Z-Image) naar 58.64, wat wijst op aanzienlijk verbeterde visuele realisme. De AAS (Attribute Alignment Score) steeg van 0.73 naar 0.79, wat een betere afstemming met doelattributen aantoont.
• Ablatie Studies:
  • Het verwijderen van de aspect-ratio voorspelling veroorzaakte de meest significante FID-degradatie (naar 72.59), wat het belang van lay-out planning benadrukt.
  • Het verwijderen van de stijl-specifieke LoRA resulteerde in een merkbare daling in stijl-overeenkomst (van 0.75 naar 0.71), wat de noodzaak van gespecialiseerde adapters bevestigt.
  • Het verwijderen van de kandidaat verfijning degradeerde zowel de FID als de AAS, wat het nut van de VLM-gestuurde selectie valideert.
• Cross-Backbone Vergelijking: Wanneer toegepast op andere backbones (Flux2, GPT Image 2, Nano Banana 2) met enkel de model-agnostische componenten (planning en verfijning), verbeterde EmoStyle nog steeds de prestaties, hoewel de volledige architectuur op Z-Image de beste algemene resultaten opleverde.

Betekenis en Claims

Het artikel claimt dat EmoStyle effectief de kloof overbrugt tussen ongestructureerde prompts en de fijnmazige controle die vereist is voor emotionele artistieke generatie. Door de inferentie van affectieve staten expliciet te modelleren en de stijlspecialisatie te ontkoppelen van de emotionele modulatie, stelt het framework de generator in staat om "niet alleen te beslissen wat er afgebeeld wordt, maar ook hoe de doel-emotie uitgedrukt moet worden."

De auteurs positioneren het werk als een oplossing voor de "controlegap" in test-tijd generatie, waarbij zij aantonen dat gestructureerd redeneren (LLM planning) gecombineerd met parameter-efficiënte adaptatie (LoRA) en test-tijd schaling (VLM verfijning) state-of-the-art resultaten kan bereiken in emotie-bewuste creatieve vormgeving zonder de basis diffusie backbone te hertrainen. Het succes in de AffectiveArt Challenge 2026 dient als empirische validatie van deze gestructureerde affectieve conditionering aanpak.