기술 요약: EmoStyle

문제 정의

본 논문은 **감정 인지적 예술 이미지 생성(emotion-aware artistic image generation)**이라는 과제를 다룹니다. 이 작업은 모델이 입력된 텍스트 프롬프트에 대한 의미론적 충실도(semantic fidelity), 지정된 예술적 스타일 준수, 그리고 목표 감정 상태의 표현이라는 세 가지 제약 조건을 동시에 만족해야 하는 과제입니다.

핵심적인 어려움은 사용 가능한 테스트 시점의 입력값과 생성을 위해 필요한 미세한 조건 사이의 **제어 격차(control gap)**에 있습니다. EmoArt와 같은 학습 데이터셋에는 시각적 속성, 밸런스-각성(valence-arousal) 점수, 지배적 감정, 치료 효과 레이블을 포함한 풍부하고 구조화된 주석이 포함되어 있지만, 이러한 구조화된 단서들은 테스트 시점에는 존재하지 않습니다. 모델은 오직 압축된 입력 프롬프트와 목표 스타일 버킷(style bucket)만을 받게 됩니다. 결과적으로, 생성기는 명시적인 가이드 없이도 목표 감정을 특정 시각적 파라미터(색상, 조명, 붓터치, 구도, 선, 레이아웃)로 어떻게 번역할지를 암묵적으로 추론해야 하며, 이는 표준적인 프롬프트 조건부 확산 모델(diffusion models)이 높은 충실도로 수행하기 어려운 작업입니다.

방법론

저자들은 Z-Image 확산 모델을 기반으로 구축된 EmoStyle 프레임워크를 제안합니다. 이 시스템은 압축된 프롬프트와 구조화된 생성 상태 사이의 간극을 메우기 위해 설계된 4단계 파이프라인을 통해 작동합니다.

1. 프롬프트-감정 계획 (LLM Reasoner)

프롬프트를 재작성하거나 자유 형식의 시각적 속성을 생성하는 대신, 시스템은 **LLM 리즈너(LLM reasoner)**를 사용하여 누락된 정동(affective) 및 레이아웃 변수를 추론합니다. 입력 캡션($x_i$)과 목표 스타일 버킷($y_i$)이 주어지면, 리즈너는 다음과 같이 구성된 구조화된 **감정 계획(affective plan, $P_i$)**을 예측합니다:

• 감정 요약 ($F_i$): 연속적인 밸런스($v$) 및 각성($\eta$) 점수, 지배적인 감정 레이블($e$), 그리고 치료 효과 레이블($H$).
• 종횡비 결정 ($\rho$): 해상도를 가이드하기 위해 예측된 캔버스 방향.

이러한 예측은 사전 정의된 어휘집과 정규화된 연속 범위를 통해 도출되며, 이를 통해 제어 신호가 압축적이고 안정적으로 유지되도록 합니다.

2. 버킷별 스타일 LoRA 전문가 (Bucket-Specific Style LoRA Experts)

다양한 예술적 스타일을 처리하기 위해, 본 프레임워크는 사용 가능한 스타일 버킷(예: 수묵화, 우키요에, 공필화, 르네상스, 추상 등)에 맞춘 전문가 혼합(Mixture-of-Experts, MoE) 접근 방식을 채택합니다.

• 각 스타일 버킷에 대해, Z-Image 백본을 동결한 상태에서 EmoArt 데이터셋의 해당 서브셋을 사용하여 전용 LoRA(Low-Rank Adaptation) 어댑터를 학습시킵니다.
• 추론 시, 시스템은 목표 스타일 버킷에 해당하는 LoRA 전문가를 결정론적으로 선택합니다. 이는 복잡한 라우팅 메커니즘 없이도 색상, 질감, 붓터치, 구도에 대한 **버킷별 사전 지식(bucket-specific priors)**을 제공하여 스타일 일관성을 보장합니다.

3. 감정 조건 변조 (Affective Condition Modulation)

추론된 감정 계획은 압축된 감정 조건 벡터($c_{i,aff}$)로 인코딩되어 디노이징 네트워크에 주입됩니다.

• 인코딩: 연속적인 밸런스-각성 좌표는 사인 함수 기반 위치 인코딩(sinusoidal positional encoding)을 사용하여 임베딩되며, 이산적 감정 및 치료 레이블은 학습 가능한 임베딩으로 매핑됩니다. 이들은 연속적인 강도와 이산적인 감정 유형 간의 관계를 포착하기 위해 상호작용 항(interaction term)과 결합됩니다.
• 변조: 감정 벡터는 **AdaLN 스타일의 잔차 변조(residual modulation)**를 통해 주입됩니다. 새로운 레이어를 추가하는 대신, 감정 헤드는 Z-Image 블록의 네이티브 스케일 및 게이트 파라미터에 대한 잔차 오프셋($\Delta s, \Delta g$)을 예측합니다. 이를 통해 추론된 감정적 단서가 스타일 LoRA가 예술적 외형을 담당하는 동안 중간 특징(Attention 및 MLP 레이어)을 직접 가이드할 수 있게 합니다.

4. VLM 가이드 후보군 정제 (VLM-Guided Candidate Refinement)

단일 확률적 생성이 모든 제약 조건을 동시에 만족하지 못할 수 있음을 인지하여, 프레임워크는 테스트 시점 정제(test-time refinement) 전략을 사용합니다.

• 서로 다른 랜덤 시드를 사용하여 여러 후보 이미지를 생성합니다.
• VLM 판사(Vision-Language Model judge) (Qwen3.5-397B-A17B)가 프롬프트 정렬도, 스타일 일관성, 감정 계획 일관성, 참조 없는 시각적 품질라는 네 가지 기준에 따라 각 후보를 평가합니다.
• 가장 높은 총점을 받은 후보가 최종 출력물로 선택되며, 이 과정에는 추가적인 학습이 필요하지 않습니다.

주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. LLM 기반 감정 플래너: 압축된 프롬프트로부터 누락된 구조화된 감정(밸런스-각성, 감정 레이블) 및 레이아웃(종횡비) 단서를 추론하여 실행 가능한 생성 변수로 변환하는 메커니즘.
2. 디커플링된 스타일-감정 프레임워크: 스타일 선택(버킷별 LoRA 전문가를 통해)과 감정 변조(AdaLN 스타일 잔차 주입을 통해)를 분리한 Z-Image 상의 새로운 아키텍처. 이를 통해 동일한 감정 단서가 서로 다른 스타일별 사전 지식으로 렌더링될 수 있습니다.
3. VLM 가이드 정제: 생성 실패를 완화하기 위해 다차원 기준(내용, 스타일, 감정, 품질)을 바탕으로 생성된 후보들의 순위를 매기는 학습이 필요 없는 테스트 시점 확장 전략.

실험 결과

프레임워크는 EmoArt 데이터셋을 사용하여 AffectiveArt Challenge 2026의 Track 1(감정 인지적 예술 이미지 생성)에서 평가되었습니다.

• 챌린지 성적: USTC_PI_LAB_TEAM 제출물은 전체 점수 0.80으로 1위를 차지하며, 2위 팀(EmoForge, 0.78)을 앞섰습니다.
• 정량적 지표: 로컬 검증 세트에서 전체 EmoStyle 프레임워크는 FID(Frechet Inception Distance)를 기존 Base Z-Image의 75.84에서 58.64로 낮추어 시각적 사실성을 크게 개선했습니다. AAS(Attribute Alignment Score)는 0.73에서 0.79로 증가하여 목표 속성과의 정렬이 개선되었음을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 종횡비 예측을 제거했을 때 FID 저하가 가장 심하게 나타나(72.59), 레이아웃 계획의 중요성을 입증했습니다.
  • 스타일별 LoRA를 제거하면 스타일 정렬도가 눈에 띄게 감소하여(0.75에서 0.71로), 특화된 어댑터의 필요성을 확인했습니다.
  • 후보 정제를 제거하면 FID와 AAS가 모두 저하되어, VLM 가이드 선택의 유용성을 검증했습니다.
• 크로스 백본 비교: 모델 불가지론적 구성 요소(플래닝 및 정제)만을 사용하여 다른 백본(Flux2, GPT Image 2, Nano Banana 2)에 적용했을 때도 EmoStyle은 성능 향상을 보였으나, Z-Image 상의 전체 아키텍처가 가장 우수한 종합 결과를 냈습니다.

의의 및 주장

본 논문은 EmoStyle이 비구조화된 프롬프트와 감정적 예술 생성을 위해 필요한 미세한 제어 사이의 간극을 효과적으로 메운다고 주장합니다. 감정 상태의 추론을 명시적으로 모델링하고 스타일 전문화와 감정 변조를 분리함으로써, 이 프레임워크는 생성기가 "무엇을 묘사할 것인가뿐만 아니라, 목표 감정이 어떻게 표현되어야 하는가까지 결정"할 수 있게 합니다.

저자들은 이 연구를 테스트 시점 생성의 "제어 격차"에 대한 해결책으로 제시하며, 구조화된 추론(LLM 플래닝)이 매개변수 효율적 적응(LoRA) 및 테스트 시점 스케일링(VLM 정제)과 결에는 기본 확산 백본을 재학습하지 않고도 최첨단(state-of-the-art) 결과를 달달성할 수 있음을 입증했습니다. AffectiveArt Challenge 2026에서의 성공은 이러한 구조화된 감정 조건화 접근 방식의 실증적 검증 역할을 합니다.