Workflow-Aware Structured Layer Decomposition for Illustration Production

1. 문제 정의 (Problem Statement)

기존의 생성형 이미지 편집 및 분해 방법들은 주로 객체 기반 세그멘테이션 (Object-based Segmentation) 에 의존하거나 물리 기반의 내재적 분해 (Intrinsic Decomposition) 를 사용합니다. 그러나 이러한 접근 방식은 애니메이션 일러스트레이션의 특수성을 반영하지 못해 다음과 같은 한계가 존재합니다.

• 구조적 및 스타일적 특성의 무시: 애니메이션 제작은 선화 (Line Art), 평면 색 (Flat Color), 그림자 (Shadow), 하이라이트 (Highlight) 와 같은 기능적 레이어로 명확히 분리된 워크플로우를 따릅니다. 기존 방법들은 이러한 기능적 레이어를 분리하지 못하고 객체 단위 (예: 머리카락, 피부, 옷) 로만 분할하거나, 물리 법칙 (반사율, 조명) 에 기반하여 분해합니다.
• 엔탱글먼트 (Entanglement) 문제: 기존 모델들은 윤곽선, 색상 정보, 명암 효과를 단일 특징 공간에 얽매어 표현하여, 레이어 단위의 재조명 (Relighting) 이나 구조를 보존하는 변형이 어렵습니다.
• 물리 기반 분해의 부적합: 셀 쉐이딩 (Cel-shading) 등 애니메이션 특유의 비사실적 조명 conventions 은 물리 기반 조명 모델과 맞지 않아, 전통적인 분해 방법으로는 의미 없는 레이어가 생성되거나 스타일이 깨지는 문제가 발생합니다.

2. 방법론 (Methodology)

저자들은 애니메이션 제작 워크플로우에 부합하는 워크플로우 인식 구조화된 레이어 분해 프레임워크를 제안합니다. 주요 핵심 기술은 다음과 같습니다.

2.1. 워크플로우 인식 표현 (Workflow-Aware Representation)

이미지를 4 개의 기능적 레이어로 분해합니다:

1. Line Art (선화): 구조적 윤곽선.
2. Flat Color (평면 색): 기본 색상 정보.
3. Shadow (그림자): 명암 처리.
4. Highlight (하이라이트): 빛 반사 및 강조.

2.2. 레이어 분해형 Diffusion Transformer (Layer-Decoupled DiT)

• 기반 모델: Qwen-Image-Layered [38] 을 기반으로 한 VLD-MMDiT (Vision-Language Diffusion Multi-Modal Diffusion Transformer) 를 사용합니다.
• 레이어 시맨틱 임베딩 (Layer Semantic Embedding, LSE): 토큰 혼합으로 인한 레이어 간 간섭을 해결하기 위해 도입된 경량 모듈입니다. 각 레이어 (선화, 평면색, 빛, 그림자) 에 해당하는 토큰 시퀀스 구간마다 고유한 학습 가능한 임베딩 벡터를 가산 편향 (Additive Bias) 형태로 주입합니다. 이를 통해 어텐션 메커니즘이 확산 과정에서 각 토큰이 어떤 렌더링 역할을 수행하는지 명확히 구분하도록 유도합니다.
• LoRA 미세 조정 (Parameter-Efficient Fine-tuning): 백본 가중치는 고정 (Freeze) 하고, LoRA (Low-Rank Adaptation) 모듈과 레이어 임베딩 파라미터만 학습하여 레이어 간 과도한 결합 (Over-coupling) 을 방지하고 학습 안정성을 확보합니다.

2.3. 레이어별 감독 전략 (Layer-Wise Supervision)

단일 전역 손실 함수 대신 각 레이어의 특성에 맞춘 차별화된 손실 함수를 적용합니다:

• 선화 (Line Art): 구조적 선명도를 유지하기 위해 L1 Loss 적용.
• 평면색, 그림자, 하이라이트: MSE Loss 적용.
• 희소성 정규화 (Sparsity Regularization): 그림자와 하이라이트 레이어가 희소하고 레이어 간 누출이 없도록 L1 정규화 항 추가.
• 구성 일관성 제약 (Compositional Consistency): 분해된 4 개 레이어를 합성했을 때 원본 이미지와 전역적으로 일치하도록 보장하는 제약 조건 적용.

2.4. 데이터셋 구축

고품질의 레이어 분해된 애니메이션 데이터가 부족하다는 문제를 해결하기 위해, 전문 아티스트와 감독의 협력 하에 45 개의 고품질 5-튜플 데이터셋 (원본 이미지 + 선화/평면색/하이라이트/그림자 레이어) 을 구축했습니다. 이 데이터셋은 표준 애니메이션 제작 워크플로우를 시뮬레이션하여 생성되었습니다.

3. 주요 기여 (Key Contributions)

1. 워크플로우 인식 표현: 애니메이션 분해를 선화, 평면색, 하이라이트, 그림자라는 4 개의 기능적 렌더링 레이어로 공식화한 새로운 표현 방식 제시.
2. 제어 가능한 분해 모델: 레이어 시맨틱 임베딩과 레이어별 감독 손실을 도입하여 레이어 간 간섭을 줄이고 제어 가능한 분해를 가능하게 한 Layer-Decoupled DiT 모델 개발.
3. 고품질 데이터셋: 구조화된 이미지 분해 연구 지원을 위해 레이어가 정렬된 고품질 애니메이션 일러스트 데이터셋 공개.

4. 실험 결과 (Results)

• 정성적 평가: 기존 방법 (Ref2Sketch, Informative Drawings, Flux Kontext) 과 비교하여, 제안된 방법은 불필요한 선 (그림자 경계 등) 이 제거된 깨끗한 선화를 생성하고, 색상 이동 (Color Shift) 이나 퍼진 하이라이트 없이 원본과 높은 일관성을 유지하며 레이어를 분해합니다.
• 정량적 평가: 분해된 레이어를 재구성하여 원본 이미지와 비교한 결과, PSNR(27.79), SSIM(0.9254), LMSE(0.0017) 에서 기존 방법들보다 월등히 우수한 성능을 보였습니다.
• Ablation Study: 레이어 시맨틱 임베딩 (LSE) 이나 레이어별 손실 (LW-Loss) 을 제거할 경우, 레이어 간 엔탱글먼트가 발생하거나 색상/구조 왜곡이 심화됨을 확인하여 각 구성 요소의 중요성을 입증했습니다.

5. 의의 및 활용 (Significance & Applications)

이 연구는 애니메이션 및 일러스트레이션 제작 파이프라인에 직접적으로 적용 가능한 기술적 토대를 마련했다는 점에서 의의가 큽니다.

• 다운스트림 작업 지원: 분해된 레이어를 활용하여 재색칠 (Recoloring), 텍스처 임베딩, 2.5D 애니메이션, 스타일화된 편집 등이 용이해집니다.
• 프로페셔널 워크플로우 통합: 아티스트들이 손으로 그린 PSD 파일과 유사한 레이어 구조를 자동으로 생성하여, 그림자 모드 변경 (Multiply/Lighten) 이나 배경색 수정 등 효율적인 편집을 가능하게 합니다.
• 연구 기반 마련: 애니메이션 도메인에 특화된 구조화된 분해 데이터셋과 방법론을 제공함으로써, 향후 콘텐츠 생성 및 편집 연구의 기준을 제시합니다.

결론적으로, 이 논문은 생성형 AI 가 단순히 이미지를 생성하는 것을 넘어, 전문적인 제작 워크플로우에 부합하는 구조화된 자산 (Structured Assets) 으로 변환할 수 있는 가능성을 입증한 획기적인 연구입니다.