기술 요약: UniWorld-Design

문제 정의

현재의 텍스트-이미지 생성 모델은 주로 평면적인 RGB 캔버스를 합성합니다. 이러한 모델들은 시각적으로 매력적인 결과를 만들어내지만, 명시적이고 편집 가능한 구조는 결여되어 있습니다. 이러한 평면적 표현 방식에서 픽셀은 이미지가 어떻게 렌더링되는지는 정의하지만, 그것이 어떻게 구성되었는지, 어떤 의미론적 요소를 포함하고 있는지, 또는 그 요소들을 어떻게 조작해야 하는지는 설명하지 못합니다. 레이어드 디자인이 래스터 이미지로 평면화되면, 객체 계층 구조, 레이어 순서, 그리고 폐쇄(occlusion)에 의해 가려진 콘텐츠를 포함한 편집 가능한 구조가 소실됩니다. 후속 편집 시도는 픽셀로부터 이 구조를 재구성해야 하며, 이 과정은 일반적으로 불완전하며 가려진 콘텐츠를 복구하거나 원래의 레이어 스택을 유지하는 데 자주 실패합니다. 기존의 세그멘테이션 및 편집 방법들은 편집 영역을 국소화하거나 가시적인 영역을 추출할 수는 있지만, 원래의 의미론적 레이어링이나 숨겨진 콘텐츠를 재구성하지는 못합니다.

방법론

저자들은 UniWorld-Design이라는 프레임워크를 제안하며, 이는 의미론적 RGBA(Red, Green, Blue, Alpha) 레이어를 생성, 분해 및 편집의 원자적 단위(atomic units)로 취급함으로써 이미지 생성과 이해를 재정의합니다. 이 프레임워크는 레이어 네이티브 시각 공간 내에서 작동하는 두 가지 주요 모델로 구성됩니다.

1. 핵심 모델

• Text-to-RGBA (T2RGBA): 텍스트 프롬프트로부터 독립형(standalone)의 재사용 가능한 RGBA 에셋을 직접 생성합니다. 이는 RGBA를 네이티브 구성 표현으로 취급하여, 각 객체가 고유한 색상과 알파 채널을 갖도록 인코딩함으로써 독립적으로 배치되고 합성될 수 있도록 보장합니다.
• Image-to-Layer (I2L): 완성된 합성 이미지, 글로벌 작업 지침, 그리고 레이어별 프롬프트를 조건으로 사용합니다. I2L은 공유 캔버스 위에 완전한 의미론적 RGBA 레이어들의 정렬된 스택을 공동으로 생성합니다. 고정된 세그멘테이션 분류 체계와 달리, I2L은 분해를 지시 가능한 작업으로 취급하여 다음을 지원합니다:
  • 최상위 분해(Top-level decomposition): 완성된 이미지를 지정된 의미론적 레이어로 분리합니다.
  • 재귀적 분해(Recursive decomposition): 선택된 레이어를 더 세밀한 구성 요소로 정교화합니다.
  • 타겟 추출(Targeted extraction): 선택되지 않은 나머지 부분으로부터 요청된 콘텐츠를 분리합니다.

2. 아키텍처 혁신

• LIB-MMDiT (Layer–Instruction Binding MMDiT): 의미론적 설명이 전체 스택이 아닌 특정 출력 레이어를 제어해야 하는 대응 문제(correspondence problem)를 해결하기 위해, 저자들은 특화된 어텐션 메커니즘을 도입했습니다.
  • 레이어-지시 바인딩 어텐션(Layer–Instruction Binding Attention): 글로벌 지침은 모든 이미지 쿼리에 브로드캐스트되는 반면, 특정 레이어 프롬프트는 마스킹 메커니즘을 통해 해당 레이어 토큰에만 제한됩니다.
  • 레이어 인덱스 기반 3D 회전 위치(Layer-Indexed 3D Rotary Positions): 모델은 새로운 위치 축을 추가하는 대신, 베이스 트랜스포머의 상수 좌표를 재사용하여 레이어 정체성(인덱스 $i$)을 인코딩합니다. 이를 통해 서로 다른 레이어의 토큰들이 동일한 캔버스 $(h, w)$에 정렬된 상태를 유지하면서도 구별되는 레이어 정체성을 가질 수 있게 합니다.
• RGBA 오토인코더(RGBA Autoencoder): 이 프레임워크는 사전 학습된 RGB 오토인코더에 네 번째 알파 채널을 추가하여 확장합니다. 인코더와 디코더는 투명한 RGBA와 불투명한 RGB 이미지가 혼합된 데이터로 학습되며, RGB-잠재 공간 정렬 항(RGB-latent alignment term)을 활용하여 불투명한 이미지의 인코딩이 사전 학습된 잠재 공간과 밀접하게 유지되도록 합니다.

3. 학습 전략

• 데이터 구축: I2L을 위한 학습 데이터는 디자이너가 작성한 PSD 문서에서 파생되었습니다. 저자들은 PSD 레이어를 렌더링하고 이를 의미론적 트리로 구성하여, 가시적 픽셀 분할(visible-pixel partitions)과 달리 폐쇄에 의해 가려진 콘텐츠까지 보존합니다. 이를 통해 모델이 완전한 의미론적 객체를 학습할 수 있습니다.
• 점진적 증류(Progressive Distillation): 여러 단계의 풀 해상도 레이어를 생성하는 데 따르는 샘플링 비용을 줄이기 위해, 저자들은 점진적 적대적 증류를 사용합니다. 학생 모델은 다단계 교사 모델이 도달한 플로우 로케이션(flow location)을 단일 단계에서 예측하도록 학습됩니다.
• DiffusionNFT 사후 학습(Post-Training): 모델은 보상 기반의 사후 학습을 거칩니다.
  • T2RGBA는 알파 추종(alpha-following), CLIP 스타일의 프롬프트-이미지 유사도(Qwen3-VL), 그리고 MLLM 기반 스코어링(Qwen3.5-9B)에 기반한 보상을 사용합니다.
  • I2L은 타겟 레이어 전반에 걸쳐 RGBA 채널의 평균 절대 오차(L1)와 RGB 채널의 지각 손실(LPIPS)에 기반한 보상을 사용합니다.

주요 기여

1. 레이어 네이티브 정식화(Layer-Native Formulation): 본 논문은 의미론적 RGBA 레이어가 생성, 분해 및 편집의 원자적 단위 역할을 하는 프레임워크를 도입합니다. 이는 지속적이고 독립적으로 조작 가능한 객체 상태를 노출하여, 외부 디자인 에이전트가 편집을 계획하고 실행할 수 있는 구조화된 인터페이스를 제공합니다.
2. 이중 모델 시스템: T2RGBA(에셋 생성을 위함)와 I2L(지시 제어형 분해를 위함)을 통해 이 정식화를 실현했습니다. I2L은 최상위, 재귀적, 타겟 분해를 하나의 인터페이스로 통합하여, 가시적 픽셀 분할이 아닌 완전한 의미론적 객체를 학습합니다.
3. 체계적 평가: 레이어별 충실도, 투명도, 편집 가능성 및 에셋 생성 능력을 포괄하는 종합적인 평가를 수행했습니다.

결과

프레임워크는 Crello 벤치마크(512개 디자인)와 T2RGBA를 위한 별도의 홀드아웃 세트에서 평가되었습니다.

• Image-to-Layer (I2L) 성능:
  • Qwen-Image-Layered와 비교했을 때, I2L은 레이어당 RGB L1 오차를 37% 감소시켰습니다 (0.2014에서 0.1264로).
  • Alpha Soft IoU에서 34%의 상대적 개선을 달성했습니다 (0.5454에서 0.7325로).
  • "Bad Layers"(빈 화면 또는 글레이즈 처리된 출력)를 33% 감소시켰으며 (42.3%에서 33.0%로), 빈 레이어(blank layers)는 63% 감소시켰습니다.
  • 의미론적 분리, 콘텐츠 분포, 콘텐츠 유효성 등의 차원에서 더 높은 VLM 기반 점수(20.43 vs. 17.60)를 획득했으나, 알파 깨끗함(alpha cleanliness) 측면에서는 약간 낮은 점수를 기록했습니다.
• Text-to-RGBA (T2RGBA) 성능:
  • 비교 모델 중 가장 높은 CLIP Score(33.03)를 달성하여(LayerDiffuse: 29.22; OmniAlpha: 31.00), 우수한 텍스트 정렬도를 보여주었습니다.
  • OmniAlpha가 더 낮은 FID(87.86 vs. 117.14)와 약간 더 나은 Alpha MSE/SAD를 달성했지만, T2RGBA는 재사용 가능한 에셋을 생성하는 데 있어 강력한 성능을 입증했습니다.

의의 및 주장

본 논문은 시각적 콘텐츠가 언어, 완성된 이미지, 그리고 편집 가능한 구조 사이를 순환할 수 있는 폐쇄 루프를 구축한다고 주장합니다. 레이어를 원자적 단위로 취항함으로써, 이 프레임워크는 평면적 출력의 근본적인 한계인 '편집 가능한 구조의 부재'를 해결합니다.

저자들은 이 접근 방식이 **에이전트 기반 편집(agentic editing)**을 가능하게 한다고 강조합니다. 즉, 외부 에이전트가 이미지를 분해하고, 특정 레이어를 재귀적으로 정교화하며, 숨겨진 콘텐츠나 구조적 무결성을 잃지 않고도 다시 합성할 수 있게 합니다. 이 연구는 생성이 단순히 사후 처리나 픽셀 수준의 추론에 의존하는 것이 아니라, 구조화된 시각 환경 내에서 직접 작동하는 "레이어 네이티브 디자인 공간"을 향한 단계로 자리매김합니다.

한계점

저자들은 다음과 같은 특정 한계를 인정합니다:

• 알파 경계(Alpha Boundaries): 현재 모델은 미세한 알파 경계 처리에 어려움을 겪고 있으며, 이로 인해 Qwen-Image-Layered에 비해 "알파 깨끗함(alpha cleanliness)" 점수가 낮게 나타납니다.
• 밀집된 타이포그래피(Dense Typography): 복잡한 글리프(특히 중국어 텍스트)와 긴 문장은 획 누락, 잘못된 문자, 불안정한 레이아웃을 초래할 수 있으며, 이는 기반 모델의 더 강력한 텍스트 생성 능력의 필요성을 시사합니다.