기술 요약: MRT – 대규모 계층적 이미지 생성 및 편집을 위한 마스킹 영역 트랜스포머

1. 문제 제기

텍스트-to-이미지 생성이 대규모 확산 트랜스포머와 정류 흐름 매칭을 통해 놀라운 진전을 이루었지만, 계층적 이미지 생성 및 편집은 여전히 현저히 미개발 상태입니다. 현재 생성 모델들은 일반적으로 평면적인 단일 레이어 이미지를 생성하며, 시각적 요소가 재사용 가능하고 편집 가능하며 조립 가능해야 하는 전문 워크플로우에 필요한 구조적 분해가 결여되어 있습니다 (자연어에서의 단어 수준 편집과 유사함).

이 분야는 두 가지 주요 병목 현상에 직면해 있습니다:

1. 데이터 부족: 다중 레이어 투명 이미지를 위한 LAION-5B 와 비교 가능한 대규모 고품질 데이터셋이 부족합니다.
2. 모델 한계: 기존 접근 방식은 종종 "오버플로우" 레이어 (가시적 캔버스 너머로 확장되는 요소) 를 처리하지 못하며, 복잡한 가려짐에 어려움을 겪고, 동시 생성, 분해, 편집을 위한 통합 프레임워크가 부족합니다.

2. 방법론

2.1. 데이터셋 확장

데이터 부족 문제를 해결하기 위해 저자들은 주요 그래픽 디자인 플랫폼에서 1 천만 개 이상의 다중 레이어 그래픽 디자인으로 구성된 큐레이션된 자체 데이터셋을 구축했습니다. 주요 특징은 다음과 같습니다:

• 규모: 이전 작업보다 한 단계 더 큰 규모로, 4,300 만 개 이상의 고유 레이어와 700 만 개 이상의 고유 오버사이즈 시각 요소를 포함합니다.
• 다양성: 다양한 종횡비, 해상도, 다국어 텍스트 프롬프트를 포괄합니다.
• 주석: GPT-5 mini 가 생성한 실제 지상 Typography 속성과 글로벌 캡션을 활용합니다. 특히, 이 데이터셋은 오버플로우 레이어(배경 경계를 넘어선 요소) 를 포함하며, 이는 샘플의 60% 이상을 차지합니다.

2.2. 모델 아키텍처: 마스킹 영역 트랜스포머 (MRT)

핵심 기여는 Qwen-Image 아키텍처를 기반으로 구축된 20B 파라미터 마스킹 영역 확산 모델입니다. 이 프레임워크는 공유 마스킹 영역 확산 패러다임 내에서 세 가지 상호 보완적인 작업을 통합합니다:

1. 텍스트-to-레이어 (T2L): 텍스트 프롬프트에서 다중 레이어 투명 디자인을 합성합니다.
2. 이미지-to-레이어 (I2L): 래스터 이미지를 고품질 투명 레이어로 분해합니다.
3. 레이어-to-레이어 (L2L): 레이어 추가 또는 리스타일링을 통해 기존 디자인을 편집합니다.

주요 기술적 혁신:

• 통합 마스킹 메커니즘: 모델은 적응형 토큰 마스킹을 사용합니다. 작업에 따라 전체 이미지 토큰 (I2L 용) 또는 기존 레이어 토큰 (L2L 용) 을 마스킹합니다.
  • 마스킹되지 않은 토큰은 노이즈 주입 및 확산 감독을 받습니다.
  • 마스킹된 토큰은 깨끗한 조건으로 작용하여, 모델이 전체 어텐션 메커니즘을 통해 기존 콘텐츠와 생성된 콘텐츠 간의 관계를 학습할 수 있게 합니다.
• 오버플로우 인식 캔버스 레이어: 잘린 요소 문제를 해결하기 위해, 모델은 배경을 반투명 RGBA 레이어로 처리하고 전체 크기 캔버스 레이어를 도입합니다. 이를 통해 가시적 배경 경계를 넘어선 완전한 레이어를 생성하여 완전한 편집 가능성과 재사용성을 보장합니다.
• 레이어 그룹화 증강: 모호한 경계와 노이즈가 있는 레이아웃에 대한 견고성을 향상시키기 위해, 훈련 과정에서 겹치거나 인접한 레이어를 무작위로 그룹화하여 구조적 다양성을 증가시킵니다.

2.3. 증류 통한 가속화

실시간 성능을 달성하기 위해 저자들은 **분포 일치 증류 (DMD)**를 적용합니다. 이 기술은 다단계 교사 모델 (50 단계) 을 소수 단계 학생 모델 (8 단계) 로 압축하여, 최소한의 품질 저하 (FID 증가가 미미함) 로 8 단계 실시간 생성 능력을 달성합니다.

3. 주요 기여

1. 규모: 1 천만 개 이상의 샘플과 20B 파라미터 모델 규모에서 다중 레이어 투명 이미지 생성에 대한 최초의 체계적 연구입니다.
2. 통합 프레임워크: 다단계 미세 조정이 필요 없이 T2L, I2L, L2L 작업을 처리하는 단일 마스킹 영역 트랜스포머로, 다양한 입력에 조건부 설정을 위한 유연한 마스킹 전략을 활용합니다.
3. 오버플로우 지원: 캔버스를 넘어선 완전한 반투명 레이어 생성에 대한 네이티브 지원으로, 이는 기존 최첨단 (SoTA) 모델들이 간과했던 전문 편집 워크플로우의 핵심 기능입니다.
4. 효율성: 증류를 통한 8 단계 실시간 다중 레이어 생성 및 지역 확산을 통한 최적화된 메모리 사용으로, 이전 접근 방식에서 관찰된 선형 토큰 확장을 피합니다.

4. 실험 결과

4.1. 텍스트-to-레이어 (T2L)

• 비교: 사용자 연구에서 명령 준수, 미적 감각, 레이어 품질 측면에서 이전 SoTA(ART) 를 능가합니다.
• 오버플로우: 이전 시스템이 콘텐츠를 잘라내는 반면, 배경을 넘어선 전체 크기 RGBA 레이어를 생성할 수 있는 유일한 모델입니다.

4.2. 이미지-to-레이어 (I2L)

• 상업적/학술적 베이스라인 대비 비교: 레이어 품질, 콘텐츠 무결성, 분해 세분성 측면에서 사용자 연구에서 LayerD, Lovart, RoboNeo 를 크게 능가합니다.
• Qwen-Image-Layered 대비 비교:
  • 품질: 다양한 레이어 수 (4~32 레이어) 에서 더 높은 SNR 및 SSIM 점수를 달성합니다. 사용자 연구에서 레이어 품질에 대해 약 79.5%, 세분성에 대해 약 82.6% 의 승률을 보입니다.
  • 효율성: Qwen-Image-Layered 대비 10~100 배 빠른 추론 및 50~90% 감소된 GPU 메모리 활성화를 달성합니다. 이는 $K$개의 레이어에 대해 $K \times$ 토큰이 필요하지 않은 지역 확산 아키텍처에 기인합니다.
  • 일반화: 주로 그래픽 디자인 데이터셋으로 훈련되었음에도 불구하고 도메인 외 자연 이미지에 대한 강력한 제로샷 일반화를 보여줍니다.

4.3. 레이어-to-레이어 (L2L)

• 기능: 레이어 추가(텍스트 프롬프트와 기존 컨텍스트에 기반한 새로운 일관된 레이어 생성) 및 레이어 리스타일링(사용자 자산을 구성물의 스타일에 맞게 변환) 을 지원합니다.
• 성능: GPT-Image-1 베이스라인을 능가하여 단일 패스로 여러 레이어를 생성하며, 교차 레이어 일관성과 스타일 조화를 보장합니다. 반면, 반복적 베이스라인은 종종 지연과 불일치에 시달립니다.

4.4. 제거 실험

• 확장: 모델 크기 (13B 대 20B) 와 데이터셋 크기 (0.5M 대 10M) 모두 성능에 중요합니다.
• 오버플로우: 오버플로우 데이터로 훈련하는 것은 완전한 레이어 생성을 가능하게 하면서도 최소한의 성능 비용을 수반합니다.
• 증류: 단계를 50 에서 8 로 줄이면 6.26 배 속도 향상과 미미한 품질 손실을 가져옵니다.

5. 의의 및 주장

본 논문은 다중 레이어 투명 이미지 생성에 대한 새로운 벤치마크를 수립했다고 주장합니다. 생성, 분해, 편집을 단일 확장 가능 프레임워크로 통합함으로써 MRT 는 생성형 AI 와 전문 디자인 워크플로우 간의 근본적인 격차를 해소합니다.

저자들은 그들의 접근 방식이 다음을 가능하게 한다고 강조합니다:

• 완전한 편집 가능성: 레이어는 단순한 시각적 출력이 아니라 재배치되거나 수정될 수 있는 재사용 가능한 자산입니다.
• 확장성: 20 개 이상의 레이어를 가진 복잡한 구성을 효율적으로 처리할 수 있는 능력입니다.
• 실용적 유용성: 오버플로우 인식 설계는 캔버스 경계에서 시각적 정보가 손실되지 않도록 보장하며, 이는 실제 세계 디자인 도구에 필수적인 요구사항입니다.

인정된 한계:
본 논문은 겸손하게 남은 과제를 지적하며, 특히 사진 같은 이미지 분해에서 평면 디자인 데이터와 자연 장면 간의 도메인 격차로 인해 그림자 및 반사물과 같은 물리적 효과가 종종 잘못 처리된다고 언급합니다. 또한, 모델은 때로 매우 작은 텍스트 글리프 처리와 복잡한 리스타일링 작업에서 정체성 유지에 어려움을 겪습니다.

결론적으로, MRT 는 생성형 AI 를 "레이어 인식"으로 만드는 중요한 진전이며, 평면 이미지 합성과 전문 그래픽 디자인의 구조화되고 편집 가능한 특성 간의 격차를 해소합니다.