기술 요약: StippleDiffusion

문제 정의

이미지 스티플링을 위한 특정 공간적 속성을 가진 고품질 2D 점 집합 생성은 컴퓨터 그래픽스의 근본적인 과제입니다. 전통적인 접근법은 가중 보로노이 스티플링 (Weighted Voronoi Stippling) 이나 최적 수송을 통한 블루 노이즈 (Blue Noise) 와 같은 구조화된 분포를 생성하기 위해 반복적 최적화나 특수한 샘플링 전략에 의존합니다. 이러한 방법들은 효과적이지만, 계산 비용이 많이 들고 미분 불가능하며, 새로운 목표 밀도나 점 수마다 새로운 최적화 실행이 필요합니다. 이러한 일반화 부족은 대화형 사용과 대규모 생성을 불가능하게 합니다.

최근 딕노이징 확산 확률 모델 (DDPMs) 을 활용한 학습 기반 대안들은 복잡한 기하학적 분포 학습에서 가능성을 보여주었습니다. 그러나 확산을 산재된 점 집합에 적용하는 것은 격자를 위해 설계된 고유의 컨볼루션 구조 때문에 어렵습니다. furthermore, 기존 확산 방법들은 대부분 무조건부 점 생성에 초점을 맞추었습니다. 이러한 방법들은 학습된 국소 점 분포 사전 (예: 블루 노이즈) 과 연속적인 이미지 정의 밀도 지도를 동시에 준수하는 용량 제약이 있는 이미지 조건부 스티플링을 충족하는 데 어려움을 겪습니다. 표준 조건부 아키텍처는 노이즈로부터의 글로벌 할당과 고주파 국소 제약을 동시에 강제할 때 불안정성, 기하학적 붕괴, 또는 불균일한 밀도로 이어지는 경우가 많습니다.

방법론

저자들은 추론 시 용량 제약 없이 단일 훈련된 모델로 학습된 국소 점 분포 사전과 연속적인 이미지 정의 용량 제약을 동시에 충족할 수 있는 최초의 확산 기반 샘플러인 StippleDiffusion을 제안합니다.

핵심 아키텍처

이 방법은 최적 수송 (OT) 격자 점 집합 확산 베이스라인 (Doignies et al., 2023) 을 기반으로 구축되었습니다.

• OT 표현: 점 집합은 최적 수송을 통해 규칙적인 $N \times N$ 격자로 매핑됩니다. 각 격자 셀은 층 중심과 할당된 샘플 간의 2D 오프셋을 저장합니다. 이는 점 집합을 2 채널 이미지로 변환하여 표준 2D 컨볼루션이 근사 최근접 이웃 연산자로 작용할 수 있게 합니다.
• ControlNet 분기: 기본 모델을 재훈련하지 않고 공간적 조건부 기능을 가능하게 하기 위해 고정된 U-Net 과 병렬로 학습 가능한 ControlNet 분기가 추가됩니다.
• 게이트드 제로 컨볼루션: 표준 제로 컨볼루션 대신, 저자들은 시그모이드 게이트가 적용된 $1 \times 1$ 프로젝션을 사용합니다. 이 메커니즘은 주입된 특징을 동적으로 조절하여 초기 단계에서 기하학적 규칙성이 손실되는 것을 방지하고, 강한 밀도 신호 하에서도 기본 모델이 학습한 블루 노이즈 구조를 보존합니다.
• 특징 추출: 조건부 입력은 정적 격자 특징과 동적으로 샘플링된 이미지 특징을 집계합니다. GECCO 에서 영감을 받은 접근법을 사용하여 경량 CNN 이 고해상도 입력 이미지에서 연속적인 특징을 추출한 후, 이를 현재 노이즈가 있는 점 집합의 정확한 부동 소수점 좌표에서 이선형 보간합니다. 이러한 특징들은 정적 OT 오프셋과 목표 밀도 지도와 연결되어 통합된 조건 벡터를 형성합니다.

추론 전략

추론 과정은 순수 노이즈로부터의 생성이 아닌 가이드된 정제로 설계되었습니다:

1. 구조화된 초기화: 순수 가우시안 노이즈에서 시작하는 대신, 밀도 가중 기각 샘플링을 통해 생성된 구조적 사전으로 시작합니다. 이는 공간적으로 정보화된 초기 점 분포를 제공합니다.
2. 단절된 확산 (SDEdit): 모델은 단절된 확산 일정을 운영하며, 후기 단계의 딕노이징 영역 (마지막 30% 의 시간 단계) 에 집중합니다. 네트워크는 처음부터 분포를 생성하는 대신 부분적으로 노이즈가 추가된 구조적 사전을 정제하는 법을 학습합니다.
3. 재샘플링 흐름: 엄격한 용량 제약을 강제하고 분포를 뭉개지지 않게 하기 위해, RePaint 스타일의 전진 - 후진 재샘플링 흐름을 사용합니다. 역방향 단계에서 샘플은 다음을 예측하기 전에 이전 시간 단계로 다시 확산되어 국소 윈도우 내에서 분포를 정제할 여러 기회를 제공합니다.

주요 기여

1. 최초의 확산 기반 용량 제약 샘플러: 이 논문은 단일 훈련된 모델을 사용하여 추론 시 임의의 목표 밀도를 수용하는 최초의 스티플링 프레임워크를 제시합니다. 이는 각 밀도마다 다시 실행해야 하는 최적화 기반 방법과 대조됩니다.
2. 제약 학습을 위한 OT-격자 공식화: 구조화된 점 생성을 최적 수송 공식을 통해 재해석함으로써, 이 방법은 제약 하에서 블루 노이즈와 유사한 분포를 학습할 수 있게 합니다. 추론 비용은 출력 점 수와 거의 무관하며, 기울기는 엔드 - 투 - 엔드로 이용 가능합니다.
3. 새로운 아키텍처 및 샘플링 기법:
   • 게이트드 제로 컨볼루션: 기본 모델의 점 반발 능력을 파괴하지 않고 고주파 공간 조건을 안전하게 주입하는 메커니즘입니다.
   • 단절된 SDEdit 일정: 밀도 가중 기각 샘플에서 초기화되어 훈련 및 추론을 후기 단계 딕노이징으로 제한함으로써, 엄격한 제약 하에서 생성을 안정화합니다.
4. 종합적 평가: 저자들은 블루 노이즈 및 용량 제약 샘플링 문헌에서 차용한 정량적 및 정성적 평가 프로토콜을 도입하여, 이전 무조건부 샘플러 및 최적화 기반 베이스라인과 자신의 방법을 비교했습니다.

결과

이 방법은 Icons-50 벤치마크 및 다양한 합성 밀도 테스트에서 평가되었습니다.

• 성능 동등성: Icons-50 테스트 세트에서 학습된 샘플러는 CVT 에너지, 용량 제약 충족, 지구 이동 거리 (EMD), 싱크혼 거리, 공간 측정 ($\rho$) 등 보고된 모든 지표에서 밀도별 최적화된 베이스라인 (WVS, BNOT, GBN) 과 동등한 성능을 달성했습니다.
• 일반화: 단일 훈련된 체크포인트 (1024 점으로 훈련됨) 는 훈련 중에는 보지 못한 점 수 (예: 256, 576, 2304 점) 로 성공적으로 일반화되었으며, 훈련 분포 밖의 분석적 밀도, including 매우 비선형적인 스트레스 테스트를 처리했습니다.
• 시각적 품질: 정성적 비교는 이 방법이 국소 점 반발을 유지하면서 글로벌 목표 밀도를 추적하는 고품질 블루 노이즈 분포를 생성함을 보여주며, 표준 조건부 확산에서 흔히 보이는 군집화 및 불균일한 밀도를 피합니다.
• 런타임: 반복적 딕노이징 과정은 WVS 와 같은 결정론적 샘플러에 비해 더 높은 고정 비용을 초래하지만, 런타임은 다른 점 수에 걸쳐 거의 일정하게 유지되는 반면, 최적화 기반 방법은 점 수에 따라 시간이 크게 증가합니다.

중요성 및 주장

이 논문은 예제 기반 기하학적 샘플링과 이미지 조건부 생성 사이의 간극을 해소한다고 주장합니다. 주요 중요성은 각 새로운 목표에 대한 반복적 최적화의 계산 오버헤드 없이 확산 모델을 용량 제약 스티플링에 적응시킬 수 있음을 입증하는 데 있습니다.

저자들은 겸손하게도 구조화된 제약 하에서 확산 기반 점 생성을 안정화하지만, 반복적 특성으로 인해 시간 민감 응용 프로그램에서는 결정론적 저 편차 샘플러를 대체할 수 없다고 지적합니다. 또한, 이 방법의 고차원 확장성은 OT-격자 표현의 $O(k^d)$ 저장 비용에 의해 제한되며, 이는 근본적인 베이스라인에서 물려받은 한계입니다. 그러나 2D 스티플링의 경우, 이 방법은 전통적인 최적화 기법에 대한 미분 가능하고 일반화 가능하며 고품질의 대안을 제공합니다.