PhotoQuilt: Training-Free Arbitrary-Resolution Photomosaics via Bootstrapped Tiled Denoising

기술 요약: PhotoQuilt

문제 정의
포토모자이크(Photomosaics)는 국소 영역이 독립적이고 자립적인 사진 역할을 수행하면서도, 전체적인 배치를 통해 하나의 일관된 글로벌 장면을 재구성하는 합성 이미지입니다. 고해상도 포토모자이크를 생성하는 것은 이중적인 과제를 안겨줍니다. 시스템은 전역적 구조의 일관성(멀리서 보았을 때 타겟 이미지가 인식되어야 함)을 유지하는 동시에, 국소 타일의 자율성(각 타일이 설득력 있고 상세한 이미지여야 함)을 보장해야 합니다. 기존 방식들은 이 두 가지 척도를 동시에 만족시키는 데 어려움을 겪습니다. 검색 기반 방식은 유한한 이미지 풀에 의해 제약을 받아 타일이 반복되거나 색상 보정이 제한됩니다. 확산 모델(Diffusion models)을 사용하는 생성 방식, 특히 고해상도 생성은 계산 비용이 많이 들고 단일한 매끄러운 이미지를 만드는 경향이 있는 반면, 순차적 타일 생성이나 패치 기반 방식은 전역 구조를 놓치거나 독립적으로 생성된 타일들을 정렬하기 위해 비용이 많이 드는 조정 절차를 요구하곤 합니다.

방법론: 부트스트랩된 타일 기반 디노이징 (Bootstrapped Tiled Denoising)
PhotoQuilt는 전역적 구성과 국소 타일 생성을 분리하는 학습 불필요(training-free) 프레임워크입니다. 이는 기본 디퓨전 모델의 아키텍처 변경 없이 작동하며(U-Net 및 Diffusion Transformer 백본 모두와 호환 가능), 다음 세 단계로 진행됩니다:

1. 전역적으로 일관된 초기화: 텍스트 프롬프트 또는 참조 이미지를 인코딩하여 저해상도(예: 768×768)에서 베이스 잠재 표현($z_{base}$)을 생성합니다. 이 베이스는 고정된 업샘플러를 사용하여 타겟 잠재 그리드 크기로 업샘플링됩니다.
2. 부분적 리노이징 (Partial Renoising): 업샘플링된 잠재 표현은 특정 강도 $s$로 가우시안 노이즈와 함께 부분적으로 오염됩니다. 이 단계는 매우 중요합니다. 이는 전역 구조의 거친 저주파 레이아웃은 유지하면서 고주파 세부 사항은 파괴합니다. 이렇게 리노이징된 잠재 표현($\tilde{z}_s$)은 모든 타일을 위한 공유된 초기값 역할을 하며, 전체 장면 구성을 고정하는 단일한 전역 제어 장치로 기능합니다.
3. 독립적인 타일별 디노이징: 타겟 잠재 공간은 $K$개의 중복되지 않는 타일로 분할됩니다. 각 타일은 공유된 리노이징된 잠재 표현 $\tilde{z}_s$ 내의 특정 영역으로부터 시작하여 독립적으로 디노이징됩니다. 결정적으로, 각 타일은 특정 타일 수준의 프롬프트나 참조 이미지에 따라 고유한 디노이징 궤적을 따릅니다. 타일들이 고정된 영역 내에서 별도로 디노이징되기 때문에, 각 타일은 고유한 고주파 세부 사항(자율성)을 발달시키는 동시에 공유된 저주파 구조(전역 일관성)에 닻을 내릴 수 있습니다.

프로세스는 독립적으로 디노이징된 타일들을 최종 포토모자이크 이미지로 디코딩함으로써 마무리됩니다. 이 방법은 어텐션 메커니즘을 각 타일 내로 한정함으로써 이차 함수적(quadratic) 어텐션 비용을 피하며, 이를 통해 임의의 크기의 캔버스를 생성할 수 있게 합니다.

주요 기여

• 학습 불료 프레임워크: PhotoQuilt는 추가적인 학습, 미세 조정 또는 특수 모듈(ControlNet이나 어댑터 등)을 필요로 하지 않습니다. 이는 사전 학습된 텍스트-이미지 및 이미지-이미지 모델의 내부 능력을 활용합니다.
• 임의 해상도: 전역 레이아웃과 국소 세부 사항 생성을 분리하고 어텐션을 개별 타일에 한정함으로써, 전역 어텐션 메커니즘과 관련된 계산적 병목 현상 없이 고해상도로 확장할 수 있습니다.
• 이중 척도 최적화: "부트스트랩" 접근 방식은 전역 구조와 국소 실재감 사이의 긴장을 명시적으로 해결합니다. 공유된 리노이징된 잠재 표현은 전역 레이아웃을 강제하는 반면, 독립적인 디노이징 궤적은 각 타일이 별개의 고품질 이미지로 분화될 수 있도록 허용합니다.
• 모델 불가지론 (Model Agnosticism): 본 프레임워크는 Stable Diffusion 2.1, FLUX.1, FLUX.2를 포함한 다양한 디퓨전 백본과 호환됩니다.

실험 결과
실험은 8×8 타일 그리드를 사용하여 고해상도 모자이크(6144×6144 픽셀)에 대해 수행되었습니다. PhotoQuilt는 검색 기반 방식(Match & Tone), 스타일 전이 접근법(AdaIN), 그리고 기타 생성 전략(Phomosaic, StreamDiff)을 포함한 6개의 베이스라인과 비교 평가되었습니다.

• 정량적 성능: PhotoQuль는 전역 구조 보존(다운샘플링된 이미지에 대한 PSNR, SSIM, LPIPS, HPSv2로 측정)과 국소 타일 품질(CLIP score, BLIP, Image Reward로 측정) 모두에서 기존 베이스라인들을 능가했습니다. 특히, StreamDiff와 같은 방식은 높은 전역 충실도를 달 achieve 했으나 다양한 타일을 생성하는 데 실패하여(국소 점수 붕괴) 문제가 있었습니다. 반대로, 타일 자율성에 집중한 방식들은 종종 전역 일관성을 희생했습니다. PhotoQuilt는 최적의 균형을 달성했으며, FLUX.1 변형은 강력한 전역 지표와 함께 가장 높은 CLIP 및 Image Reward 점수를 기록했습니다.
• 절제 연구 (Ablation Studies):
  • 전역 가이드: 부트스트랩 초기화(공유된 잠재 표현을 독립적인 노이즈로 대체)를 제거하면 개별 타일의 품질은 높았으나 전역 구조가 완전히 붕괴되었습니다(PSNR이 13.10으로 하락). 이는 공유된 잠재 표현이 레이아웃 일관성에 필수적임을 확인시켜 줍니다.
  • 리노이징 강도 ($s$): 강도 파라미터 $s$는 전역 충실도와 타일 독립성 사이의 조절 다이얼 역할을 합니다. 낮은 $s$ 값은 전역 구조를 보존하지만 타일 다양성을 제한하며, 높은 $s$ 값은 타일의 자유도를 높이지만 전역 일관성을 저하시킵니다. $s=0.6$이 최적의 절충점으로 식별되었습니다.
  • 부트스트랩 해상도: 더 높은 해상도의 베이스 이미지(768×768)는 낮은 해상도(256×256)에 비해 더 풍부한 구조적 가이드를 제공하여 전역 충실도를 직접적으로 향상시켰습니다.

의의 및 주장
본 논문은 PhotoQuilt가 고해상도 포토모자이크 생성을 위한 최소하면서도 효과적인 솔루션을 제공한다고 주장합니다. 부트스트랩된 타일 디노이징 절차를 통해 이중 척도 문제를 해결함으로써, 타겟 이미지가 전체로서 명확히 인식되는 동시에 모든 타일이 의미 있고 자립적인 사진으로 남는 대규모 모자이크 생성을 가능하게 합니다. 저자들은 이 접근 방식이 직접적인 고해상도 생성의 계산적 비용과 순차적 타일 조립의 조정 오버헤드를 피하며, 광범위한 출력 해상도와 모델 백본에 걸쳐 작동하는 안정적이고 효율적인 방법을 제공한다는 점을 강조합니다.