논문 제목: Generative Blocks World: Moving Things Around in Pictures (ICLR 2026)

이 논문은 생성된 이미지 (또는 실제 이미지) 의 장면을 3D 기하학적 추상화 (convex 3D primitives) 를 통해 조작하고, 이를 기반으로 사실적인 이미지를 재생성하는 새로운 프레임워크인 Generative Blocks World를 제안합니다. 기존의 2D 기반 이미지 편집 방법들이 가진 기하학적 일관성 부족 문제를 해결하고, 객체의 이동, 카메라 시점 변경, 확대/축소 등 3D-aware 편집을 가능하게 합니다.

---

1. 문제 정의 (Problem)

기존의 이미지 편집 방법 (DragGAN 등) 은 주로 2D 픽셀 공간에서 포인트를 드래그하는 방식에 의존합니다. 이러한 접근법은 다음과 같은 한계가 있습니다:

• 기하학적 일관성 부재: 객체를 이동하거나 카메라를 움직일 때 원근감 (perspective), 크기 변화 (scaling), 가림 (occlusion) 이 자연스럽게 반영되지 않습니다. 예를 들어, 객체를 멀리 이동시켰을 때 크기가 줄어들지 않거나, 모양이 왜곡될 수 있습니다.
• 텍스처 및 정체성 손실: 객체의 이동이나 카메라 이동 시, 객체의 고유한 질감 (texture) 과 정체성 (identity) 이 유지되지 않고 흐려지거나 변형되는 경우가 많습니다.
• 3D 표현의 부재: 명시적인 3D 표현이 없어 사용자가 객체의 뒷면이나 가려진 부분을 고려한 편집을 하기 어렵습니다.

2. 방법론 (Methodology)

제안된 방법은 Generative Blocks World로, 장면을 편집 가능한 3D 볼록 다면체 (convex polytopes) 의 집합으로 표현하고, 이를 기반으로 이미지를 합성합니다. 전체 파이프라인은 다음과 같은 4 단계로 구성됩니다.

1) 볼록 분해를 통한 원시 추출 (Primitive Extraction)

• 입력 이미지를 Convex Decomposition 기법을 사용하여 3D 볼록 다면체 (convex primitives) 의 집합으로 분해합니다.
• 이 과정은 CVXNet 기반의 모델을 사용하며, 깊이 지도 (depth map) 를 기반으로 3D 점 구름 (point cloud) 을 생성하고 이를 볼록 다면체로 피팅합니다.
• 사용자는 편집의 정밀도에 따라 원시 (primitive) 의 개수 (K) 를 조절할 수 있습니다 ( coarse-scale: 전체 구조 이동, fine-scale: 세부 디테일 편집).

2) 3D 원시 편집 및 카메라 조작

• 추출된 3D 원시들을 사용자가 직접 선택하여 이동 (translation), 회전 (rotation), 크기 조절 (scaling) 하거나 삭제할 수 있습니다.
• 카메라의 위치와 시점도 변경할 수 있습니다.
• 이 단계에서 생성된 수정된 원시들은 새로운 깊이 지도 (depth map) 로 렌더링됩니다.

3) 텍스처 힌트 (Texture Hint) 및 신뢰도 마스크 생성

• 핵심 기여: 단순히 깊이 지도만 사용하는 것이 아니라, 원본 이미지와 수정된 3D 구조 간의 점 구름 대응 관계 (point cloud correspondences) 를 계산합니다.
• 이를 통해 원본 이미지의 텍스처를 새로운 뷰 (new view) 로 투사하여 "힌트 이미지 (hint image)" 를 생성합니다.
• 또한, 깊이 불연속성 (depth discontinuities) 이나 투사 오류가 발생할 수 있는 영역을 식별하는 신뢰도 마스크 (confidence mask) 를 생성합니다. 이 마스크는 diffusion 모델이 힌트를 얼마나 따를지 결정하는 데 사용됩니다.

4) 조건부 이미지 합성 (Conditioned Image Synthesis)

• 생성된 깊이 지도와 텍스처 힌트 이미지를 입력으로 받아 Rectified Flow (RF) 기반의 생성 모델 (FLUX) 에게 전달합니다.
• diffusion 과정 중 특정 시간 단계 ($t_{start} \sim t_{end}$) 에서 힌트 이미지를 노이즈가 추가된 형태로 주입하여, 생성된 이미지가 수정된 기하학 구조를 따르면서도 원본의 텍스처와 객체 정체성을 유지하도록 유도합니다.
• 이 과정은 별도의 모델 미세 조정 (fine-tuning) 없이 사전 훈련된 모델을 사용하여 수행됩니다.

3. 주요 기여 (Key Contributions)

1. 3D 상호작용 패러다임: 이미지 편집을 위해 2D 포인트가 아닌, 선택 가능하고 조작 가능한 3D 볼록 원시 (convex primitives) 를 사용하는 새로운 인터페이스를 제안했습니다. 이는 객체 단위 및 부분 단위의 편집을 직관적으로 가능하게 합니다.
2. 고급 텍스처 보존 메커니즘: 단순한 키 - 값 복사 (key-value copying) 가 아닌, 3D 기하학 기반의 투사형 텍스처 힌트 (projection-based texture hints) 와 신뢰도 마스크를 도입하여, 카메라 이동 및 객체 이동 시에도 높은 수준의 텍스처 일관성과 객체 정체성을 유지합니다.
3. 다중 스케일 편집 지원: 원시의 개수를 조절하여 coarse-grained (전체 장면) 부터 fine-grained (세부 디테일) 까지 다양한 수준의 편집을 지원하며, 이는 기존 방법들과 차별화되는 유연성을 제공합니다.
4. 훈련 없는 (Training-free) 생성: 깊이 지도와 힌트 이미지를 조건으로 사용하여 사전 훈련된 FLUX 모델을 직접 활용하므로, 새로운 데이터셋에 대한 모델 재학습이 불필요합니다.

4. 실험 결과 (Results)

• 기하학적 일관성: 생성된 이미지의 깊이 지도와 원본 원시 기반 깊이 지도 간의 오차 (AbsRel) 가 기존 방법 (LooseControl 등) 보다 현저히 낮았습니다. 객체의 이동, 카메라 회전, 확대/축소 시 기하학적 왜곡이 최소화되었습니다.
• 텍스처 및 객체 정체성: PSNR, SSIM, LPIPS 지표를 통해 평가한 결과, 원본 이미지의 텍스처와 객체 특징이 편집 후에도 잘 보존됨을 확인했습니다. 특히 객체 이동 시 발생하는 텍스처 손상이나 왜곡이 기존 DragDiffusion 등의 방법보다 훨씬 적었습니다.
• 비교 평가: DragDiffusion, LooseControl, StableFlow 등 최신 SOTA 방법들과 비교했을 때, 3D 기하학적 제어력과 텍스처 보존 능력 모두에서 우위를 보였습니다.
• 사용자 연구 및 시각적 결과: 다양한 시나리오 (동물 이동, 사물 크기 변경, 카메라 줌 등) 에서 자연스러운 편집 결과를 보여주었으며, 특히 복잡한 장면에서도 객체 간의 가림 관계와 원근감이 올바르게 처리되었습니다.

5. 의의 및 결론 (Significance)

Generative Blocks World는 이미지 편집 분야에서 2D 픽셀 조작의 한계를 넘어, 명시적인 3D 표현을 통해 직관적이고 정교한 편집을 가능하게 하는 중요한 전환점을 제시합니다.

• 기술적 의의: 3D 기하학 (primitives) 과 최신 생성 모델 (Diffusion/Flow) 을 효과적으로 결합하여, 기하학적 정확성과 시각적 사실성을 동시에 달성하는 새로운 아키텍처를 증명했습니다.
• 실용적 의의: 사용자가 복잡한 3D 변환 (이동, 회전, 카메라 이동) 을 수행할 때 발생할 수 있는 비자연스러운 아티팩트를 줄여주며, 콘텐츠 제작 및 디자인 분야에서 3D-aware 이미지 편집의 실용성을 높였습니다.
• 미래 방향: 비볼록 형태 (non-convex shapes) 처리, 조명 효과 (shadows/reflections) 의 자동 생성, 비디오 일관성 확보 등을 통해 더 발전된 3D 편집 도구로 확장될 수 있는 가능성을 제시합니다.

요약하자면, 이 논문은 **"이미지를 3D 블록 (원시) 의 집합으로 이해하고 조작함으로써, 기하학적 일관성과 텍스처 보존을 동시에 만족시키는 차세대 이미지 편집 시스템"**을 제안한 획기적인 연구입니다.