기술 요약: HomeDiffusion

문제 정의

제로샷 객체 커스텀화(Zero-shot object customization)는 참조 객체를 대상 이미지의 특정 영역에 레이아웃, 조명, 원근법 및 공간적 관계를 유지하면서 정렬시키고, 객체의 정체성과 고유한 세부 사항을 보존하며 매끄럽게 통합하는 것을 목표로 합니다. 기존의 확산 기반 방법들은 유망한 성과를 보여왔으나, 실내 장면 커스텀화에서 두 가지 주요 과제에 직면해 있습니다:

1. 다중 뷰 표현(Multi-view Representation): 기존 방식은 종종 단일 뷰 참조 이미지에 의존합니다. 비대칭 객체의 경우, 단일 뷰는 배경 장면의 방향과 조화를 이루는 포즈를 생성하는 데 필요한 포괄적인 3D 정보를 제공하지 못하여 원근법 불일치를 초래합니다.
2. 고충실도 세부 사항 보존(High-Fidelity Detail Preservation): 표준 인코더(예: CLIP)나 심지어 고급 인코더(예: DINO-V2)를 사용하는 방법들은 생성 과정에서 미세한 세부 사항(패턴, 질감, 곡선 등)을 유지하는 데 어려움을 겪는 경우가 많으며, 이로 인해 생성된 객체가 원래의 참조물과 달라지는 결과를 낳습니다.

방법론

저자들은 HomeDiffusion을 제안합니다. 이는 실내 장면을 위해 특별히 설계된 새로운 제로샷 프레임워크입니다. 파이프라인은 두 개의 뚜렷한 학습 단계로 구성됩니다:

1. 다중 뷰 객체 표현 학습 (MORL)

이 단계는 테스트 시 학습(test-time training) 없이 견고한 다중 뷰 객체 표현을 학습하는 데 중점을 둡니다.

• HD 비주얼 인코더 (HD Visual Encoder): GPU 메모리 사용량 폭증 없이 미세한 세부 사항을 포착하기 위해, 저자들은 글로벌 및 로컬 관점 모두에서 이미지를 처리하는 인코더를 도입했습니다. 448×448 이미지를 글로벌 특징 추출을 위해 224×224로 리사이즈하고, 로컬 고해상도 세부 사항 추출을 위해 네 개의 224×224 패치로 분할합니다. 이 특징들을 결합(concatenate)하고 MLP를 통해 통합된 토큰 세트로 매핑합니다.
• 자기 생성 학습 (Self-Generative Training): 모델은 $N$개의 다중 뷰 참조 이미지가 주어졌을 때 가구 아이템의 타겟 뷰포인트를 예측하도록 학습됩니다.
• ControlNet 통합: 특정 뷰포인트 생성을 가이드하기 위해, 이 방법은 타겟 뷰의 Canny 에지 맵을 조건부 레이아웃 가이드로 사용하는 ControlNet을 채택합니다.
• 출력: 다중 뷰 객체 정보를 캡슐화하는 학습 가능한 토큰 $C_o$를 생성합니다.

2. 배경 주도 객체 커스텀화 학습 (BOCL)

이 단계는 학습된 객체 표현을 배경 장면의 특정 영역에 삽입하도록 모델을 학습시킵니다.

• 합성 이미지 가이드 (Composite Image Guidance): 참조 객체를 마스크 처리된 배경 영역에 붙여넣어 합성 이미지를 생성합니다. 이 이미지는 장면의 컨텍스트와 고충실도 객체 세부 사항을 모두 포함합니다.
• 잠재 공간 정렬 (Latent Space Alignment): 생성된 이미지와 픽셀 정렬을 보장하기 위해 합성 이미지를 잠재 공간으로 인코딩합니다.
• 픽셀 정렬 크로스 어텐션 (Pixel-Aligned Cross-Attention): 합성 이미지의 특징 맵과 U-Net 인코더 사이의 크로스 어텐션 메커니즘을 도입하여 합성 이미지로부터 고충실도 세부 사항을 생성 과정으로 전달합니다. 이를 통해 합성 이미지 내 참조 객체의 뷰포인트가 최종 생성물의 타겟 뷰포인트와 다르더라도, 모델이 미세한 세부 사항을 효과적으로 추출하고 보존할 수 있게 합니다.

주요 기여

1. HomeDiffusion 프레임워크: 고충실도 세부 사항 보존과 조화로운 원근법 블렌딩을 보장하는 실내 장면용 제로샷 객체 커스텀화 방법입니다.
2. HD 비주얼 인코더: 해상도와 계산 효율성의 균형을 맞추면서 글로벌 및 로컬 뷰 모두에서 미세한 객체 세부 사항을 추출할 수 있는 혁신적인 인코더입니다.
3. 다중 뷰 객체 표현 학습 (MORL): 모델이 여러 뷰포인트 이미지로부터 견고한 다중 뷰 표현을 학습할 수 있게 하여, 보지 못한 각도에서도 객체를 생성할 수 있게 하는 자기 생성 학습 프로세스입니다.
4. 배경 주도 객체 커스텀화 학습 (BOCL): 합성 이미지 가이드와 픽셀 정렬 크로스 어텐션을 사용하여 참조 객체를 배경 장면에 통합함으로써 고충실도 세부 사항을 유지하는 방법입니다.
5. ZOC-Indoor-Eval 벤치마크: 제로샷 커스텀화 성능을 평가하기 위해 다중 뷰 가구 데이터(8개 카테고리)를 포함한 18만 개 이상의 합성 실내 장면 이미지로 구성된 새로운 벤치마크를 구축했습니다.

실험 결과

저자들은 ZOC-Indoor-Eval 벤치마크와 Viton-HD 벤치마크에서 HomeDiffusion을 평가하였으며, 최신 제로샷 및 퓨샷(few-shot) 방법들(Paint-by-Example, AnyDoor, DreamBooth)과 비교하였습니다.

• 정량적 성능: ZOC-Indoor-Eval 벤치마크(단일 뷰 참조)에서 HomeDiffusion은 CLIP Score 89.4와 DINO Score 86.2를 달성하여, AnyDoor(87.1/83.3) 및 Paint-by-Example(83.4/78.5)을 능가했습니다.
• 다중 뷰의 이점: 미세 조정(fine-tuning)이 필요한 퓨샷 방법인 DreamBooth와 비교했을 때, HomeDiffusion은 1개, 3개, 5개 뷰포인트 시나리오 모두에서 더 높은 DINO 점수(각각 86.2, 87.5, 88.1)를 기록하며, 테스트 시 학습 없이도 다중 뷰 정보를 활용하는 능력을 입증했습니다.
• 정성적 분석: 시각적 비교 결과, HomeDiffusion은 비대칭 객체에 대해 올바른 원근법을 성공적으로 생성하며, 경쟁 모델들이 흔히 겪는 원근법 불일치나 세부 사항 손실 문제를 극복하고 미세한 세부 사항(예: 헤드보드의 패턴, 베개 개수 등)을 더 잘 보존함을 보여주었습니다.
• 절제 연구 (Ablation Studies): 실험을 통해 뷰포인트 변화를 처리하기 위한 MORL 단계의 필요성과, 세부 사항 보존을 위한 HD 비주얼 인코더 및 픽셀 정렬 크로스 어텐션의 효과를 확인했습니다.
• 일반화: 실내 데이터로 학습되었음에도 불구하고, 모델은 야외 자연 장면 및 가상 착의(virtual try-on) 시나리오(Viton-HD)로 일반화할 수 있는 능력을 보여주었습니다.

의의 및 주장

본 논문은 HomeDiffusion이 단일 뷰로부터의 비대칭 객체 처리 능력 부재 및 고충실도 세부 사항 손실과 같은 기존 객체 커스텀화 방법의 결정적인 한계를 해결한다고 주장합니다. 다중 뷰 표현 학습과 세부 사항 전달을 위한 새로운 어텐션 메커니즘을 활용함으로써, 이 방법은 제로샷 설정에서 우수한 성능을 달성합니다. 저자들은 이 접근 방식이 사용자가 광범적인 객체별 학습 없이도 높은 수준의 충실도와 원근법적 조화를 바탕으로 이커머스 가구를 개인 주거 공간에 가상으로 배치할 수 있게 함으로써, 참조 객체와 타겟 환경 사이의 간극을 메운다고 강조합니다.