기술 요약: Pro-DG: 건축 외관 생성을 위한 절차적 확산 안내

문제 정의

원본 디자인의 핵심 정체성을 유지하면서 구조적 원칙을 준수하는 사실적인 건축 외관 변형을 생성하는 것은 여전히 중요한 과제입니다. 컴퓨터 그래픽스 및 비전 분야의 기존 방법들은 주로 절차적 모델링 (사진적 사실성을 위해 상당한 아티스트 개입이 필요한 경우 많음) 또는 확산 기반 이미지 합성 (정밀한 구조 제어 및 전역 일관성 확보에 어려움이 있음) 중 하나에 초점을 맞추고 있습니다. 최근 신경 - 심볼릭 접근법들이 이러한 격차를 해소하려 시도했으나, 원본 이미지의 시각적 충실도를 잃지 않으면서 제어 가능한 대규모 구조 편집 (예: 층 복제, 창문 재배치) 을 가능하게 하는 심볼릭 계층적 절차적 구조와 확산 모델을 효과적으로 결합한 프레임워크는 부족합니다. 현재 확산 기반 편집 방법들은 전체 이미지 공간을 재구성하기보다는 국소적 객체 조작에 주로 초점을 맞추고 있습니다.

방법론

제안된 프레임워크인 Pro-DG는 5 단계 파이프라인을 통해 심볼릭 외관 문법과 확산 기반 이미지 합성을 통합합니다.

1. 역방향 절차적 재구성:
   시스템은 입력 외관 이미지 ($F_{in}$) 와 그 분할 (segmentation) 에서 절차적 표현을 추출하여 시작합니다. 계층적 분할 문법 유도 트리 ($P_{in}$) 를 추론하기 위해 FaçAID(트랜스포머 기반 신경 - 심볼릭 방법) 를 활용합니다. 이 트리는 이미지 공간을 의미 영역 (예: 층, 벽, 창문) 과 비단어 (non-terminals) 로 나누어 외관의 구조적 계층을 포착합니다.

2. 구조 편집:
   사용자는 절차적 표현을 수정하여 목표 구조 ($P_{out}$) 를 생성함으로써 편집을 정의합니다. 편집은 매개변수 조정 (예: 층 수 변경) 이나 계층 구조 변경 (예: 특정 요소 삭제) 을 포함할 수 있습니다. 쌍 $(P_{in}, P_{out})$ 은 원하는 변환을 정의합니다.

3. 계층적 매칭:
   새로운 매칭 알고리즘이 소스 ($P_{in}$) 와 목표 ($P_{out}$) 구조 간의 대응 관계를 생성합니다. 이 단계는 두 가지 사용자 정의 지표를 기반으로 목표 트리의 심볼을 소스 트리에 매칭합니다.

   • SVD 지표: 특이값 분해 (Singular Value Decomposition) 를 사용하여 이미지 영역의 구조적 복잡성과 대칭성을 비교하며, 요소 수는 다르지만 구조적 패턴이 유사한 영역을 동일하게 취급합니다.
   • 히스토그램 지표: 강도 히스토그램에 대한 헬링거 거리 (Hellinger distance) 를 사용하여 콘텐츠 인식 (예: 벽과 창문 구분) 을 보장합니다.
     이 알고리즘은 부모 - 자식 일관성을 강제하여 매칭된 노드가 문법의 계층적 제약을 준수하도록 합니다.

4. 확산 재구성 (역전):
   시스템은 $F_{in}$을 재구성하는 데 필요한 초기 노이즈 벡터와 네트워크 활성화 ($\Psi_{in}$) 를 복원하기 위해 입력 이미지에 Null-Text Inversion을 수행합니다. 동시에 Canny 엣지 맵 ($C_{in}$) 을 추출합니다. 이 단계는 원본 외관의 "정체성"을 포착합니다.

5. 안내 추론:
   핵심 합성 단계는 확산 모델 (Canny 엣지 ControlNet 이 적용된 Stable Diffusion 1.5) 을 안내하여 출력 ($F_{out}$) 을 생성합니다.

   • 제어 입력: 확립된 대응 관계를 기반으로 소스 세그먼트를 복사하고 크기 조절하여 새로운 Canny 엣지 맵 ($C_{out}$) 과 목표 네트워크 활성화 ($\Psi_{out}$) 를 구성하기 위해 계층적 매칭이 사용됩니다.
   • 최적화: 확산 과정은 ControlNet 을 통해 $C_{out}$에 의해 안내되어 목표 구조를 강제합니다. 또한, 최적화 목적 함수는 현재 잠재 활성화와 $\Psi_{out}$ 간의 L2 거리를 최소화하여 국소적 외관과 질감의 보존을 보장합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다.

1. 계층 인식 매칭 알고리즘: 절차적 트리 간의 구조적 및 시각적 단서를 정렬하면서 부모 - 자식 일관성을 강제하기 위해 SVD 기반 구조 분석과 히스토그램 기반 콘텐츠 분석을 결합한 새로운 지표.
2. 통합 ControlNet 파이프라인: 확산 과정의 모든 단계를 안내하기 위해 계층에서 유도된 제어 신호 (Canny 엣지) 와 활성화 목표를 합성하는 시스템으로, 국소적 편집이 아닌 전역 이미지 공간 재구성을 가능하게 함.
3. 종합 평가: 50 개의 다양한 외관 이미지를 대상으로 한 평가를 통해 최신 기법 (state-of-the-art) 베이스라인 대비 구조적 충실도와 시각적 일관성에서 일관된 향상을 입증.

결과 및 평가

이 방법은 50 개의 실제 외관 이미지 데이터셋에서 평가되었으며, 그 중 20 개는 정성적 분석 및 사용자 연구에 사용되었습니다.

• 정성적 결과: 시스템은 복잡한 구조적 편집을 준수하면서도 원본 디자인의 핵심 정체성을 유지하는 편집된 외관을 성공적으로 생성합니다. 출력물은 기반이 되는 Stable Diffusion 1.5 모델과 비교 가능한 사진적 사실성을 보입니다.
• 베이스라인: 저자들은 다음 방법들과 비교했습니다.
  • ControlNet 베이스라인: Null-Text Inversion 을 사용하는 표준 분할 기반 ControlNet 접근법.
  • Photoshop 베이스라인: Adobe Firefly 를 사용하는 반자동 콜라주 기반 인페인팅 접근법.
  • 합성 렌더링: 지상 진실 (ground truth) 의 대리자로 사용된 수정된 외관 모델의 3D 렌더링.
• 사용자 연구: 105 명의 사용자와 3,045 건의 평가가 포함된 연구에서 Pro-DG 는 사실성과 외관 보존 측면에서 ControlNet 베이스라인보다 현저히 선호되었습니다. 또한 더 발전된 생성형 채우기 모델 (Firefly) 을 사용하는 Photoshop 베이스라인보다 편집 준수도와 정체성 보존 측면에서도 우위를 보였습니다.
• 정량적 지표:
  • 슬라이스된 와asserstein 거리 (SWD): Pro-DG 는 ControlNet (0.1844) 과 Photoshop (0.124) 베이스라인 대비 국소적 외관과 질감 보존이 우수함을 나타내는 가장 낮은 SWD (0.1185) 를 달성했습니다.
  • CLIP 코사인 거리 (CCD): Pro-DG 는 강력한 의미적 유사성 (0.118) 을 보여 ControlNet 베이스라인 (0.2146) 보다 우위를 보였습니다. Photoshop 베이스라인은 약간 더 낮은 CCD (0.0936) 를 보였는데, 이는 해당 베이스라인이 객체를 직접 복사하는 방식이 이 지표를 선호하기 때문입니다.
• 절제 연구 (Ablation Studies): 실험은 ControlNet 과 활성화 안내 모두의 필요성을 확인했으며, 둘 중 하나를 제거하면 환각 현상이나 흐릿한 출력이 발생했습니다. 연구는 또한 질감 충실도를 유지하기 위해 말단 심볼 (예: 벽) 에 대한 계층적 매칭이 중요함을 강조했습니다.

중요성 및 한계

본 논문은 Pro-DG 가 심볼릭 절차적 구조와 확산 모델 사이의 미개척된 격차를 해소하여 건축 무결성을 유지하는 고품질 제어 가능한 이미지 생성을 위한 프레임워크를 제공한다고 주장합니다. 특정 객체를 변환하는 대부분의 확산 기반 편집 방법과 달리, Pro-DG 는 원본 디자인의 정체성을 유지하면서 전체 이미지 공간을 재구성할 수 있게 합니다.

저자들이 인정하는 한계는 다음과 같습니다:

• 새로운 요소 생성: 목표 구조가 원본 디자인에 존재하지 않는 요소 (예: 문이 없는 외관에 문 추가) 를 도입할 경우, 계층적 매칭에 유효한 대응 관계가 없어 이 방법은 어려움을 겪습니다.
• 문법 표현력: 기본 문법 (FaçAID) 이 특정 외관의 복잡성을 표현할 수 없는 경우, 역방향 재구성이 실패하여 불일치가 발생합니다.
• 시각적 노이즈: 나무, 간판 등 장애물이 있는 입력 이미지는 Canny 맵과 활성화에 비구조적 노이즈를 도입하여 일관성 없는 출력을 초래할 수 있습니다.
• 모델 제약: 현재 구현은 Stable Diffusion 1.5 와 그 ControlNet 에 의존하므로, 최신 전용 확산 백본에 비해 달성 가능한 충실도가 제한됩니다.

저자들은 심볼릭 절차적 표현과 데이터 기반 합성 간의 시너지가 외관 복원 및 상호작용형 건축 디자인 분야에서 응용 가능성을 가지며, 구조적 이미지 편집에서 신경 - 심볼릭 통합의 잠재력을 입증한다고 결론지었습니다.