기술 요약: Chirpy3D

문제 정의

조류, 차량, 가구와 같은 종 특이적 변이를 가진 사물의 정밀한 구조를 이해하고 생성하는 것은 컴퓨터 비전 분야에서 여전히 중요한 과제로 남아 있습니다. 사물들은 종종 전역적인 해부학적 구조를 공유하지만, 부리 모양이나 날개 무늬와 같은 풍부한 부분 수준의 변이를 나타냅니다. 기존 접근 방식은 다음과 같은 여러 한계에 직면해 있습니다:

• 데이터 의존성: 대부분의 3D 생성 방법은 명시적인 부분 주석이 포함된 큐레이션된 3D 데이터셋이나 포즈가 지정된 다중 뷰 이미지에 의존하며, 이러한 데이터는 획득 비용이 매우 높습니다.
• 연속성 부재: 이전의 부분 인식 2D 생성 방법 (예: PartCraft) 은 종종 이산적인 클래스별 텍스트 임베딩을 학습합니다. 이러한 임베딩은 연속적인 잠재 공간을 형성하지 않아 부드러운 보간, 무작위 샘플링, 또는 보지 못한 부분 조합에 대한 일반화를 방해합니다.
• 뷰 불일치: 다중 뷰 확산 모델은 종종 "야누스 문제 (여러 뷰 간의 불일치)"로 고통받으며, 3D 지도 없이 제로샷 설정에서 정밀한 부분 수준의 변이나 창의적인 재조합을 모델링하는 데 어려움을 겪습니다.

방법론

Chirpy3D는 포즈가 지정되지 않고 레이블이 없는 2D 이미지로부터 계층적 부분 잠재 공간을 학습하는 부분 인식 다중 뷰 확산 프레임워크를 제안합니다. 이 방법은 3D 정답, 카메라 포즈, 또는 수동 부분 주석 없이 작동하며, 대신 오프더셸 (off-the-shelf) 2D 부분 분할 마스크를 약한 공간적 가이드로 활용합니다.

1. 계층적 부분 잠재 공간

이 프레임워크는 각 사물을 $M$개의 의미론적 부분 (예: 머리, 날개, 몸통, 다리, 꼬리) 의 집합으로 표현합니다.

• 종 및 부분 임베딩: $C$개의 종을 아우르는 데이터셋의 경우, 각 클래스에 대해 종 수준 임베딩 $s^c$를 학습합니다. 학습 가능한 투영 함수 $f$는 이 종 임베딩을 부분 임베딩 집합 $\{p^c_m\}$으로 매핑합니다.
• 정규화: 부드러운 보간과 새로운 부분 샘플링을 가능하게 하기 위해, 부분 임베딩은 표준 가우시안 사전 ($L_{reg}$) 으로 정규화되어 연속적인 잠재 공간 내에 위치하도록 유도합니다.
• 위치 인코딩: 모든 부분이 동일한 의미론적 공간으로 디코딩되므로, 학습 가능한 부분별 위치 인코딩 ($PE_m$) 이 디코딩 전에 부분 임베딩과 연결됩니다. 이를 통해 모델은 통합된 디코딩 공간을 유지하면서도 부분 유형을 구별할 수 있습니다.
• 텍스트로의 투영: 학습 가능한 함수 $g$는 연결된 부분 임베딩과 위치 인코딩을 부분 인식 텍스트 임베딩 ($t^c_m$) 으로 투영합니다. 이러한 임베딩은 사전 훈련된 다중 뷰 확산 백본 (예: MVDream) 을 조건부로 작용시킵니다.

2. 모델 최적화

모델은 복합 목적 함수를 사용하여 미세 조정됩니다:

• 확산 손실 ($L_{diff}$): 입력 이미지를 재구성하기 위한 표준 확산 손실입니다.
• 주의 손실 ($L_{attn}$): PartCraft 에서 적응된 엔트로피 기반 손실입니다. 이는 각 부분 텍스트 임베딩이 오프더셸 분할 마스크를 약한 지도로 사용하여 교차 주의 맵에서 해당 공간 위치에 주의를 기울이도록 장려합니다. 이는 부분별 분리를 강제합니다.
• 특징 일관성 손실 ($L_{cl}$): 뷰 간 구조적 및 의미론적 일관성을 개선하도록 설계된 새로운 자기 지도 학습 손실입니다. 이는 동일한 시간 단계에서 서로 다른 노이즈 인스턴스로 생성된 교차 주의 특징 맵 간의 불일치를 최소화합니다. 이는 모델이 확률적 노이즈와 관계없이 안정적인 내부 표현을 생성하도록 보장하며, 보지 못했거나 혼합된 부분 조합으로부터 일관된 형태를 생성하는 데 필수적입니다.
• 최종 목적 함수: $L = L_{diff} + \lambda_{attn}L_{attn} + \lambda_{cl}L_{cl} + \lambda_{reg}L_{reg}$.

3. 창의적 생성 및 3D 합성

Chirpy3D 는 창의적 생성을 위한 세 가지 모드를 지원합니다:

1. 보인 부분 선택: 서로 다른 보인 종에서 기존 부분을 선택하여 새로운 사물을 구성합니다.
2. 보지 못한 부분 합성 (샘플링): 학습된 가우시안 부분 잠재 공간에서 직접 새로운 부분을 샘플링합니다.
3. 보지 못한 부분 합성 (보간): 두 종 사이의 부분 잠재 공간을 보간하여 고유한 하이브리드를 생성합니다.

3D 생성을 위해, 이 프레임워크는 NeRF 또는 3D 가우시안 스플래팅 (3DGS) 과 같은 미분 가능한 렌더러를 사용한 점수 분산 샘플링 (SDS) 을 활용합니다. 텍스트 토큰이 광범위한 자연어 프롬프트가 아닌 학습된 특정 부분 구조에 해당하기 때문에, 이 방법은 텍스트-3D 에서 흔히 발생하는 과포화 아티팩트를 줄이기 위해 더 낮은 가이드 스케일을 허용합니다.

주요 기여

1. 부분 인식 잠재 공간: 포즈가 지정되지 않은 2D 이미지로부터 학습된 연속적이고 계층적인 부분 잠재 공간의 도입으로, 구조화된 보간, 무작위 샘플링, 그리고 새로운 사물의 제로샷 구성을 가능하게 합니다.
2. 자기 지도 학습 특징 일관성: 노이즈 실현 전반에 걸쳐 교차 주의 특징을 안정화함으로써 뷰 일관성을 강제하는 새로운 손실 함수 ($L_{cl}$) 로, 하이브리드 또는 보지 못한 부분으로도 일관된 3D 형태 생성을 용이하게 합니다.
3. 데이터 효율적 프레임워크: 3D 지도, 카메라 포즈, 또는 수동 주석 없이 2D 이미지와 오프더셸 분할 마스크만을 사용하여 정밀한 부분 인식 표현을 학습할 수 있는 능력입니다.
4. 유연한 3D 기반: NeRF 와 3DGS 로 시연되었지만, 핵심 기여는 확산 모델 자체이므로 3D 백엔드 선택과 직교합니다.

실험 결과

이 방법은 주로 CUB-200-2011 조류 데이터셋 (200 종) 에서 평가되었으며, Textual Inversion 및 PartCraft 와 비교되었습니다.

• 주체 충실도: Chirpy3D 는 베이스라인과 비교해 동등하거나 더 높은 충실도를 달성했으며, 더 높은 DINO 유사도 점수와 개선된 FIDCLIP 지표를 보였습니다.
• 부분 분리: 종 간 부분 교체 실험에서 Chirpy3D 는 효과적인 분리를 보여주어 Textual Inversion 을 능가하고 Exact Matching Rate(EMR) 및 Cosine Similarity(CoSim) 에서 PartCraft 와同等한 성능을 보였습니다.
• 잠재 공간 연속성: 선형 보간에 대한 정성적 분석 결과, Chirpy3D 는 의미론적으로 일관되고 점진적인 전환을 생성하는 반면, 베이스라인은 갑작스러운 전환이나 비자연스러운 아티팩트를 보였습니다.
• 다양성: 잠재 공간에서의 무작위 샘플링은 더 높은 유효 클래스 수 (PartCraft 의 58.6 대비 123.2) 를 산출하여 새로운 종 생성 시 더 큰 다양성을 나타냈습니다.
• 3D 생성: 이 방법은 일관된 다중 뷰 외관을 가진 3D 객체 (NeRF/3DGS) 를 성공적으로 생성했습니다. 사용자 연구 결과, 특징 일관성 손실 ($L_{cl}$) 이 시각적 일관성을 크게 향상시켰으며, 사용자들의 82.5% 가 해당 손실을 사용하여 생성된 이미지를 선호했습니다.

중요성 및 주장

이 논문은 Chirpy3D 가 구조화된 3D 데이터가 없는 상황에서 창의적 사물 생성을 위한 유연한 기반을 제공한다고 주장합니다. 연속적인 부분 잠재 공간을 학습함으로써, 이산적 임베딩 접근 방식의 한계를 극복하여 다음을 가능하게 합니다:

• 보지 못한 부분 조합으로부터의 새로운 사물에 대한 제로샷 구성.
• 종 간의 구조화된 보간.
• 변형 가능하고 정밀한 카테고리 (예: 조류) 에 대해서도 SDS 를 통한 강건한 3D 생성.

저자들은 현재 연구가 조류에 초점을 맞추고 있지만, 이 프레임워크가 다른 정밀 카테고리 (예: 개, 4 발 동물, 캐릭터 얼굴) 로의 유망한 일반화를 보여준다고 지적합니다. 그들은 다중 뷰 불일치 및 제한된 포즈 제어 가능성과 같은 확산 백본에서 물려받은 한계와 고정된 부분 수 및 오프더셸 감지기에 대한 의존성을 인정하며, 이러한 요소들을 향후 연구 방향으로 제시합니다.