기술 요약: JanusMesh

문제 정의

본 논문은 **3D 시각적 착시 생성(3D visual illusion generation)**의 과제를 다룹니다. 즉, 특정 카메라 각도에서 볼 때는 완전히 다른 의미(예: 공작 vs. 파인애플)를 드러내지만, 임의의 시점에서는 인식 불가능한 추상적 기하 구조로 보이는 단일 3D 메쉬를 만드는 것입니다.

기존 방식들은 다음과 같은 상당한 한계를 가집니다:

• 최적화 기반 방식 (예: SDS): 계산 비용이 많이 들며(형태당 약 40분 소요), 색상 과포화 및 기하학적 누출(geometric leakage)이 발생하는 경우가 많습니다.
• 나이브 스티칭 (직접 연결, Direct Concatenation): 별도로 생성된 두 객체를 단순히 이어 붙이는 방식은 부자연스러운 기하학적 이음새, 눈에 띄는 뒷면 누출, 그리고 기하학적 일관성 유지 실패를 초라하여 지각적 착시를 깨뜨립니다.
• 단일 생성 모델: 표준 텍스트-투-3D 모델은 시점에 따라 의존적인 뚜렷한 의미를 생성하지 못하며, 종종 일반적인 형상으로 붕괴되거나 모든 뷰에서 두 의미를 균일하게 혼합해 버립니다.

방법론: JanusMesh

JanusMesh는 3~5분 안에 이중 의미의 3D 착시를 생성하는 빠르고, 제로샷(zero-shot)이며, 학습이 필요 없는(training-free) 프레임워크입니다. 파이프라인은 두 개의 뚜렷한 단계로 구성됩니다:

1단계: 이중 브랜치 기하 생성 (Dual-Branch Geometry Generation)

이 단계는 두 가지 서로 다른 의미적 형상을 융합하는 기하학적으로 일관된 메쉬를 생성하는 데 중점을 둡니다.

• 이중 브랜치 디노이징 (Dual-Branch Denoising): TRELLIS 아키텍처(Rectified Flow 3D 생성기)를 기반으로 하여, 공유된 노이즈 잠재 공간(latent)으로부터 두 개의 서로 다른 텍스트 프롬프트($y_1, y_2$)에 조건화된 두 개의 독립적인 디노이징 브랜치를 시작합니다.
• 교차 공간 디노이징 (Cross-Space Denoising): 잠재 분포를 왜곡하지 않기 위해, 각 디노이징 단계마다 잠재 변수를 **복셀 공간(voxel space)**으로 디코딩합니다.
• CLIP 유도 방향 탐색 (CLIP-Guided Orientation Search): 융합 전, 시스템은 두 객체 사이의 최적의 상대적 회전을 자동으로 결정합니다. 후보 뷰들을 렌더링하고, CLIP을 사용하여 객체 1의 텍스트-이미지 유사도가 가장 높은 뷰를 찾은 다음, 객체 1의 앵커 뷰와 이미지-이미지 유사도를 최대화하는 객체 2의 회전을 탐색합니다. 이는 블렌딩 전 실루엣 정렬을 보장합니다.
• SDF 블렌딩 (SDF Blending): 이진 점유 그리드(binary occupancy grids)를 평균내는 대신(이는 기하학적 불연속성을 유발함), 이 방법은 복셀 표현을 **부호 거리 함수(Signed Distance Fields, SDF)**로 변환합니다. SDF의 요소별 평균을 계산하고 그 결과를 이진화하여 매끄러운 중간 기하 구조를 생성합니다. 이렇게 블렌딩된 복셀은 다음 디노이징 단계를 위해 잠재 공간으로 다시 인코딩됩니다.
• 노이즈 가이드 (Noise Guidance): 기하학적 충돌을 처리하기 위해, 프레임워크는 노이즈 블렌딩 가이드(Noise Blending Guidance)(사전 생성된 가이드 잠재 변수와 노이즈를 혼합) 또는 공간 제어 가이드(Space Control Guidance)(특정 타임스텝 $t_0$에서 가이드 잠재 변수를 노이즈와 보간)를 통해 공간적 사전 정보를 주입합니다. 이는 구조적 무결성을 유지하면서 타겟 의미를 향하도록 유도합니다.

2단계: 뷰 조건부 텍스처 합성 (View-Conditioned Texture Synthesis)

1단계의 융합된 기하 구조는 표준 텍스처링 모델을 혼란스럽게 하는 부자연스러운 구조를 포함할 수 있으므로, 별도의 텍스처링 단계가 사용됩니다.

• 뷰 인식 예측 (View-Aware Prediction): Stable Diffusion과 깊이 조건부 ControlNet을 사용하여, 특정 관점($\theta_1$ 및 $\theta_2$)에서 깨끗한 텍스처를 예측합니다.
• 메쉬 텍스처 집계 (Mesh Texture Aggregation): 예측된 2D 텍스처를 3D 표면으로 역투영합니다. 코사인 가중 블렌딩(cosine-weighted blending) 전략을 사용하여 표면 법선(normal)에 따라 다중 뷰 기여도를 집계함으로써, 매끄러운 전환을 보장하고 타겟 프롬프트에 해당하는 특정 각도 영역에 뚜렷한 텍스처를 할당합니다.

세 개의 객체로의 확장

이 프레임워크는 세 번째 디노이징 브랜치를 추가하고 타겟 각도를 $0^\circ, 120^\circ, 240^\circ$로 고정함으로써 세 개의 객체 착시로 자연스럽게 확장됩니다. 기하학적 복잡성이 증가함에 따라, 더 강력한 구조적 제약을 강제하기 위해 **공간 제어 가이드(Space Control Guidance)**가 필수적입니다.

주요 기여

1. 제로샷 3D 착시 프레임워크: 생성적 다중 뷰 착시를 개별 형태 최적화 없이 완전한 텍스처가 입혀진 3D 메쉬로 확장한 최초의 방법입니다.
2. 2단계 아키텍처: 기하학적 무결성을 위한 SDF 블렌딩을 포함한 이중 브랜치 디노이징 및 CLIP 유도 정렬과, 의미적 일관성을 위한 뷰 조건부 텍스처링을 특징으로 하는 새로운 파이프라인을 제시합니다.
3. 포괄적 평가: CLIP 유사도, GPT-4.1-mini 정확도, FID/KID, 객체 탐지 지표, 그리고 기하학적 매끄러움을 정량화하기 위한 새로운 **경계 이음새 점수(Boundary Seam Score, Impact Factor)**를 활용한 엄격한 평가 프로토콜을 수행했습니다.

실험 결과

단일 NVIDIA RTX 4090에서 5개 카테고리(조류, 포유류, 파충류, 식물, 인공물)에 걸친 60개의 서로 다른 객체 쌍을 대상으로 평가되었습니다:

• 효율성: JanusMesh는 3~5분 내에 결과를 생성하여, SDS 기반 베이스라인(~40분)보다 훨씬 뛰어나며 나이브 연결 방식의 속도와 일치합니다.
• 의미적 인식 가능성: 타겟 의미를 식별하는 데 있어 84%의 GPT 정확도를 달ඹ하여, 직접 연결(76%) 및 형태 기반 의미 추출(70%)보다 우수한 성능을 보였습니다.
• 기하학적 무결성: 직접 연결(56%)에 비해 가장 낮은 **객체 탐지 다중 객체율(18%)**을 기록하였으며, 이는 메쉬가 두 개의 붙여진 부분이 아니라 하나의 통합된 객체로 인식됨을 나타냅니다.
• 시각적 품질: 경쟁 방법들 중 가장 낮은 **FID (185.555)**를 기록하여 높은 시각적 사실성을 입증했습니다.
• 사용자 연구: 참가자의 78.5%가 생성된 의미가 "명확히 인식 가능하다"고 평가했으며, 71%가 모든 베이스라인보다 JanusMesh를 선호했습니다. 또한 91%가 고정 각도보다 CLIP 유도 방향 전략을 선호했습니다.

의의 및 주장

본 논문은 JanusMesh가 2D 광학 착시와 진정한 3D 기하 구조 사이의 간극을 성공적으로 메운다고 주장합니다. 기하 생성과 텍스처 합성을 분리하고, SDF 블렌딩을 통한 교차 공간 디노이징을 채택함으로써, 이 방법은 기하학적 일관성과 의미적 뚜렷함 사이의 트레이드오프를 극복합니다.

저자들은 이 접근 방식이 학습이 필요 없고(training-free) 효율적이라는 점을 강조하며, 고품질의 3D 시각적 착시를 반복적인 최적화의 계산 부담 없이 접근 가능하게 만듭니다. 비록 이 방법이 기본 모델인 TRELLIS의 일부 실패 사례(예: 특정 동물 카테리)를 계승하고 현재 3개 객체 착시를 위해 CLIP 정렬의 모호함으로 인해 고정 각도에 의존하고 있지만, 빠른 제로샷 3D 착시 생성의 새로운 기준을 세웠습니다.