기술 요약: 고충실도 단일 뷰 3D 재구성을 위한 국소성 보존 스케치 토큰 퓨전 (Locality-Preserving Sketch Token Fusion)

1. 문제 정의

자유로운 형태의 손그림 스케치로부터 고충실도 3D 형상을 재구성하는 것은 손으로 그린 선의 내재적 모호성과 특징 인코딩 과정에서의 미세한 기하학적 세부 정보 손실로 인해 매우 도전적인 과제입니다. 기존의 딥러닝 접근 방식은 발전해 왔으나, 일반적으로 플래트닝(flattening)이나 풀링(pooling) 연산을 통해 2차원 스케치 특징을 압축된 전역 잠재 표현(global latent representations)으로 압축하는 인코더-디코더 패러다임에 의존합니다.

이러한 압축 전략은 거친 형상의 의미론(semantics)과 시점 정보를 포착하는 데는 효과적이지만, 공간적으로 국소화된 스트로크 단서(localized stroke cues)를 필연적으로 소실시킵니다. 결과적으로 이미지 특징과 국소 스케치 구조 사이의 공간적 대응 관계가 약화되며, 이는 얇은 돌출부, 국소적 오목함, 상세한 윤곽선과 같은 중요한 기하학적 세부 정보를 잃게 만듭니다. 디코딩 과정에서 메쉬 생성은 대개 전역 벡터로부터 정점 변형을 회귀하는 단일 피드포워드 과정을 통해 이루어지며, 국소적인 스케치 증거에 적응적으로 접근할 수 있는 명시적인 메커니즘이 결여되어 있습니다. 이는 재구성된 모델이 전체적인 형상은 유지하되 국소 영역에서는 과도하게 매끄러워지거나(over-smoothed), 원래 스케치의 기하학적 의도를 충분히 포착하지 못하는 결과를 초래합니다.

2. 방법론

저자들은 전역적 형상 이해를 유지하면서 국소 스케치 정보를 유지하고 활용하도록 설계된 프레임워크인 **Locality-Preserving Sketch Token Fusion (LP-STF)**를 제안합니다. 이 아키텍처는 다섯 가지 주요 구성 요소로 이루어져 있습니다.

2.1 특징 추출기 및 토큰 트랜스포머 블록 (TTB)

입력 스케치는 특징을 하나의 벡터로 집계하는 대신, 경량 컨볼루션 인코더에 의해 처리되어 공간 특징 맵을 생성합니다. 이 맵은 국소 스케치 토큰을 생성하기 위해 고정된 공간 해상도($7 \times 7$)로 변환됩니다.

• 이중 경로 표현 (Dual-Path Representation): 본 프레임워크는 이러한 특징들을 상호 보완적인 전역 및 국소 표현으로 변환하는 **토큰 트랜스포머 블록(Token Transformer Block)**을 도입합니다.
• 메커니즘: 특징 맵은 토큰 시퀀스로 평탄화되어 멀티 헤드 셀프 어텐션(multi-head self-attention)과 MLP를 통해 처리되며, 이를 통해 장거리 구조적 관계를 포착합니다.
• 게이트 퓨전 (Gated Fusion): 학습 가능한 게이트 잔차 퓨전 메커니즘($F_{token} = X_t + \tan(\alpha) \cdot X_r$)은 원래의 스케치 정보와 변환된 특징을 적응적으로 균형 있게 결합합니다. 이는 미세한 스트로크 패턴을 보존하는 동시에 변별력 있는 기하학적 패턴을 강화하여, 국소성을 보존하는 토큰 표현을 생성합니다.

2.2 인코더-디코더 모듈

국소성을 보존하는 토큰들은 두 가지 상호 보완적인 잠재 코드(latent codes)로 분해됩니다:

• 형상 표현 ($F_s$): 시점 변화에 덜 민감한 내재적 기하학적 특성을 인코딩합니다.
• 시점 표현 ($F_v$): 입력 스케치의 시점 구성을 명시적으로 인코딩합니다.
• 분리 (Disentanglement): $F_v$가 정답 시점 임베딩과 정렬함으로써 시점 정보를 정확하게 포착하고 다른 후보들과 구별할 수 있도록 대비 학습 정렬 목적 함수($L_{con}$)가 부과됩니다. 디코더는 이를 전역 형상 잠재 변수($Z_{global}$)로 통합합니다.

2.3 국소 토큰 교차 주의 집중 (LTCA) 모듈

전역 잠재 표현과 국소 기하학적 세부 정보 사이의 간극을 메우기 위해, 저자들은 **국소 토큰 교차 주의 집중 모듈(Local Token Cross-Attention Module)**을 설계했습니다.

• 쿼리 기반 샘플링 (Query-Driven Sampling): 전역 형상 잠재 변수($Z_{global}$)가 쿼리($Q$) 역할을 수행하며, 국소성을 보존하는 스케치 토큰이 키($K$)와 값($V$) 역할을 합니다.
• 적응적 검색 (Adaptive Retrieval): 스케일드 닷 프로덕트 어텐션(scaled dot-product attention)을 통해, 전역 표현은 관련 있는 국소 스케치 토큰($Z_{local}$)을 적응적으로 쿼리하고 검색합니다. 이를 통해 네트워크는 현재 기하학적 재구성에 적절한 스케치 영역(예: 물체의 경계 또는 얇은 구조)을 동적으로 식별할 수 있습니다.
• 퓨전 (Fusion): 검색된 국소 단서는 잔차 합산($Z_f = Z_{global} + Z_{local}$)을 통해 전역 표현과 융합되어, 전역적 의미론과 미세한 국소적 증거를 결합한 기하학 인지 표현을 생성합니다.

2.4 메쉬 생성 및 학습

융합된 표현은 메쉬 생성기에 의해 디코딩되어 초기 메쉬를 생성하며, 이후 메쉬 정밀화(refinement) 모듈에 의해 더욱 정교해집니다. 프레임워크는 세 가지 상호 보완적인 목적 함수를 사용하여 학습됩니다:

1. 실루엣 재구성 ($L_s$): 예측된 메쉬의 렌더링된 실루엣과 스케치에서 추출된 타겟 실루엣 사이의 미분 가능한 IoU(Intersection-over-Union) 손실입니다.
2. 메쉬 정규화 ($L_r$): 기하학적 타당성과 표면 매끄러움을 보장하기 위해 라플라시안 평활화($L_{lap}$)와 엣지 길이 정규화($L_{edge}$)를 포함합니다.
3. 시점 인식 대비 정렬 ($L_{con}$): 시점 브랜치가 시점 의존적 단서를 내재적 형상 정보로부터 정확하게 분리하도록 보장합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 국소성 보존 이중 경로 표현을 위한 토큰 트랜스포머 블록: 전역적 형상 의미론과 공간적으로 구조화된 국소 토큰을 공동으로 학습함으로써 과도한 전역 압축을 피하고 미세한 스트로크 정보를 보존하는 새로운 인코딩 전략입니다.
2. 기하학 인지 정렬을 위한 국소 토큰 교차 주의 집중 모듈: 디코더가 메쉬 생성 중에 정보가 풍부한 국소 스케치 영역을 선택적으로 검색할 수 있게 하여, 2D 스트로크 구조와 3D 정점 변형 사이의 더 정밀한 대응 관계를 구축하는 적응형 메커니즘입니다.
3. 고충실도 및 강건한 재구성: 본 프레임워크는 합성 및 실제 손그림 스케치 모두에서 우수한 성능을 달성하며, 특히 얇은 구조와 복잡한 국소 기하학을 가진 객체 재구성을 개선합니다.

4. 실험 결과

본 방법은 13가지 객체 카테고리(예: 비행기, 의자, 자동차)에 대해 ShapeNet-Synthetic 및 ShapeNet-Sketch 데이터셋에서 평가되었습니다.

• 정량적 성능:
  • ShapeNet-Synthetic에서, 제안된 방법은 정답 시점(0.628) 및 예측 시점(0.610) 설정 모두에서 가장 높은 평균 IoU 점수를 기록하며 SS2M, Sketch2Model, Magic3DSketch와 같은 최신 베이스라인 모델들을 능가했습니다.
  • ShapeNet-Sketch(실제 손그림 스케치)에서, 본 방법은 데이터셋 전반에 걸쳐 가장 높은 평균 IoU(정답 시점 시 0.498, 예측 시점 시 0.487)를 달성하며 강력한 일반화 능력을 입증했습니다.
• 정성적 분석:
  • 시각적 비교를 통해 LP-STF가 비행기 꼬리, 의자 등받이, 사각형 벤치 토폴로지, 자동차 리어 윙과 같이 베이스라인 방법에서 흔히 손실되는 미세한 디테일을 성공적으로 복구함을 보여줍니다.
  • 어블레이션 연구(Ablation studies)는 토큰 트랜스포머 블록(TTB) 또는 국소 토큰 교차 주의 집중(LTCA) 모듈 중 하나라도 제거할 경우 IoU가 눈에 띄게 감소하고 얇거나 복잡한 영역에서 구조적 충실도가 가시적으로 저하됨을 확인시켜 줍니다.

5. 의의 및 주장

본 연구의 주요 의의는 전역적 특징 압축으로 인한 공간적 국소 스케치 정보의 손실이라는 기존 인코더-디코더 패러다임의 근본적인 한계를 해결하는 데 있습니다.

이중 경로 표현과 적응형 교차 주의 집중 메커니즘을 도입함으로써, 본 프레임워크는 2D 스케치 구조와 3D 기하학 사이의 공간적 대응 관계를 성공적으로 유지합니다. 저자들은 이 접근 방식이 제한된 2D 입력으로부터 유추하기 어려운 "얇은 구조, 길게 늘어진 구성 요소, 그리고 독특한 국소 기하학적 패턴"을 복구하는 데 특히 유익하다고 주장합니다. 실험 결과는 국소 스케치 토큰을 명시적으로 보존하고 활용하는 것이 충실하고 고충실도인 3D 재구성을 달ာ하는 데 필수적임을 시사하며, 이는 전문적인 디자인 요구 사항과 접근하기 쉬운 비전문가용 스케치 인터페이스 사이의 간극을 메워줍니다.

저자들이 언급했듯이, 향후 연구는 더욱 효과적인 계층적 토큰 표현을 탐색하고, 기하학적으로 복잡한 객체의 재구성을 더욱 제약할 수 있는 추가적인 단서(깊이 또는 의미론적 정보 등)를 통합하는 데 집중할 것입니다.