GeoFusionLRM: Geometry-Aware Self-Correction for Consistent 3D Reconstruction

1. 문제 정의 (Problem)

단일 이미지로부터 3D 모델을 재구성하는 **대형 재구성 모델 (Large Reconstruction Models, LRMs)**은 최근 급속히 발전했으나, 다음과 같은 근본적인 한계를 가지고 있습니다:

• 기하학적 불일치 (Geometric Inconsistencies): 입력 이미지의 세부 사항과 재구성된 메시 (Mesh) 간의 정렬이 맞지 않음.
• 정확도 부족: 표면 법선 (Surface Normals) 이 왜곡되거나, 기하학적 구조가 부정확하게 표현됨.
• 시각적 오해: 렌더링된 RGB 이미지에서는 결함이 보이지 않더라도, 실제 메시에는 구멍 (holes) 이 있거나 형태가 왜곡되어 있는 경우가 많음 (예: 외관상 구멍이 있어 보이지만 실제 메시에는 없음).
• 기존 방법의 한계: 기존 LRM 들은 주로 입력 이미지에서 추출된 시맨틱 (semantic) 특징에 의존하며, 3D 볼륨 정보가 누락된 단일 이미지 재구성의 본질적 불확실성을 해결하지 못함.

2. 방법론 (Methodology)

저자들은 GeoFusionLRM을 제안하여, 모델이 스스로 생성한 기하학적 정보를 활용하여 재구성을 보정하는 기하학적 인식 자기 수정 (Geometry-Aware Self-Correction) 프레임워크를 도입했습니다.

핵심 아키텍처 및 프로세스

1. 2 단계 재구성 파이프라인:

   • 1 단계 (초기 재구성): 기존 LRM (InstantMesh 기반) 을 사용하여 입력 이미지로부터 초기 3D 메시를 생성합니다.
   • 2 단계 (자기 보정): 생성된 초기 메시를 렌더링하여 깊이 (Depth) 및 법선 (Normal) 맵을 추출합니다.

2. GeoFormer (기하학적 인코더):

   • 추출된 깊이 및 법선 맵을 인코딩하기 위한 전용 트랜스포머 인코더입니다.
   • DINO (Vision Transformer) 기반으로 초기화되며, 기하학적 지도 (Depth/Normal) 를 처리하도록 4 채널 입력 (RGB 3 채널 + 깊이/법선 1 채널) 으로 확장되어 미세 조정 (Fine-tuning) 됩니다.
   • 이 모듈은 구조적 일관성을 포착하는 데 중점을 둡니다.

3. GeoFuser (토큰 수준 융합 모듈):

   • 비전 인코더에서 추출된 **시맨틱 토큰 (Semantic Tokens)**과 GeoFormer 에서 추출된 **기하학적 토큰 (Geometric Tokens)**을 융합합니다.
   • 경량화된 2 층 피드포워드 네트워크를 사용하여 시맨틱 특징에 대한 **잔차 보정 (Residual Correction)**을 생성합니다.
   • 이 융합된 토큰은 LRM 의 교차 주의 (Cross-Attention) 레이어에 주입되어 메시를 다시 생성하고 기하학적 오류를 수정합니다.

4. 학습 전략:

   • 훈련 시에는 InstantMesh 백본을 고정하고 GeoFormer 와 GeoFuser 파라미터만 최적화합니다.
   • 광도 (Photometric), LPIPS, 마스크 일관성, 깊이 정렬, 법선 유사성, FlexiCubes 정규화 등 다양한 손실 함수를 사용하여 학습합니다.
   • 추론 시에는 초기 재구성 후 단 한 번의 보정 단계만 수행하여 효율성을 확보합니다.

3. 주요 기여 (Key Contributions)

• 자기 예측 기반 기하학적 조건부 (Self-predicted Geometry-Aware Conditioning): 외부 예측기나 추가적인 멀티뷰 이미지 없이, 모델이 스스로 예측한 깊이와 법선 정보를 활용하여 2 단계 재구성을 수행하는 프레임워크를 제안했습니다.
• GeoFormer 인코더: DINO 기반으로 초기화되고 기하학적 지도에 대해 미세 조정된 인코더를 통해 입력 이미지와 재구성된 메시 간의 구조적 정렬을 학습합니다.
• GeoFuser 모듈: 시맨틱 특징과 기하학적 특징을 토큰 수준에서 융합하여 정제된 Triplane 조건부 정보를 생성하는 경량 네트워크를 설계했습니다.
• 성능 향상: 기존 SOTA 모델들보다 더 날카로운 기하학, 더 정확한 법선, 그리고 입력 뷰와의 높은 정합성을 달성했습니다.

4. 실험 결과 (Results)

데이터셋: Objaverse-1.0 (학습), OmniObject3D 및 Google Scanned Objects (GSO) (평가).
비교 대상: LRM, SPAR3D, LGM, InstantMesh.

• 정량적 평가 (Quantitative):
  • GSO 및 OmniObject3D 데이터셋에서 RGB 이미지 품질 (PSNR, SSIM, LPIPS) 과 법선 맵 품질 모두에서 기존 SOTA 모델 (특히 InstantMesh) 을 능가했습니다.
  • 특히 법선 (Normal) 관련 지표에서 큰 향상을 보였으며, 이는 제안된 방법이 기하학적 정확도에 집중하고 있음을 시사합니다.
• 정성적 평가 (Qualitative):
  • 세부 구조 보존: 거북이 주전자의 껍질 무늬, 그릇의 날카로운 테두리, 화분의 복잡한 컷아웃 패턴 등 기존 모델들이 평활화 (Smoothing) 하거나 왜곡했던 세부 기하학을 정확하게 재구성했습니다.
  • 모호한 영역 처리: 어두운 색상이나 특징이 부족한 영역 (예: 모자의 어두운 밴드) 에서도 SPAR3D 가 잘못된 구멍을 생성하는 것과 달리, GeoFusionLRM 은 연속된 표면을 올바르게 재구성했습니다.
• Ablation Study:
  • 깊이와 법선 정보를 모두 사용할 때 성능이 가장 우수하며, GeoFormer 의 사전 학습 (Pre-training) 이 중요한 역할을 함을 확인했습니다.
  • 반복 (Iteration) 분석을 통해 1 번의 보정 단계가 효율성과 품질 간의 최적 균형을 제공함을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 외부 신호나 추가적인 멀티뷰 합성 없이 모델 내부의 기하학적 피드백 루프를 통해 재구성 품질을 향상시키는 새로운 패러다임을 제시했습니다.
  • 단일 이미지 3D 재구성에서 발생하는 "시각적 매끄러움"과 "기하학적 정확성" 간의 괴리를 해소하는 데 기여합니다.
• 한계:
  • 계산 비용: 보정 과정으로 인해 추론 시간이 기존 InstantMesh 대비 약 4 배 증가 (0.989s → 3.854s) 하고 TFLOPs 도 크게 증가했습니다.
  • 미세 구조: InstantMesh 백본이 사용하는 저해상도 Triplane 표현의 한계로 인해, 매우 얇은 나뭇가지나 미세한 뿌리 구조와 같은 초미세 기하학적 디테일은 여전히 복원하기 어렵습니다.

결론적으로, GeoFusionLRM 은 단일 이미지 기반 3D 재구성의 기하학적 일관성을 획기적으로 개선한 방법론으로, 특히 표면 법선과 구조적 세부 사항이 중요한 AR/VR, 콘텐츠 제작 분야에서 중요한 의의를 가집니다.