1. 문제 정의 (Problem Statement)

단안 (Monocular) 깊이 추정 (Depth Estimation) 은 3D 재구성, 로봇 조작, 내비게이션 등 다양한 분야에서 핵심적인 역할을 하지만, 투명한 물체 (Transparent Objects) 에 대해서는 여전히 심각한 한계를 보입니다.

• 근본 원인: 투명한 물체는 빛의 굴절 (Refraction) 과 투과 (Transmission) 현상을 일으켜, 기존 깊이 추정 네트워크가 가정하는 일반적인 광학적/외관적 (Appearance) 가정을 위반합니다.
• 현재의 한계:
  • 최신 모델들도 투명한 물체에서는 불안정하거나 잘못된 깊이를 예측합니다.
  • 기존 접근법들은 투명 물체 전용으로 대규모 RGB-깊이 쌍 데이터를 수집하여 모델을 미세 조정 (Fine-tuning) 해야 하지만, 이는 데이터 수집이 어렵고, 새로운 베이스 모델이 나올 때마다 재학습이 필요하다는 비효율성을 가집니다.
  • 기존 모델의 일반화 능력을 해치지 않으면서 투명 물체의 깊이를 정확히 추정할 수 있는 방법이 필요합니다.

2. 제안 방법론 (Methodology: SeeClear)

논문은 SeeClear라는 새로운 프레임워크를 제안합니다. 이는 투명 물체의 외관을 기하학적으로 일관된 불투명 (Opaque) 이미지로 변환한 후, 기존 오프더셸 (Off-the-shelf) 단안 깊이 추정 모델을 사용하는 플러그 앤 플레이 (Plug-and-play) 방식의 프론트엔드 어댑터입니다.

핵심 단계:

1. 투명 영역 국소화 (Localization):
   • 입력 이미지에서 투명 물체의 위치를 파악하기 위해 세그멘테이션 모델 (Trans4Trans + SAM 3) 을 사용하여 투명 물체 마스크 ($M_{seg}$) 를 생성합니다.
2. 생성적 불투명화 (Generative Opacification):
   • 조건부 잠재 확산 모델 (Conditional Latent Diffusion Model): 입력 이미지 ($I_{tr}$) 와 마스크 ($M_{seg}$) 를 조건으로 사용하여, 굴절 효과를 제거하고 기하학적 구조를 보존하는 불투명 이미지 ($I_{pred}$) 를 생성합니다.
   • 시맨틱 조건부 (Semantic Conditioning): CLIP 이미지 인코더를 사용하여 물체의 정체성 (Semantic identity) 을 유지하도록 가이드합니다. (패치 토큰 대신 클래스 토큰 사용)
   • 학습 목표: 표준 DDPM 손실 함수와 함께, VAE 디코딩된 픽셀 공간에서 계산된 LPIPS (Perceptual Loss) 를 사용하여 질감의 충실도와 구조적 일관성을 보장합니다.
3. 마스크 정제 및 합성 (Mask Refinement & Compositing):
   • 생성된 불투명 영역을 원본 배경과 자연스럽게 합성하기 위해 마스크 정제 모듈 (Mask Refinement Module, MRM) 을 도입합니다.
   • 이 모듈은 부드러운 블렌딩 마스크 ($\hat{M}_{refine}$) 를 예측하여, 생성된 불투명 이미지와 원본 이미지를 알파 블렌딩 (Alpha Blending) 합니다. 이는 VAE 인코딩/디코딩 과정에서 발생할 수 있는 경계 헤일 (Halo) 이나 색상 왜곡을 방지합니다.
4. 깊이 추정 (Depth Estimation):
   • 최종 합성된 이미지 ($I_{blend}$) 를 기존에 학습된 단안 깊이 추정 모델 (예: Depth Anything V3, MoGe-2) 에 입력하여 깊이를 예측합니다. 깊이 모델 자체는 재학습 (Retraining) 하지 않습니다.

3. 주요 기여 (Key Contributions)

1. SeeClear 프레임워크: 투명 영역을 기하학적 일관성이 있는 불투명 이미지로 변환하여, 기존 모델이 투명 물체에도 안정적으로 적용되도록 하는 새로운 접근법을 제시했습니다.
2. 플러그 앤 플레이 어댑터: 깊이 모델을 수정하거나 재학습하지 않고도 투명 물체 추정이 가능하도록 하는 범용 어댑터를 개발했습니다.
3. SeeClear-396k 데이터셋: 투명 - 불투명 쌍 (Paired) 렌더링 396,000 개를 포함한 대규모 합성 데이터셋을 구축했습니다. 이 데이터셋은 정렬된 깊이, 법선, 마스크 정보를 제공하며, 다양한 조명, 카메라 각도, 물체 변형을 포함하여 모델의 일반화 능력을 학습시킵니다.
4. 광범위한 실험 검증: 합성 및 실제 데이터셋 (ClearGrasp, TransPhy3D 등) 에서 기존 SOTA 방법론들 (DKT, Depth4ToM, Diffusion4RobustDepth 등) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative Evaluation):
  • ClearGrasp (실제 데이터): SeeClear 는 Depth Anything V3 와 MoGe-2 를 백본으로 사용할 때, 투명 영역 (ToM) 과 전체 이미지 (All) 에서 RMSE, AbsRel 등 주요 지표에서 기존 SOTA 모델들을 압도적으로 능가했습니다. 특히 MoGe-2 기반 SeeClear 는 RMSE 를 56.83mm 에서 26.62mm 로 획기적으로 개선했습니다.
  • TransPhy3D (합성 데이터): 미세 조정 (Fine-tuning) 이 필요한 DKT 와 비교했을 때, SeeClear 는 제로샷 (Zero-shot) 설정에서 더 나은 또는 동급의 성능을 보였으며, 특히 AbsRel 지표에서 25% 개선 효과를 보였습니다.
• 정성적 평가 (Qualitative Evaluation):
  • 기존 모델들은 투명 물체에서 반투명 (Translucent) 한 깊이 맵을 생성하거나 경계가 모호한 경우가 많았습니다.
  • SeeClear 는 투명한 유리병, 액체가 담긴 용기, 복잡한 중첩 구조에서도 물체의 개구부 (Opening) 와 표면 기하학을 정확하게 복원하며, 배경과 자연스럽게 연결되는 매끄러운 깊이 맵을 생성했습니다.
• Ablation Study:
  • 마스크 입력: 단순한 바운딩 박스나 포인트 히트맵보다 정밀한 세그멘테이션 마스크가 성능에 결정적입니다.
  • 조건부 인코더: CLIP 의 클래스 토큰 (Class Token) 이 DINOv2 나 전체 토큰보다 더 안정적인 시맨틱 정보를 제공합니다.
  • 손실 함수: LPIPS(지각적 손실) 를 추가한 것이 단순 L1 손실이나 그래디언트 손실보다 기하학적 일관성을 높이는 데 효과적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 투명 물체 깊이 추정을 "전용 모델 학습"이 아닌 "외관 변환 (Opacification)" 문제로 재정의함으로써, 기존에 강력하게 학습된 기초 모델 (Foundation Models) 의 능력을 투명 물체 영역으로 확장시켰습니다.
• 실용성: 데이터 수집과 재학습의 부담 없이, 기존에 존재하는 최첨단 깊이 추정 모델을 투명 물체가 포함된 복잡한 실제 환경에서도 즉시 사용할 수 있게 합니다.
• 미래 전망: 이 프레임워크는 반사 (Specular), 반투명 (Translucent), 다중 레이어 투명 물체 등으로 확장 가능하며, 비디오 기반의 일관성 있는 깊이 추정으로 발전할 잠재력을 가집니다.

요약하자면, SeeClear는 투명 물체의 광학적 난제를 해결하기 위해 생성형 AI 를 활용한 '불투명화' 전처리 단계를 도입함으로써, 기존 깊이 추정 모델의 성능 한계를 극복하고 안정적이고 정확한 3D 이해를 가능하게 한 획기적인 연구입니다.