기술 요약: GHOST (Geometry-Guided Hallucination of Opaque Surface Textures)

1. 문제 정의

투명한 물체는 주류의 깊이 추정(depth estimation) 및 3D 재구성 시스템에 근본적인 과제를 제시합니다. 이러한 시스템은 일반적으로 **람베르트 디퓨즈 반사 가정(Lambertian diffuse reflection assumption)**에 의존하는데, 투명한 표면은 빛의 투과, 경면 반사(specular reflection), 굴절로 인해 이 가정이 위배됩니다. 결과적으로 표준 모델들은 심각한 기하학적 저하를 겪으며, 유리나 투명한 물체의 실제 표면이 아닌 배경의 깊이를 예측하는 경우가 많습니다.

기존 솔루션들은 다음과 같은 상당한 한계에 직면해 있습니다:

• 깊이 완성(Depth Completion) 및 NeRF: 깊이 완성 방식은 특수 하드웨어나 분말 살포를 통해 얻은 고가의 정답(ground-truth) 데이터를 필요로 하는 경우가 많으며, 특정 엔드 투 엔드 학습을 요구하여 미학습 재질에 대한 일반화 성능이 떨어집니다. NeRF 기반 접근 방식은 추론 효율이 낮고, 다중 뷰 입력과 긴 장면별 학습 시간이 필요하여, 범용적인 최첨단(SOTA) 모델들을 포기하게 만드는 "인식 격리(perception silo)" 현상을 초래합니다.
• 세그멘테이션(Segmentation): 현재의 세그멘테이션 모델들은 굴절과 반사로 인한 객체의 외형과 배경 간의 결합 문제로 어려움을 겪으며, 저대비 또는 복잡한 폐쇄(occlusion) 상황에서 자주 실패합니다.

핵리적인 과제는 범용적인 기성(off-the-shelf) 3D 비전 모델들이 재학습 없이도 투명한 물체를 처리할 수 있도록 하면서, 투명 재질에 대한 정답 깊이 라벨을 획득하는 높은 비용을 피하는 것입니다.

2. 방법론

저자들은 범용적인 전처리 프레임워크인 GHOST(Geometry-guided Hierarchical Opaque Style Transfer)를 제안합니다. GHOST는 다운스트림 모델을 수정하는 대신, 시각 기초 모델(visual foundation models)을 사용하여 투명한 영역을 구조적으로 일관된 불투명한 표현으로 "다시 그리는(repaints)" 방식입니다. 파이프라인은 네 개의 위상적으로 연결된 모듈로 구성됩니다:

2.1. TransDINO: 투명 객체 국지화(Localization)

TransDINO는 투명한 객체를 위한 고품질 세맨틱 마스크를 추출하도록 설계된 하이브리드 세그멘테이션 프레임워크입니다.

• 구조: 이 모델은 듀얼 스트림 인코딩 메커니즘을 갖춘 U-Net 구조를 활용합니다. 한 스트림은 사전 학습된 ResNet-34 백본을 사용하여 다중 스케일 공간 특징을 추출하고, 다른 스트림은 DINOv3(시각 기초 모델)의 특징을 처리하여 조밀한 세맨틱 경계를 포착합니다.
• 융합: 새로운 TransFusionChannelAttn 모듈은 RGB 특징을 쿼리(query)로, DINOv3 세맨틱 특징을 키(key)/값(value)으로 취급하여 공간적 교차 주의 집중(spatial cross-attention)을 통해 이질적인 특징들을 정렬합니다. 듀얼 풀링 채널 어텐션 메커니즘은 노이즈를 억제하며, 학습 가능한 스케일링 인자는 심층 융합 학습을 안정화합니다.

2.2. TransDecomp: 알파 및 전경 분해

TransDecomp는 투명한 객체 영역을 알파 매트($\alpha_{trans}$)와 전경 그레이스케일 맵($F_g$)으로 분해합니다.

• 물리적 가정: "약한 굴절(weak refraction)" 가정(빛의 변위가 작은 경우) 하에서, 상호작용은 알파 블렌딩으로 근사됩니다. 강한 굴절의 경우, 네트워크는 비투명성을 나타내기 위해 더 낮은 알파 값을 생성합니다.
• 구조: 게이트 컨볼루션(gated convolutions)과 트랜스포머 보틀넥(Transformer bottleneck)을 갖춘 U-Net입니다. 게이트 컨볼루션은 유효한 객체 특징과 배경 노이즈를 구분하며, ViT 보틀넥은 굴절에 의한 모호함을 해결하기 위해 장거리 의존성을 포착합니다.
• 듀얼 헤드 디코딩: 네트워크는 불투명도 헤드(알파 예측)와 전경 헤드(고유 색상/경면 반사 예측)를 출력합니다. 이들은 객체 마스크에 의해 제약되며, InpaintAnything을 통해 계산된 배경 사전 정보(prior)를 바탕으로 원본 이미지에 대한 재구성 손실을 사용하여 학습됩니다.

2.3. DAF-Net: 표면 법선(Surface Normal) 추정

DAF-Net은 미세한 곡률을 인코딩하기 위해 정교한 표면 법선($N$)을 복원합니다.

• 구조: 이 모델은 동결된 DINOv3 특징과 RGB, 마스크, 알파 매트, 전경 가이드를 통해 픽셀 정렬된 기하학적 세부 사항을 추출하는 **다중 모달 공간 어댑터(MMSA)**를 융합하여 세맨틱 사전 정보와 국소적 기하학적 단서를 연결합니다.
• 융합: **충실도 인식 융합 블록(Fidelity-Aware Fusion Block)**은 Squeeze-and-Excitation(SE) 메커니즘을 사용하여 투명 영역의 노이즈를 적응적으로 억제합니다.
• 손실 함수: 학습 목적 함수는 방향 모호성을 처리하기 위한 확률적 Von Mises-Fisher(vMF) 손실과 알파 매트에 의해 유도되는 엣지 인식 평활도(edge-aware smoothness) 사전 정보를 결래합니다.

2.4. GeoSemTransNet: 불투명 텍스처 합성

이 모듈은 최종적인 텍스처가 풍부한 불투명 RGB 이미지를 합성합니다.

• 메커니즘: 이는 DINOv3 특징을 SPADE(Spatially-Adaptive Normalization) 모듈을 통해 융합하는 인코더-디코더 네트워크입니다. SPADE 블록은 합성된 텍스처가 객체의 3D 기하 구조를 엄격히 따르도록 기하학적 사전 정보($N$, 마스크, 전경)를 사용하여 텍스처 인코더의 활성화를 조절합니다.
• 물리 인식 손실(Physics-Aware Loss): 생성 과정은 다음 요소들에 의해 제약됩니다:
  1. Shape-from-Shading: 예측된 표면 법선과 휘도(luminance) 일관성을 보장합니다.
  2. 그래디언트 일관성: 텍스처의 가장자리를 기하학적 불연속성과 정렬합니다.
  3. 재구성 항: 경계 및 전경 일관성을 보장합니다.

3. 주요 기여

1. TransDINO: 투명 객체의 강건한 마스크 추출을 위해 DINOv3 특징을 주입하는 U-Net 기반 세그멘테이션 모델로, 여러 데이터셋에서 특화된 모델들을 능가하는 성능을 보여줍니다.
2. TransDecomp: 약한 굴절 가정 하에서 물리적 특성(투명도 및 전경 값)을 분리하는 듀얼 헤드 ViT 아키텍처입니다.
3. DAF-Net: 구조적 무결성을 위한 심층 세맨틱 특징과 국소적 굴절/경면 흐름을 위한 얕은 특징을 활용하는 표면 법선 추정기입니다.
4. GeoSemTransNet: SPADE를 통해 기하학적 사전 정보를 계층적으로 주입하여 기하학 가이드형 불투명 텍스처를 합성하는 인코더-디코더입니다.
5. 범용 전처리: 이 프레임워크는 기존의 SOTA 깊이 추정 및 재구성 모델들이 재학습 없이도 투명한 물체를 처리할 수 있게 하며, 효과적으로 장면을 "다시 그려" 광도 단서(photometric cues)를 복원합니다.

4. 실험 결과

저자들은 ClearGrasp, ClearPose, Trans10K-v2 데이터셋에서 GHOST를 평가했습니다.

• 세그멘테이션: TransDINO는 특화된 모델들(EBLNet, TROSNet 등)보다 훨씬 뛰어난 mIoU 점수(예: ClearGrasp에서 92.44%, Trans10K-v2에서 86.82%)를 달성했습니다.
• 깊이 추정: GHOST로 처리된 이미지가 범용 깊이 추정기(예: DA3, MoGe2, DepthPro, VGGT)에 입력되었을 때 정확도가 극적으로 향상되었습니다. 예를 들어, MoGe2를 사용할 경우 RMSE는 0.018에서 0.014로 감소했고, $\delta_{1.25}$ 정확도는 0.999에서 1.000으로 개선되었습니다. 이 방법은 특화된 투명 객체 깊이 추정기(예: HDCNet, SwinDRNet)보다 우수한 성능을 보였습니다.
• 3D 재구성: 피드포워드 재구성 작업(DUst3R, $\pi^3$, VGGT 등의 모델 사용)에서 GHOST 처리된 입력은 정확도(Accuracy), 완결성(Completeness), F-Score 측면에서 유의미한 향상을 가져왔습니다. 예를 들어, DUst3R의 F-Score는 77.36에서 88.66으로 향상되었습니다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 전체 파이프라인의 필요성이 확인되었습니다. 구성 요소를 제거할 경우(예: 법선이나 전경 단서 없이 마스크만 사용하는 경우) 노이즈와 같은 출력이 나오거나 원본 이미지보다 성능이 저하되었으며, 이는 모듈 간의 상호 의존성을 강조합니다.

5. 의의 및 주장

본 논문은 GHOST가 특화된 투명 객체 모델들에 의해 생성되는 "인식 격리"를 해결하는 범용 전처리 메커니즘을 제공한다고 주장합니다. 투명한 영역을 불투명하고 구조적으로 일치하는 표현으로 변환함으로써 GHOST는 다음을 가능하게 합니다:

• 일반화: 특정한 작업별 재학습이나 고가의 정답 깊이 획득 없이도 범용적이고 다재다능한 SOTA 모델들을 적용할 수 있습니다.
• 효율성: 전통적인 깊이 완성의 하드웨어 의존성이나 장면별 NeRF 학습의 계산 오버헤드를 피할 수 있습니다.
• 패러다임 전환: 시각 기초 모델을 활용하여 누락된 기하학적 및 광도 단서를 환각(hallucinate)함으로써, 일반적인 3D 비전 작업에서 투명한 물체의 병목 현상을 해결하는 새로운 접근 방식을 제시합니다.

저자들은 이 연구가 기초 모델을 파이프라인에 통합하여 컴퓨터 비전 작업의 근본적인 물리적 한계(람베르트 가정)를 극복하는 방법을 보여줌으로써 머신러닝 분야를 발전시킨다고 강조합니다.