Lite Any Stereo: Efficient Zero-Shot Stereo Matching

1. 문제 정의 (Problem)

최근 스테레오 매칭 (Stereo Matching) 연구는 정확도 향상에 집중해 왔으나, 그 결과 모델 크기와 계산 비용이 급격히 증가하여 리소스가 제한된 하드웨어에 배포하기 어려워졌습니다.

• 정확도 vs 효율성 트레이드오프: 기존 고평가 모델 (Accuracy-oriented) 은 대규모 데이터와 복잡한 구조로 인해 높은 정확도를 보이지만, 실시간 처리가 어렵습니다. 반면, 경량화 모델 (Efficiency-oriented) 은 빠른 추론 속도를 제공하지만, 도메인 특화 학습에 의존하여 제로샷 (Zero-shot, 학습 데이터와 다른 환경) 일반화 능력이 부족하다는 한계가 있었습니다.
• 기존 경량 모델의 한계: 효율적인 모델들은 주로 특정 도메인 (예: KITTI) 에 맞춰 미세 조정 (Fine-tuning) 되어야 하므로, 실제 자연스러운 환경 (In-the-wild) 에서의 적용성이 떨어집니다. 또한, 기존에 제로샷 성능을 보인 모델들은 깊이 사전 지식 (Depth Priors) 을 활용하는 대형 모델들이라 계산 비용이 매우 높습니다.

2. 제안 방법 (Methodology)

저자들은 "Lite Any Stereo" 라는 초경량 스테레오 매칭 프레임워크를 제안하며, 아키텍처 설계와 3 단계 학습 전략을 통해 효율성과 제로샷 일반화 능력을 동시에 달성했습니다.

가. 아키텍처 (Architecture)

• 경량 백본 (Compact Backbone): DepthAnything 과 같은 외부 사전 지식을 사용하지 않고, ImageNet 으로 사전 학습된 MobileNetV2 기반의 경량 백본을 사용하여 특징 추출을 수행합니다. 이는 추가적인 계산 오버헤드를 제거합니다.
• 하이브리드 비용 집계 모듈 (Hybrid Cost Aggregation Module):
  • 기존 경량 모델들은 주로 2D 합성곱만 사용하여 깊이 방향의 구조적 연속성을 모델링하지 못했습니다.
  • 제안된 방법은 3D 합성곱 (깊이 및 공간 차원 동시 집계) 과 2D 합성곱 (공간 정제) 을 결합한 하이브리드 구조를 도입합니다.
  • 3D-2D 직렬 연결 (3D-2D Serial Connection): 3D 블록이 먼저 깊이 방향의 구조적 정보를 포착하고, 그 뒤에 2D 블록이 공간적 세부 사항을 정제하는 방식 (Fig. 3, Fig. 5(c)) 을 채택했습니다. 이는 계산 비용을 최소화하면서도 깊이 감지 능력을 유지하는 최적의 구성으로 확인되었습니다.

나. 3 단계 학습 전략 (Three-Stage Training Strategy)

제로샷 능력을 확보하기 위해 100 만 개 이상의 데이터를 활용한 3 단계 학습 전략을 도입했습니다.

1. Stage 1 (지도 학습): 180 만 개의 합성 데이터 (SceneFlow, FallingThings 등) 를 사용하여 모델의 기본 매칭 능력을 학습합니다.
2. Stage 2 (자기 증류, Self-Distillation):
   • 동일한 아키텍처의 'Teacher' (정제된 입력) 와 'Student' (교란된 입력) 모델을 사용합니다.
   • Student 모델이 Teacher 모델의 특징과 정렬되도록 학습하여 도메인 불변 (Domain-invariant) 표현을 강화합니다.
   • Teacher 모델의 가중치를 고정하는 방식이 가장 효과적이었습니다.
3. Stage 3 (실제 세계 지식 증류, Real-world Knowledge Distillation):
   • 레이블이 없는 50 만 개의 실제 세계 스테레오 데이터를 활용합니다.
   • FoundationStereo 와 같은 강력한 정확도 모델이 생성한 의사 레이블 (Pseudo-labels) 을 사용하여 모델을 미세 조정합니다.
   • 이 단계는 시뮬레이션과 실제 세계 간의 격차 (Sim-to-Real Gap) 를 해소하는 데 결정적인 역할을 합니다.

3. 주요 기여 (Key Contributions)

1. 초경량 제로샷 모델 제안: 계산 비용이 1% 미만인 경량 모델이 정확도 중심의 대형 모델 (비사전 지식 기반) 과 맞먹거나 더 나은 제로샷 성능을 달성한 최초의 사례입니다.
2. 하이브리드 비용 집계 모듈: 2D 와 3D 표현을 결합하여 저비용으로 깊이와 공간 정보를 동시에 포착하는 새로운 모듈을 설계했습니다.
3. 효율적인 3 단계 학습 전략: 합성 데이터 학습, 자기 증류, 실제 세계 데이터 증류를 통합하여 다양한 아키텍처에 적용 가능한 일반화 성능 향상 전략을 제시했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: KITTI 2012/2015, ETH3D, Middlebury 등 4 가지 주요 실세계 벤치마크에서 모든 효율적 방법 중 1 위를 기록했습니다.
• 정확도 대비 효율성:
  • 정확도 중심의 모델 (예: Selective-IGEV) 과 유사하거나 더 높은 정확도를 보이면서, MACs(연산량) 는 1% 미만으로 줄였습니다.
  • KITTI 리더보드에서 제출 당시 모든 효율적 방법 중 1 위를 차지했습니다.
• 추론 속도: GTX 1080 에서 4K 스테레오 이미지를 21ms 만에 처리하며, 2K 입력 시 GPU 메모리 사용량이 2.5GB 에 불과하여 임베디드 기기 배포에 적합합니다.
• 정성적 평가: 반사, 복잡한 조명, 비텍스처 영역 등 다양한 실제 환경에서 다른 방법들보다 선명하고 정확한 깊이 지도를 생성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 "효율적인 모델은 제로샷 능력을 가질 수 없다" 는 기존의 편견을 깨뜨렸습니다. Lite Any Stereo 는 대규모 데이터와 정교한 학습 전략을 통해 경량 모델이 실세계의 다양한 환경에서도 강력한 일반화 능력을 발휘할 수 있음을 증명했습니다. 이는 자율 주행, 드론, 모바일 기기 등 리소스가 제한된 환경에서의 실시간 3D 비전 응용에 새로운 기준을 제시하며, 경량 스테레오 매칭의 새로운 패러다임을 열었다는 점에서 큰 의의가 있습니다.