1. 문제 정의 (Problem)

기존의 자기지도 학습 (Self-Supervised Learning) 기반 비전 모델들 (MAE, DINOv2 등) 은 일반적인 객체 인식이나 밀도 예측에 강점이 있지만, 스테레오 (입체) 비전이 요구하는 "세밀한 교차 뷰 대응 (Cross-view Correspondence)"을 학습하도록 설계되지 않았습니다.

• 기존 접근법의 한계: 스테레오 매칭 성능을 높이기 위해 주로 **이중 뷰 디코더 (Binocular Decoder)**나 **비용 볼륨 (Cost Volume)**과 같은 별도의 '링크지 (Linkage) 모듈'을 사전 학습 단계나 추론 단계에 의존합니다. 이는 모델의 복잡도를 높이고, 추론 비용을 증가시키며, 인코더 자체의 표현력 (Representation Quality) 과 매칭 모듈의 능력을 분리하여 평가하기 어렵게 만듭니다.
• 핵심 질문: 별도의 링크지 모듈 없이도, 압축된 인코더 (Compact Encoder) 내부에서 강력한 이중 뷰 공간 구조 (Binocular Spatial Structure) 를 학습할 수 있는가?

2. 방법론 (Methodology)

논문은 링크지 모듈 없이 인코더 자체에서 스테레오 구조를 학습하는 BINO를 제안합니다. 주요 설계 원칙은 다음과 같습니다.

2.1 입력 단계의 초기 이중 뷰 융합 (Early Binocular Fusion)

• 픽셀 인터리빙 (Pixel Interleaving): 좌측 (L) 과 우측 (R) 이미지를 별도의 스트림으로 처리하지 않고, 입력 단계에서 픽셀 단위로 가로 방향으로 번갈아 배치하여 단일 텐서로 융합합니다.
• 스테레오 마이크로 셀 토큰 (Stereo Micro Cell Tokens): 융합된 이미지의 패치 임베딩을 적용할 때, 각 토큰이 좌측 뷰와 우측 뷰의 정보를 동시에 포함하도록 설계합니다. 이를 통해 트랜스포머 블록의 첫 단계부터 교차 뷰 정보가 주입됩니다.

2.2 행 인식 패치 위상 위치 인코딩 (Row-Aware Patch Phase Positional Encoding)

• 스테레오 기하학의 핵심인 에피폴라 선 (Epipolar Line) 구조를 반영합니다.
• 토큰의 위치를 (행 $r$, 패치 열 $p$, 셀 내 위상 $q \in \{0,1\}$) 으로 표현합니다.
• 회전 위치 인코딩 (Rotary Positional Encoding) 을 사용할 때, 절대적인 융합 열 인덱스 대신 (행, 패치 열) 쌍을 사용하여 수평적인 상대적 구조를 학습하도록 유도합니다. 이는 절대적인 열 위치를 암기하는 대신 시차 (Disparity) 추론에 필요한 상대적 구조를 학습하게 합니다.

2.3 한 뷰 마스킹 토큰 전용 증류 (One-View Masked Token Only Distillation)

• 교차 뷰 완성 (Cross-view Completion): 교사는 완전한 이중 뷰 입력을 받고, 학생은 한쪽 뷰만 마스킹된 입력을 받습니다.
• 학생은 마스킹된 뷰의 정보를 **보조 뷰 (Complementary View)**로부터 추론해야만 합니다.
• 토큰 전용 (Token-only) 손실: 전역적 불변성 (Global Invariance) 을 강조하는 CLS 토큰 손실을 제거하고, 밀도 대응 (Dense Correspondence) 에 필수적인 **토큰 레벨의 균일 증류 (Uniform Distillation)**만 사용합니다.

2.4 스테레오 인지 노이즈 모델

• 학습 데이터에 **가림 (Occlusion)**과 **뷰별 외관 불일치 (View-specific Appearance Mismatch)**를 포함시켜, 실제 스테레오 환경에서 발생하는 어려운 조건에서도 인코더가 유용한 공간 정보를 유지하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 링크지 모듈 없는 강력한 인코더: 별도의 디코더나 비용 볼륨 없이, 인코더 내부에서 이중 뷰 공간 이해를 학습하여 동결된 (Frozen) 인코더만으로도 우수한 스테레오 성능을 달성함을 증명했습니다.
2. 네이티브 쌍 입력 (Native Pair Input) 설계: 입력 단계에서 픽셀을 인터리빙하고 마이크로 셀 토큰을 사용하여, 추론 시에도 실제 스테레오 쌍을 직접 처리할 수 있는 구조를 제안했습니다.
3. 엄격한 평가 프로토콜:
   • Fused No-Linkage Probe: 학습된 매칭 모듈 없이 동결된 인코더의 디스크립터만으로 스테레오를 복원하는 평가.
   • Shared Head Benchmark: 모든 인코더에 동일한 경량 스테레오 헤드를 연결하여 인코더 표현력의 본질적 품질을 비교.
4. 경량화 및 재사용성: CroCo v2 와 유사한 성능을 내면서도 훨씬 적은 파라미터 (약 1.3M vs 3.3M) 를 사용하여, 제한된 리소스 환경에서도 효율적인 스테레오 표현 학습이 가능함을 보였습니다.

4. 실험 결과 (Results)

모든 실험은 KITTI 객체 데이터셋 (레이블 없음) 에서 사전 학습 후, KITTI Stereo 2012/2015 에서 평가되었습니다.

• Fused No-Linkage Probe (동결 인코더 평가):

  • Proxy Dense Stereo: CroCo v2 대비 PCK@1tok 에서 4.98%p 향상, EPE 는 28.5% 감소.
  • Hard Negative Retrieval: CroCo v2 대비 Top-1 정확도 8.9%p, Hard@1 정확도 6.9%p 향상.
  • 실제 스테레오 (KITTI 2012): 동결 인코더만으로 SGM 정제 후 EPE 에서 CroCo v2 대비 22.1% 감소.
  • 결론: 링크지 모듈 없이도 BINO 가 모든 베이스라인 중 가장 강력한 성능을 보임.

• Shared Head Benchmark (공유 헤더 평가):

  • 모든 모델에 동일한 경량 헤드를 연결했을 때, BINO 는 CroCo v2 와 유사한 성능을 유지하면서 파라미터 수는 약 60% 적게 사용했습니다.
  • 이는 BINO 가 학습한 이중 뷰 잠재 공간 (Binocular Latent) 이 매우 효율적이고 재사용 가능함을 의미합니다.

• 네이티브 쌍 입력 스트레스 테스트:

  • 대형 시차 (Large Disparity) 영역: 실제 스테레오 쌍 입력을 사용할 때, BINO 는 CroCo v2 보다 대형 시차 영역에서 오류가 현저히 적었습니다. 이는 교차 뷰 추론 능력이 특히 어려운 기하학적 영역에서 빛을 발함을 보여줍니다.
  • 단측 가림 (Unilateral Occlusion): 한쪽 뷰가 40% 가림되었을 때, BINO 는 CroCo v2 보다 성능 저하가 훨씬 적어 (EPE 증가폭 1.48px vs 3.71px), 한 뷰 마스킹 학습의 효과가 입증되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 스테레오 비전 분야에서 **"링크지 모듈 (Linkage Module) 없이도 인코더 자체가 강력한 기하학적 구조를 학습할 수 있다"**는 사실을 체계적으로 증명했습니다.

• 과학적 의의: 표현 학습 (Representation Learning) 과 매칭 (Matching) 의 역할을 명확히 분리하여, 인코더 내부에서 교차 뷰 추론이 어떻게 발생하는지 (에피폴라 구조의 점진적 형성 등) 를 기계적 분석을 통해 규명했습니다.
• 실용적 의의: 별도의 무거운 디코더나 비용 볼륨 없이도, 동결된 인코더를 다양한 다운스트림 작업 (디스크립터 추출, 스테레오 매칭, 3D 재구성 등) 에 바로 적용할 수 있는 범용적이고 경량화된 모델을 제공합니다. 이는 엣지 디바이스나 실시간 애플리케이션에서 계산 비용을 크게 절감할 수 있는 가능성을 제시합니다.

요약하자면, BINO는 스테레오 비전의 핵심인 교차 뷰 대응 능력을 인코더 내부로 통합하여, 별도의 복잡한 연결 모듈 없이도 고품질의 기하학적 표현을 학습하는 새로운 패러다임을 제시한 연구입니다.