💻 computer science

Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching

이 논문은 지연 시간 최적화된 2D 전용 비용 집계 아키텍처와 새로운 3단계 학습 전략을 채택하여 자원이 제한된 플랫폼에서 현저히 낮은 추론 지연 시간으로 최첨단 정확도를 달성함으로써 효율성과 제로샷 일반화 사이의 절충 관계에 도전하는 초고속 스테레오 매칭 모델 시리즈인 Lite Any Stereo V2 (LAS2)를 소개한다.

원저자: Junpeng Jing, Ronglai Zuo, Zhelun Shen, Shangchen Zhou, Rolandos Alexandros Potamias, Stefanos Zafeiriou, Krystian Mikolajczyk, Jiankang Deng

게시일 2026-06-24

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junpeng Jing, Ronglai Zuo, Zhelun Shen, Shangchen Zhou, Rolandos Alexandros Potamias, Stefanos Zafeiriou, Krystian Mikolajczyk, Jiankang Deng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

두 개의 눈(두 개의 카메라)을 가진 존재가 장면 속 물체와의 거리를 파악하려고 한다고 상상해 보세요. 이것을 **스테레오 매칭(stereo matching)**이라고 합니다. 오랫동안 가장 뛰어난 "눈"들은 거대하고 무거우며 느렸습니다—마치 복잡한 퍼즐을 풀려고 노력하는 거대한 슈퍼컴퓨터와 같았습니다. 정확도는 높았지만 로봇이나 자율주행 자동차에 싣고 다니기에는 너무 무거웠습니다. 반면에 "경량화된" 눈들은 빠르고 휴대하기 쉬웠지만, 연습하지 않은 새로운 것을 보게 되면 종종 혼란에 빠지곤 했습니다.

이 논문은 **Lite Any Stereo V2 (LAS2)**를 소개합니다. 이는 매우 빠르면서도, 사전 연습 없이 완전히 새로운 장면을 볼 때도(이를 "제로샷(zero-shot)" 개념이라 부릅니다) 놀라울 정도로 똑똑하다고 주장하는 새로운 "눈" 제품군입니다.

이들이 어떻게 해냈는지, 비유를 통해 쉽게 설명해 드리겠습니다.

1. 새로운 설계도: 2D 지름길

이전의 빠른 모델들은 계산량을 줄임으로써 효율성을 높이려 했지만, 여전히 깊이감을 이해하기 위해 복잡한 3D "비계(scaffolding)" 구조를 사용했습니다. 저자들은 실제 칩(스마트폰이나 자동차에 들어가는 칩 등)에서 이 3D 비계 구조가 이론적인 계산보다 훨씬 느리다는 점을 깨달았습니다.

비유: 도서관을 정리한다고 상상해 보세요. 기존의 빠른 모델들은 공간을 아끼기 위해 책을 3D 탑 형태로 쌓으려 했지만, 그 사다리를 오르내리는 데 시간이 너무 오래 걸렸습니다. LAS2는 이렇게 말합니다. "그냥 책을 2D 선반 위에 평평하게 놓읍시다."
결과: 2D 전용 프레임워크로 전환함으로써, 이들은 무거운 사다리 타기를 제거했습니다. 이를 통해 모델은 깊이를 명확하게 보는 능력을 잃지 않으면서도, 실제 하드웨어에서 성능을 대폭 향상시켜 훨씬 더 빠르게 작동하게 되었습니다.

2. 3단계 훈련 캠프

이 경량화된 눈이 현실 세계를 다룰 만큼 똑똑해지도록 만들기 위해, 저자들은 단순히 데이터만 입력한 것이 아니라 엄격한 3단계 훈련 캠프를 거치게 했습니다.

1단계: 교실 (합성 데이터).
모델은 정답이 100% 정확한 컴퓨터 생성 세계(마치 비디오 게임처럼)에서 공부하며 시작합니다. 이를 통해 탄탄한 기초를 다집니다.
2단계: 스트레스 테스트 (자기 증류/Self-Distillation).
이제 모델은 상황이 엉망이 되어도 침착함을 유지하는 법을 배워야 합니다. 선생님(모델 자신)은 학생에게 같은 사진을 보여주되, 이상한 필터, 블러(흐림 효과), 또는 색상 변화를 적용하여 보여줍니다. 목표는 모델이 특정 색상이나 조명이 아니라 형태를 인식하도록 가르치는 것입니다. 이는 친구가 선글라스를 쓰거나 모자를 썼을 때, 혹은 어둠 속에 있을 때도 그 얼굴을 알아볼 수 있도록 학습하는 것과 같습니다.
3단계: 실전 인턴십 (실제 세계의 의사 라벨/Pseudo-Labels).
이것이 큰 도약입니다. 모델은 라벨이 없는 실제 사진들을 보며 세상 밖으로 나갑니다. 정답지가 없기 때문에, "매우 똑똑한 선생님"(거대하고 느린 AI)이 먼저 정답을 추측합니다.
- 필터링: 하지만 이 똑똑한 선생님도 반짝이는 창문이나 하늘처럼 까다로운 부분에서는 실수를 할 수 있습니다. LAS2는 학생이 잘못된 답을 배우기 전에 선생님의 나쁜 추측들을 걸러내는 필터를 사용합니다.
- 안전망: 만약 학생이 정말 어렵고 혼란스러운 사진으로부터 배우려고 할 때, 시스템은 학생이 생각을 바꾸는 정도에 "한도(cap)"를 둡니다. 이는 학생이 단 하나의 나쁜 예시 때문에 혼란에 빠져 기존에 배운 모든 것을 잊어버리는 것을 방지합니다.

3. 결과: 빠르고 강력함

이 논문은 이 새로운 접근 방식이 경쟁 모델들을 압도하는 모델 제품군(소형 'S'부터 대형 'H'까지)을 만든다고 주장합니다.

속도: 강력한 서버와 로봇에 들어가는 NVIDIA Orin 칩 같은 엣지 디바이스에서, LAS2는 이전의 최고 수준의 빠른 모델들보다 1.6배에서 2.7배 더 빠르게 작동합니다.
정확도: 빠름에도 불구하고, LAS2는 한 번도 본 적 없는 실제 장면을 볼 때 다른 빠른 모델들보다 더 정확합니다. 심지어 거대하고 느린 슈퍼 모델들의 정확도에 근접하면서도 훨씬 빠르게 작동합니다.
시각적 품질: 반사가 있는 자동차나 긴 복도와 같이 까다로운 장면을 볼 때, LAS2는 기존 방식들에 비해 더 깨끗하고 "노이즈"가 적은 깊이 지도(depth map)를 만들어냅니다.

한계점 (할 수 없는 것들)

저자들은 한계점에 대해서도 솔직하게 밝히고 있습니다. 이러한 개선에도 불구하고:

격차: 거대한 "파운데이션(foundation)" 지식을 사용하는 거대하고 느린 모델들과는 아직 완벽한 수준에서 차이가 있습니다.
데이터 병목 현상: 고품질의 실제 스테레오 데이터 부족에 제한을 받습니다. 모델을 완벽하게 훈련시키기 위한 라벨링된 실제 세계의 사진이 충분하지 않습니다.
"불가능한" 장면들: 현재의 모든 기술과 마찬가지로, 거울을 보거나 투명한 유리벽을 보거나, 눈부시게 밝은 빛을 다루는 등의 극도로 어려운 상황에서는 여전히 어려움을 겪습니다.

요약하자면: LAS2는 주머니에 넣고 다닐 수 있을 만큼 가벼우면서도, 가본 적 없는 곳에서도 세상을 명확하게 볼 수 있을 만큼 날카로운 "똑똑한 눈"을 만드는 새로운 방법입니다. 이들은 내부 구조를 단순화하고, 완벽한 시뮬레이션과 필터링된 실제 세계의 추측을 혼합하여 모델이 학습하도록 함으로써 이를 달성했습니다.

기술 요약: Lite Any Stereo V2 (LAS2)

문제 정의

최근 스테레오 매칭 분야의 발전은 대규모 파운데이션 모델과 반복적 정밀화 파이프라인을 통해 놀라운 정확도를 달 achievement 했습니다. 그러나 이러한 고성능 방법들은 종종 계산 비용이 많이 드는 3D 비용 집계(cost aggregation), 무거운 백본, 또는 추가적인 단안 깊이 사전 정보(monocular depth priors)에 의존하며, 이로 인해 에지 디바이스와 같은 자원이 제한된 플랫폼에 배포하기 어렵습니다. 반대로, 기존의 효율적인 스테레오 모델들은 빠른 추론 속도를 제공하지만, 일반적으로 강력한 제로샷 일반화(zero-shot generalization) 능력이 부족하다고 인식되며 도메인 특화 미세 조정(fine-tuning)을 요구하는 경우가 많습니다. 본 논문은 경량 모델이 효율성을 희생하지 않고도 강력한 제로샷 일반화 성능을 가질 수 없다는 가설에 도전하며, 높은 정확도와 낮은 지연 시간 사이의 간극을 메우는 것을 목표로 합니다.

방법론

1. 아키텍처 설계: 2D 전용 비용 집계 (2D-Only Cost Aggregation)

저자들은 이론적인 연산량(MACs)만이 아닌, 실제 배포 시의 지연 시간을 주요 최적화 목표로 삼아 개발된 모델 시리즈인 **Lite Any Stereo V2 (LAS2)**를 제안합니다.

특징 추출 (Feature Extraction): 상당한 오버헤드를 유발하는 무거운 단안 깊이 사전 정보(예: DepthAnything)를 활용하는 대신, LAS2는 전통적인 ImageNet 사전 학습 백본을 사용합니다. 구체적으로, MobileNet 변형들보다 MACs는 약간 높더라도 GPU 및 에지 디바이스에서 더 우수한 실제 추론 속도를 보여주는 FasterNet을 선택했습니다.
비용 집계 (Cost Aggregation): 핵심적인 아키텍처 변화는 정확도가 높은 모델에서 흔히 쓰이는 3D 비용 집계 구성 요소를 제거한 것입니다. LAS2는 스트라이드 잔차 레이어(strided residual layers)와 전치 컨볼루션(transposed convolutions)을 사용하는 U-Net 스타일의 설계를 통해 순수 2D 비용 집계 프레임워크를 채택했습니다. 이 설계는 3D 컨볼루션의 계산 병목 현상을 피하면서도 기하학적 추론 능력을 유지합니다.
모델 변형 (Model Variants):
- LAS2-S/M/L: 다양한 효율성 예산에 맞춰 설계된, 집계 모듈의 깊이가 다른 피드포워드(feed-forward) 변형 모델들입니다.
- LAS2-H: 초기 변위(disparity)와 중간 표현을 생성하기 위해 피드포워드 방식인 LAS2-M을 사용하는 반복(iterative) 변형 모델입니다. 이는 컨텍스트 가이드 순환 업데이트 모듈(ConvGRU)에 의해 정밀하게 다듬어져 더 높은 정확도를 달성합니다.

2. 훈련 전략: 3단계 파이프라인

실제 환경의 정답(ground truth) 없이도 견고한 제로샷 일반화를 가능하게 하기 위해, 저자들은 3단계 훈련 전략을 도입합니다.

1단계 (합성 데이터 감독 학습): 모델은 표준적인 지도 변위 회귀 손실(supervised disparity regression loss)을 사용하여 다양한 합성 데이터셋(SceneFlow, FallingThings, FSD 등을 포함한 약 1.8M 쌍)으로 처음부터 학습됩니다.
2단계 (자기 증류 - Self-Distillation): 입력 섭동(perturbation)에 대한 견고성을 높이고 도메인 불변 표현을 학습하기 위해 자기 증류 전략이 사용됩니다. 깨끗한 데이터로 학습된 "교사(teacher)" 모델이 특징 정렬 손실(feature alignment loss)을 통해 섭동이 가해진 데이터로 학습되는 "학생(student)" 모델을 가이드합니다. 저자들은 고정된 교사(fixed-teacher) 전략이 가장 좋은 결과를 낸다는 것을 발견했습니다.
3단계 (실제 환경 지식 증류 - Real-World Knowledge Distillation): 모델은 0.5M 개의 라벨이 없는 실제 스테레오 쌍을 통해 미세 조정됩니다. 의사 라벨(pseudo-labels)은 고용량 교사 모델(FoundationStereo)에 의해 생성됩니다. 신뢰성을 보장하기 위해 저자들은 다음을 도입했습니다:
- 의사 라벨 필터링 (Pseudo-Label Filtering): 신뢰할 수 없는 감독 학습을 걸러내기 위해 좌우 일관성(LR consistency) 체크, 엣지 인식 마스크(질감이 없는 영역의 아티팩트 억제), 그리고 하늘 세그멘테이션 마스크를 결합하여 사용합니다.
- 에러 클램핑 (Error Clamping): 픽셀당 변위 손실을 임계값( $\tau_{clamp}$ )에서 절단하는 연산입니다. 이는 어려운 실제 환경 영역에서 흔히 발생하는 높은 오차 픽셀이 그래디언트를 지배하여 합성 데이터에서 실제 데이터로의 전이를 불안정하게 만드는 것을 방지합니다.

주요 기여

LAS2 모델 시리즈: 효율적인 방법론 중 최고 수준(SOTA)의 정확도를 달성하면서도 현저히 낮은 지연 시간을 유지하는 초고속 스테레오 매칭 제품군(S, M, L, H)을 제시합니다.
배포 지향적 아키텍처: 이론적 MACs보다 실제 추론 지연 시간을 우선시하는 체계적인 스테레오 아키텍처 재설계를 통해, 에지 하드웨어에서 하이브리드 3D-2D 설계보다 뛰어난 성능을 보이는 2D 전용 비용 집계 프레임워크를 도입했습니다.
3단계 훈련 전략: 합성 데이터 감독 학습, 자기 증류, 그리고 실제 환경 지식 증류를 결합하여 효율적인 모델이 다양한 미지의 시나리오에 일반화될 수 있도록 하는 새로운 파이프라인을 제시합니다.
신뢰성 메커니즘: 의사 라벨 필터링과 에러 클램핑 연산을 도입하여, 라벨이 없는 실제 데이터 학습의 안정성과 효과를 크게 향상시켰습니다.

실험 결과

네 가지 실제 벤치마크(KITTI 2012, KITTI 2015, ETH3D, Middlebury)와 특정 날씨 관련 서브셋(DrivingStereo)에 대해 광범위한 실험이 수행되었습니다.

정확도 대비 지연 시간 (Accuracy vs. Latency):
- LAS2-M(피드포워드)은 네 가지 벤치마크 모두에서 이전 SOTA 효율적 방법인 LAS를 일관되게 능가하였으며, H200에서 1.6배, Orin 8G에서 1.9배 더 빠르게 실행되면서도 오차를 줄였습니다.
- LAS2-H(반복형)는 반복형 방법인 Fast-FoundationStereo보다 더 강력한 전체 제로샷 성능을 달성하였으며, H200과 Orin에서 각각 1.8배 및 2.7배 더 빠른 추론을 보여주었습니다.
제로샷 일반화 (Zero-Shot Generalization): LAS2 모델은 기존의 효율적인 베이스라인들과 비교하여 실제 환경 이미지에 대해 강력한 일반화 능력을 보여주며, (반사, 저질감 영역, 복잡한 레이아웃 등에서) 아티팩트가 적고 더 깨끗한 변위 지도를 생성합니다.
절제 연구 (Ablation Studies): 저자들은 2D 집계 설계가 지연 시간에 결정적이라는 점, FasterNet이 실제 속도 면에서 MobileNet보다 우수하다는 점, 그리고 3단계 훈련 전략(특히 3단계의 필터링과 클램핑)이 성능 향상에 필수적임을 확인했습니다.
리더보드 성적: KITTI 2015 리더보드에서 미세 조정된 LAS2-M은 제출 당시 발표된 모든 효율적인 방법들 중 최고의 성적을 거두었습니다.

의의 및 주장

본 논문은 경량 스테레오 모델이 배포 효율성을 희생하지 않고도 강력한 제로샷 일반화를 달성할 수 있음을 주장하며, 이를 통해 경량 모델과 정확도 중심 모델 사이의 성능 격차를 효과적으로 좁혔습니다. 이론적 복잡도(MACs)에서 실제 추론 지연 시간으로 초점을 전환하고, 라벨 없는 데이터에 대한 견고한 훈련 전략을 채택함으로써, LAS2는 자원이 제한된 하드웨어에서의 스테레오 매칭을 위한 실용적인 즉시 사용 가능한(off-the-shelf) 솔루션을 제공합니다. 저자들은 LAS2를 속도와 일반화 능력이 모두 중요한 로보틱스 및 자율 주행과 같은 실제 응용 분야에서 고품질 스테레오 비전을 배포하기 위한 중요한 단계로 포지셔닝합니다.

논문은 한계점도 인정하는데, 기존의 사전 정보 기반 고정밀 방법들과의 성능 격차가 여전히 존재하며, 매우 까다로운 장면(예: 심한 반사, 투명한 표면)은 여전히 해결해야 할 과제로 남아 있다고 언급했습니다. 그러나 제안된 접근 방식이 효율적인 스테레오 매칭을 위한 균형 잡힌 배포 가능한 솔루션을 제공한다고 주장합니다.