💻 computer science

DefVINS: Visual-Inertial Odometry for Deformable Scenes

이 논문은 비강체 변형 환경에서 기존 VIO 의 한계를 극복하기 위해 강체 상태와 비강체 장면 왜곡을 분리 모델링한 최초의 시각 - 관성 주행 시스템 'DefVINS'와 이를 평가할 수 있는 최초의 실사 벤치마크 'VIMandala'를 제안하고 있습니다.

원저자: Samuel Cerezo, Javier Civera

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Samuel Cerezo, Javier Civera

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📸 구부러진 세상을 보는 눈: 'DefVINS' 이야기

이 논문은 로봇이나 스마트폰이 움직이는 사람, 휘어지는 천, 흔들리는 물체가 있는 곳에서 길을 잃지 않고 자신의 위치를 파악하는 새로운 기술을 소개합니다.

기존의 기술들은 세상이 마치 단단한 바위나 벽처럼 움직이지 않는다고 가정하고 작동했습니다. 하지만 우리가 사는 세상은 유연하고 변형되죠. 이 논문은 그 '유연한 세상'을 이해하는 새로운 방법을 개발했습니다.

🌍 1. 왜 기존 기술은 실패할까요? (단단한 바위의 함정)

기존의 '시각 - 관성 주행 (VIO)' 기술은 카메라와 가속도계를 이용해 길을 찾습니다. 이때 가장 중요한 가정이 **"세상은 딱딱하고 변하지 않는다"**는 것입니다.

비유: imagine you are walking in a room full of jelly.
- 기존 기술은 세상이 단단한 콘크리트라고 믿고 있습니다.
- 그런데 실제로는 젤리처럼 흔들리고 변형됩니다.
- 로봇은 "아, 저 벽이 움직이는구나!"라고 착각하거나, "내가 움직인 게 아니라 벽이 움직였나?"라며 길을 잃게 됩니다. 이를 '과적합 (Over-fitting)' 이나 '위치 이탈 (Drift)' 이라고 합니다.

🛠️ 2. 새로운 해결책: DefVINS (두 가지 뇌를 가진 로봇)

저자들은 이 문제를 해결하기 위해 DefVINS라는 새로운 시스템을 만들었습니다. 이 시스템은 세상을 두 가지로 나누어 봅니다.

단단한 뼈대 (IMU-anchored rigid component):
- 로봇이 가속도계 (IMU) 를 통해 "내가 얼마나 빠르게 움직이고, 어느 방향으로 기울어졌는지"를 정확히 파악합니다.
- 비유: 로봇이 등에 달린 나침반과 속도계를 믿는 것입니다. 세상이 흔들려도 로봇 자신의 움직임은 정확히 알 수 있습니다.
유연한 피부 (Non-rigid scene warp):
- 주변 환경 (예: 휘날리는 천, 사람의 옷) 이 어떻게 변형되는지 따로 계산합니다.
- 비유: 로봇이 주변의 젤리 모양을 실시간으로 변형시키는 3D 모델로 기억합니다. "아, 저 천이 바람에 휘날리는구나"라고 생각하며 카메라의 위치를 계산합니다.

이 두 가지를 분리해서 계산하기 때문에, 세상이 흔들려도 로봇은 자신의 위치를 정확히 유지할 수 있습니다.

📊 3. 새로운 시험장: VIMandala (실제 데이터)

이 기술을 검증하기 위해 기존에 없던 새로운 데이터셋을 만들었습니다.

Drunkard's Dataset (합성 데이터): 컴퓨터로 만든 가상의 세상에서 천이 어떻게 구부러지는지 시뮬레이션했습니다.
VIMandala (실제 데이터): 만다라 무늬가 그려진 천을 흔들면서 찍은 실제 영상입니다. 천이 어떻게 변형되는지, 카메라가 어떻게 움직이는지 정답 (Ground Truth) 을 알고 있습니다.

🏆 4. 결과는 어떨까요? (경쟁 결과)

이 기술은 기존의 두 가지 방식과 경쟁했습니다.

기존 rigid VIO (ORB-SLAM3): 세상이 단단하다고 믿는 전통적인 방법.
기존 non-rigid VO (NR-SLAM): 세상이 유연하다고 믿지만, 가속도계를 쓰지 않는 방법.

결과:

세상이 거의 안 움직일 때: 기존 기술들도 잘 작동했습니다.
세상이 심하게 흔들릴 때:
- 기존 기술들은 길을 잃거나 엉뚱한 곳으로 이동했습니다. (특히 가속도계를 쓰지 않는 방법은 방향을 잃기 쉽습니다.)
- DefVINS는 가속도계로 자신의 움직임을 잡고, 유연한 모델로 천의 움직임을 설명했기 때문에 가장 정확하고 오랫동안 길을 찾았습니다.

💡 5. 핵심 교훈: "관성 (Inertia) 이 구원자다"

이 논문에서 가장 중요한 발견은 **"가속도계 (IMU) 가 없으면 유연한 세상을 이해하기 어렵다"**는 것입니다.

비유:
- 눈만으로는 "내가 움직였는지, 세상이 움직였는지" 구분이 안 갈 수 있습니다.
- 하지만 **가속도계 (관성)**가 "내가 움직였다!"라고 신호를 보내주면, 나머지 모든 움직임은 "아, 세상이 변형된 구나"라고 해석할 수 있습니다.
- 즉, 가속도계가 로봇의 '자신감'을 주고, 유연한 모델이 '주변 상황'을 이해하게 도와줍니다.

🚀 결론

DefVINS는 로봇이 **유연하고 변형되는 세상 (사람, 옷, 천 등)**에서도 길을 잃지 않고 정확하게 움직일 수 있게 해주는 혁신적인 기술입니다. 이는 증강현실 (AR) 이나 로봇이 복잡한 현실 세계에서 더 자연스럽게 작동하는 데 큰 도움이 될 것입니다.

한 줄 요약: "세상이 휘어지더라도, 내 등 뒤에 달린 나침반 (가속도계) 과 유연한 상상력 (변형 모델) 이 있다면 길을 잃지 않는다!"

1. 문제 정의 (Problem)

기존의 시각 - 관성 주행 거리 측정 (VIO, Visual-Inertial Odometry) 및 SLAM 시스템은 **장면의 강체성 (Rigidity)**을 기본 가정으로 합니다. 즉, 환경의 모든 특징점이 하나의 강체로 움직인다고 가정합니다. 그러나 실제 세계에서는 인간, 의류, 천과 같은 변형 가능한 (Deformable) 객체가 존재하며, 이러한 비강체 운동은 기존 VIO 의 가정을 위반합니다.

주요 문제점:
- 비강체 운동이 시각적 시차 (Parallax) 를 지배할 경우, 강체 모델이 국소적인 비강체 운동에 과도하게 적합 (Over-fitting) 되거나 심한 카메라 자세 드리프트 (Drift) 가 발생합니다.
- 비강체 운동이 존재할 때, 카메라 운동과 장면 변형이 서로 강하게 결합되어 (Coupling) 추정 문제가 ill-posed(잘 정의되지 않음) 가 되며, 관측 가능성 (Observability) 이 저하됩니다.
- 기존 VIO 는 강체 환경에서 탁월한 성능을 보이지만, 변형이 심한 환경에서는 성능이 급격히 떨어집니다.

2. 제안 방법론 (Methodology: DefVINS)

저자들은 변형 가능한 환경에서 작동하는 최초의 VIO 파이프라인인 DefVINS를 제안합니다. 이 시스템은 강체 상태와 비강체 변형을 분리하여 모델링합니다.

상태 정의 (State Definition):
- 강체 성분: IMU 에 고정된 카메라의 자세 (Orientation), 속도 (Velocity), 위치 (Position) 및 IMU 편차 (Bias) 를 포함합니다.
- 비강체 성분: 장면의 변형을 모델링하기 위해 **임베디드 변형 그래프 (Embedded Deformation Graph)**를 도입합니다. 이는 특징점들의 위치를 노드로 하여 국소적인 변형을 표현합니다.
최적화 프레임워크:
- 슬라이딩 윈도우 최적화: 최근 $N$ 개의 키프레임을 포함하는 윈도우 내에서 비선형 최소제곱 문제를 풀이합니다.
- 손실 함수 (Cost Function):
  1. IMU 사전 통합 (Preintegration): IMU 측정값을 기반으로 한 회전, 속도, 위치 잔차.
  2. 재투영 오차 (Reprojection Error): 시각적 특징점의 3D 위치와 2D 이미지 측정값 간의 오차.
  3. 비강체 잔차 (Non-rigid Residuals):
    - 탄성 제약 (Elastic): 변형 그래프 내 인접 노드 간의 거리 변화를 억제하여 비현실적인 신축을 방지.
    - 점성 제약 (Viscous): 인접 노드가 유사하게 움직이도록 하여 시간적 매끄러움 (Smoothness) 보장.
    - 광도 제약 (Photometric): 이미지 밝기 일관성을 활용하여 변형 노드의 운동을 보정.
- 가중치 조절: 비강체 정규화 항의 중요도를 조절하는 스칼라 $\lambda_{nr}$ 를 사용하여 시각/관성 항과 균형을 맞춥니다.
관측 가능성 분석 (Observability Analysis):
- 변형 환경에서 IMU 측정이 어떻게 시스템의 조건수 (Conditioning) 를 개선하는지 분석했습니다.
- IMU 는 중력 방향과 강체 운동을 고정 (Anchoring) 하여, 비강체 변형 파라미터가 카메라 운동 오차를 흡수하는 것을 방지합니다.
- 이를 바탕으로 **조건 기반 활성화 전략 (Conditioning-based activation strategy)**을 도입하여, 운동 자극 (Excitation) 이 부족할 때 ill-posed 업데이트를 방지합니다.

3. 주요 기여 (Key Contributions)

DefVINS 알고리즘: 변형 가능한 환경에서 작동하도록 설계된 최초의 시각 - 관성 주행 거리 측정 파이프라인. 강체 IMU 상태와 비강체 변형 그래프를 명시적으로 분리하여 모델링합니다.
VIMandala 데이터셋: 변형 가능한 장면 (만달라 천) 에서의 실제 VIO 평가를 위한 최초의 벤치마크 데이터셋. 실제 이미지, 동기화된 IMU 데이터, 그리고 정밀한 카메라 자세의 Ground Truth 를 제공합니다.
Drunkard's 데이터셋 확장: 기존 합성 데이터셋에 IMU 측정값을 추가하여 제어된 조건 하에서 VIO 를 평가할 수 있도록 확장했습니다.
관측 가능성 분석: 변형 환경에서 IMU 측정이 비강체 모드의 관측 가능성을 어떻게 향상시키는지 이론적으로 증명하고, 이를 시스템 설계에 반영했습니다.

4. 실험 결과 (Experimental Results)

DefVINS 는 합성 데이터 (Drunkard's) 와 실제 데이터 (VIMandala) 모두에서 기존 방법들보다 우수한 성능을 입증했습니다.

비교 대상:
- ORB-SLAM3: 강체 VIO 기반라인.
- NR-SLAM: 비강체 시각 SLAM 기반라인 (관성 데이터 없음).
- DefVINS 변형체: V-NR (관성 없음), VI-R (강체 가정), Full (제안 방법).
성능 지표: 절대 궤적 오차 (ATE RMSE), 상대 위치 오차 (RPE), 성공적으로 추적된 프레임 수.
주요 결과:
- 약한 변형 환경: ORB-SLAM3 와 유사한 성능을 보이지만, IMU 가 추가된 경우 더 안정적입니다.
- 강한 변형 환경 (L3, R6):
  - ORB-SLAM3 는 변형이 심해지면 ATE 가 급격히 증가하고 추적 실패율이 높아집니다 (R6 에서 20% 미만 추적).
  - NR-SLAM 은 강체 기반라인보다 나으나, IMU 가 없어 회전 추정 불안정으로 드리프트가 발생합니다.
  - DefVINS (Full): ATE 를 ORB-SLAM3 대비 약 **40~~80%**까지 감소시켰으며, NR-SLAM 대비도 약 **45~~50%** 개선되었습니다. 또한, 심한 변형 환경에서도 **85~95%**의 프레임 추적 성공률을 유지하여 가장 높은 견고성 (Robustness) 을 보였습니다.
- 관측 가능성 분석: IMU 와 비강체 정규화를 결합하면 수 개의 프레임만으로도 시스템이 잘 조건화 (Well-conditioned) 되어 수치적 안정성이 확보됨을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 변형 가능한 환경에서의 VIO라는 미해결 과제를 해결하기 위한 중요한 첫걸음을 제시했습니다.

기술적 의의: 단순히 비강체 모델을 추가하는 것을 넘어, IMU 가 비강체 추정 문제의 관측 가능성과 조건수를 어떻게 개선하는지를 이론적으로 규명했습니다. 이는 비강체 VIO 시스템 설계에 있어 IMU 의 필수적인 역할을 강조합니다.
실용적 가치: 로봇 공학, 증강 현실 (AR), 의료 영상 등 실제 비강체 환경이 존재하는 분야에서 안정적인 위치 추정과 매핑을 가능하게 합니다.
데이터 기여: 해당 분야 연구의 발전을 위해 VIMandala와 같은 공개 벤치마크를 제공함으로써, 향후 연구자들의 비교 평가 기준을 마련했습니다.

결론적으로, DefVINS 는 IMU 의 강체 운동 제약과 비강체 변형 모델의 유연성을 결합하여, 기존 강체 VIO 와 비강체 시각 SLAM 의 한계를 극복하고 변형 환경에서도 정확하고 안정적인 궤적 추정을 가능하게 하는 획기적인 방법론입니다.