💻 computer science

Reliability-Aware Temporal Memory for Long-Term Drift Reduction in End-to-End Visual Odometry under Domain Shift

본 논문은 신뢰할 수 있는 새로운 시각적-시간적 표현을 선택적으로 저장하고 적응적으로 융합함으로써 도메인 변화 하에서의 장기 드리프트를 완화하는 신뢰성 인지형 시간 메모리 프레임을 엔드 투 엔드 시각적 주행 거리 측정에 제안하며, 이를 통해 베이스라인 방법들과 비교하여 우수한 궤적 정확도와 강건성을 달성한다.

원저자: Dhayaa Khudher, Roger Powell

게시일 2026-09-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dhayaa Khudher, Roger Powell

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

창고용 배송 로봇부터 자율 주행 진공청소기에 이르기까지 실내를 탐색하는 로봇들은 근본적인 문제에 직면해 있다. 바로 인간처럼 세상을 볼 수 없다는 점이다. 자동차나 스마트폰을 안내하는 GPS에 접근할 수 없는 이 기계들은 자신의 카메라에 의존하여 자신이 어디에 있고 어디로 가고 있는지를 파악해야 한다. '비주얼 오도메트리(visual odometry)'라고 알려진 이 과정은 이미지의 흐름을 관찰하고 각 프레임 사이에서 카메라가 어떻게 움직였는지를 계산하는 작업을 포함한다. 수십 년 동안 엔지니어들은 테이블의 모서리나 벽의 균열처럼 장면 속의 뚜렷한 지점들을 추적하여 움직임을 추정하는 시스템을 구축해 왔다. 그러나 이러한 전통적인 방식은 환경이 변할 때, 즉 조명이 어두워지거나, 바닥의 질감이 반복적이거나, 로봇이 방금 지나온 곳과 전혀 다르게 생긴 방으로 들어갔을 때 종종 어려움을 겪는다. 이러한 혼란의 순간에 로봇의 내부 지도는 표류하기 시작하며, 이로 인해 방향 감각을 서서히 잃고 결국 자신이 어디에 있는지조차 알 수 없게 된다.

최 recent의 발전은 로봇이 수동으로 코딩된 규칙 없이도 인공지능을 사용하여 패턴을 인식함으로써 데이터로부터 이 과업을 직접 학습할 수 있게 해주었다. 하지만 이러한 스마트한 시스템들조차 장거리 이동 시에는 유사한 문제를 겪는다. 로봇이 멀리 이동할수록 계산상의 작은 오류들이 누적되며, 시스템은 결국 여정의 시작 부분에서 보았던 신뢰할 수 있는 랜드마크들을 잊어버리게 된다. 이는 로봇이 익숙하고 밝은 복도에서 이동하다가 어둡고 어수선한 방으로 들어갈 때 특히 위험하다. 새로운 환경의 불확실성은 로봇이 잘못된 결정을 내리게 할 수 있으며, 과거의 관찰 중 어떤 것이 신뢰할 수 있었는지 기억하는 메커니즘이 없기 때문에 로봇은 미래의 단계를 안내하기 위해 잘못된 정보에 의존할 수도 있다. 연구자들이 답을 찾고자 해온 질문은 어떻게 하면 이 기계들에게 단순히 무엇을 보았는가뿐만 아니라, 자신이 본 것을 얼마나 신뢰할 수 있는지를 아는 기억력을 부여할 것인가 하는 점이다.

한 연구팀은 로봇의 기억에 대한 '신뢰성 필터' 역할을 하는 새로운 접근 방식을 개발했다. 이 시스템은 로봇이 마주치는 모든 시각적 스냅샷을 저장하는 대신, 두 가지 간단한 기준에 따라 어떤 순간을 간직할 가치가 있는지 결정한다. 즉, 관찰 내용이 신뢰할 만큼 충분히 명확한가, 그리고 이미 저장된 내용과 충분히 달라서 유용한가 하는 점이다. 이 시스템은 현재의 시야 품질을 지속적으로 평가함으로써 작동한다. 만약 카메라가 흐릿한 벽이나 균일한 바닥 패치를 보고 있다면, 시스템은 그 데이터가 불안정하다는 것을 인식하고 저장하지 않기로 결정한다. 하지만 시야가 선명하고 독특한 관점을 제공한다면, 시스템은 이를 신뢰할 수 있는 앵커 포인트(anchor point)로 저장한다. 이러한 선택적 기억을 통해 로봇은 혼란스러운 새로운 영역에 처했을 때 다시 참조할 수 있는 고품질의 랜드마크 집합을 보유할 수 있게 된다.

이 혁신의 핵심은 로봇이 처리하는 모든 프레임에 신뢰도 점수를 할당하는 메커니즘이다. 로봇이 갑작스러운 조명 변화나 질감 부족과 같은 어려운 상황에 직면하면, 시스템은 현재 위치에 대해 얼마나 불확실한지를 계산한다. 만약 불확실성이 높다면, 로봇은 자신의 즉각적인 계산을 맹목적으로 믿지 않는다. 대신, 자신의 메모리 뱅크를 뒤져 가장 유사하면서도 매우 신뢰할 수 있는 과거의 관찰 결과들을 찾아낸다. 그런 다음 이 신뢰할 수 있는 역사적 정보와 현재의 불안정한 시야를 결합하여 더 안정적인 위치 추정치를 만들어낸다. 이 결합은 단순한 혼합이 아니다. 시스템은 기억을 얼마나 믿을지, 혹은 현재의 순간을 얼마나 믿을지를 신중하게 가중치를 두어 결정한다. 현재의 시야가 형편없다면 시스템은 신뢰할 수 있는 과거에 크게 의존한다. 반대로 현재의 시야가 명확하다면 현재를 더 신뢰한다. 이러한 동적 조정은 로봇이 나쁜 데이터에 의해 잘못 인도되는 것을 방지하는 동시에 유용한 맥락을 무시하지 않도록 보장한다.

이 아이디어를 테스트하기 위해 연구진은 로봇이 직면할 수 있는 조건들을 정밀하게 조작할 수 있는 통제된 시뮬레이션 환경을 구축했다. 그들은 복도와 방이 있는 가상 세계를 만들고, 조명, 표면의 질감, 가구 배치를 체계적으로 변경하여 까다로운 시나리오를 시뮬레이션했다. 연구진은 이러한 환경들을 바탕으로 시스템을 훈련시킨 후, 밝고 선명한 방에서 어둡고 흐릿한 곳으로 급격히 변하는 경로를 포함한 새로운 경로에서 테스트를 진행했다. 결과는 로봇의 경로 유지 능력에서 상당한 개선을 보여주었다. 조명 저하, 낮은 질감, 구조적 변화가 결합된 가장 도전적인 테스트에서, 새로운 시스템은 경로의 총 오차를 0.201미터로 줄였다. 이에 비해 이 메모리 시스템이 없는 표준 딥러닝 모델은 동일한 어려운 조건 하에서 0.512미터의 오차를 누적하며 훨씬 더 많이 표류했다.

연구는 또한 표준 벤치마크 데이터셋을 사용하여 실제 시나리오에서의 시스템 동작을 조사함으로써, 이 접근 방식이 시뮬레이션을 넘어 작동함을 확인했다. 로봇은 초당 38프레임을 처리하며 높은 속도를 유지했는데, 이는 실시간 내비게이션에 충분한 속도이다. 결정적으로, 연구진은 시스템의 드리프트(drift) 감소 능력이 단순히 더 많은 것을 기억했기 때문이 아니라, '올바른 것'을 기억했기 때문이라는 것을 발견했다. 신뢰성을 확인하지 않고 데이터를 저장하거나, 신뢰도에 따라 가중치를 두지 않고 데이터를 검색하는 버전의 시스템을 테스트했을 때 성능이 떨어졌다. 이는 성공의 핵심이 메모리 자체의 지능적인 게이팅(gating)에 있다는 것을 입증했다. 시스템은 노이즈가 많고 불확실한 순간들을 무시하고 오직 명확하고 뚜렷한 순간들에 집중함으로써, 물리적 환경이 혼란스러워지더라도 안정적으로 유지되는 정신적 지도를 만들어냈다.

이 연구는 로봇이 인간의 공간처럼 복잡하고 변화하는 세상을 항해하기 위해서는 강력한 카메라와 빠른 프로세서 이상의 것이 필요함을 시사한다. 그들에게는 자신의 관찰 품질을 판단할 방법과 그 판단을 존중하는 기억력이 필요하다. 기계에게 자신의 불확실한 순간을 회의적으로 바라보고 가장 신뢰할 수 있는 과거 경험에 의존하도록 가르침으로써, 연구자들은 자율 주행을 더욱 견고하게 만드는 단계에 도달했다. 연구 결과는 로봇이 명시적으로 훈련받지 않은 방식으로 환경이 변하는 '도메인 시프트(domain shifts)' 상황에서도, 신뢰성을 고려한 메모리가 로봇이 길을 잃지 않게 하여 앞길이 불투명할 때도 집을 찾을 수 있도록 보장한다는 것을 보여준다.

기술 요약: 도메인 변화 상황에서의 엔드 투 엔드 시각적 주행 거리 측정(Visual Odometry) 내 장기 드리프트 감소를 위한 신뢰도 인식형 시간적 메모리

문제 정의
시각적 주행 거리 측정(Visual Odometry, VO)은 GPS가 제한된 환경에서 이동 로봇 내비게이션에 매우 중요하다. 학습 기반의 VO 접근 방식은 수작업으로 설계된 파이프라인에 대한 의존도를 낮추지만, 장거리 경로를 주행하거나 도메인 변화(예: 조명, 질감 또는 장면 구조의 변화)를 겪을 때 상당한 장기 드리프트(long-term drift) 문제를 겪는다. CNN 및 트랜스포머를 활용하는 기존의 엔드 투 엔드 모델들은 초기 데이터를 소실하거나 제한된 시간 창 내에서 작동하기 때문에 신뢰할 수 있는 장거리 정보를 보존하는 데 실패하는 경우가 많다. 또한, 불확실성 인지형(uncertainty-aware) VO 방법들이 존재하지만, 불확실성은 일반적으로 보조 출력이나 손실 가중치 항으로만 사용될 뿐, 장기 메모리 저장 및 검색을 관리하기 위한 제어 신호로 사용되지는 않는다. 결과적으로, 현재의 관측치가 저하될 때 이를 필터링하거나 신뢰할 수 있는 역사적 앵커를 검색할 수 있는 메커니즘 없이 불확실한 관측치가 전파될 수 있다.

방법론
본 논문은 도메인 변화 상황에서 엔드 투 엔드 VO의 장기 드리프트를 완화하기 위해 설계된 **신뢰도 인식형 시간적 메모리 프레임워크(Reliability-Aware Temporal Memory Framework)**를 제안한다. 이 아키텍처는 이종 분산 불확실성(heteroscedastic uncertainty)에 의해 제어되는 메모리 관리 시스템과 CNN-트랜스포머 인코더를 통합한다.

시각-시간적 인코딩(Visual-Temporal Encoding): 시스템은 CNN 백본(ResNet18)을 사용하여 이미지 시퀀스 $I_{t-L+1:t}$ 로부터 공간적 특징을 추출한 후, 트랜스포머 인코더를 통해 단기 시간적 의존성을 모델링하여 잠재 표현 $z_t$ 를 생성한다.
이종 분산 불확실성 추정(Heteroscedastic Uncertainty Estimation): 전용 불확실성 헤드가 $z_t$ 로부터 로그 스케일의 입력 의존적 포즈 불확실성( $s_t$ )을 예측한다. 이는 스칼라 프레임 레벨 신뢰도 점수 $r_t = \exp(-u_t)$ 로 변환된다(여기서 $u_t$ 는 평균 불확실성이다). 높은 신뢰도는 낮은 예측 불확실성에 해당한다.
신뢰도 및 참신도 기반 메모리 업데이트(Reliability- and Novelty-Guided Memory Update): 프레임워크는 크기 $K$ $K$ 인 메모리 뱅크 $M$ $M$ 을 유지한다. 현재 프레임은 다음 두 가지 기준을 모두 충족해야만 메모리에 수용된다:
- 신뢰도(Reliability): 신뢰도 점수 $r_t$ 가 임계값 $\tau_r$ 을 초과해야 한다.
- 참신도(Novelty): 프레임이 코사인 유사도( $n_t$ )를 통해 계산된 기존 메모리 항목들과 구별되어야 한다.
  엔트리는 특징, 신뢰도, 불확실성, 참신도 및 시간 인덱스를 포함하는 튜플 형태로 저장된다. 메모리가 가득 차면 유틸리티 점수( $q_k = r_k n_k$ )가 가장 낮은 엔트리가 제거되어, 메모리가 정보력이 있고 신뢰할 수 있는 앵커만을 보유하도록 보장한다.
불확실성 가중치 기반 검색(Uncertainty-Weighted Retrieval): 추론 과정에서 현재 표현은 쿼리로 투영된다. 저장된 항목들은 키(key)와 값(value)으로 투영된다. 어텐션 메커니즘은 쿼리와 저장된 키 사이의 유사도에 가중치를 부여하며, 이때 저장된 항목의 신뢰도( $r_k$ )에 의해 수정된다. 이는 검색된 컨텍스트가 신뢰할 수 있는 과거 프레임을 우선시하도록 보장한다.
적응형 볼록 융합(Adaptive Convex Fusion): 검색된 메모리 컨텍스트( $c_t$ )는 적응형 볼록 결합을 통해 현재 표현( $z_t$ )과 융합된다: $h_t = (1-\beta_t)z_t + \beta_t c_t$ . 융합 계수 $\beta_t$ 는 현재 프레임의 신뢰도에 기반한 시그모이드 함수에 의해 예측된다. 현재 프레임이 신뢰할 수 없을 때는 검색된 메모리에 더 많이 의존하고, 현재 프레임이 신뢰할 수 있을 때는 현재의 증거에 더 많이 의존한다.
학습 목적 함수(Training Objective): 모델은 포즈 회귀 손실( $L_{pose}$ )과 이종 분산 불확실성 인지 부정 로그 가능도 손실( $L_{unc}$ )로 구성된 결합 손실 함수를 사용하여 훈련되며, 이는 궤적 정확도와 신뢰도 추정 사이의 균형을 맞춘다.

주요 기여
본 논문은 네 가지 주요 기여를 식별한다:

이종 분산 포즈 불확불확실성으로부터 도출되어 메모리 연산을 명시적으로 제어하는 프레임 레벨 신뢰도 점수.
정보력이 있고(참신함) 신뢰할 수 있는(신뢰성) 프레임에만 메모리 저장을 제한하는 신뢰도 및 참신도 기반 업데이트 규칙.
컨텍스트 검색 시 신뢰할 수 있는 저장된 시간적 앵커를 우선시하는 불확실성 가중치 기반 검색 메커니즘.
현재의 증거와 검색된 메모리의 기여도를 실시간 신뢰도에 따라 동적으로 제한하는 적응형 볼록 융합 메커니즘.

결과
프레임워크는 TurtleBot4를 이용한 도메인 제어 실내 시뮬레이션 환경에서 평가되었으며, 표준 벤치마크(TUM RGB-D 및 ICL-NUIM)를 통해 추가 검증되었다.

정확도: 제안된 방법은 제어된 데이터셋에서 0.089 m의 절대 궤적 오차(ATE)와 **미터당 1.2%**의 드리프트를 달성했다.
도메인 변화 강건성: 결합된 도메인 변화(조명, 질감 및 구조적 변화) 하에서, 제안된 방법은 0.201 m의 ATE를 기록하여 CNN-트랜스포머 베이스라인(0.512 m) 및 DeepVO와 같은 다른 학습 기반 방법(0.678 m)을 크게 능가했다.
장기 드리프트: 제안된 모델과 베이스라인 간의 오차 격차는 궤적 길이에 따라 증가하였으며, 이는 우수한 장기 안정성을 입증한다.
효율성: 시스템은 NVIDIA RTX 3090에서 38 FPS로 작동하며, 베이스라인 대비 적절한 계산 오버헤드를 가진다.
행동 분석: 실험을 통해 예측된 불확실성이 포즈 오차와 양의 상관관계를 가짐이 확인되었다. 시각적 조건이 악화됨에 따라 메모리 수용이 더 선택적으로 변했으며, 현재 프레임의 신뢰도가 낮아질 때 융합 계수 $\beta_t$ 가 증가(메모리에 더 많이 의존)함을 확인했다.

의의 및 주장
본 논문은 시간적 정보의 선택과 재사용을 제어하는 것이 정보의 보유량만큼 중요하다는 것을 입증한다고 주장한다. 단일 이종 분산 신뢰도 신호를 사용하여 저장, 검색 가중치 부여 및 융합 경계 설정을 제어함으로써, 시스템은 명시적인 번들 조정(bundle adjustment)이나 루프 클로저(loop closure) 메커즘 없이도 장기 드리프트를 효과적으로 감소시킨다.

저자들은 다음과 같이 연구 범위를 겸허하게 설정한다:

주요 근거는 시각적 요인을 독립적으로 조작할 수 있는 도메인 제어 실내 시뮬레이션에서 도출되었다.
TUM RGB-D 및 ICL-NUIM에 대한 검증은 지원적인 근거 역할을 하며, 무제한적인 교차 도메인 일반화를 주장하지 않는다.
현재 구현은 RGB 입력 및 3-DoF 평면 운동으로 제한된다.
저자들은 실제 로봇, 6-DoF 운동, 그리고 센서 노이즈, 바퀴 미끄러짐 및 통제되지 않은 조명 환경에서의 프레임워크 평가를 위해 향후 연구가 필요함을 명시적으로 밝힌다.

결론적으로, 본 연구는 엔드 투 엔드 VO에 신뢰도 인식형 메모리 관리를 통합하는 것이 도메인 변화 상황에서 궤적 안정성을 유지하기 위한 강력한 메커니즘을 제공하며, 복잡한 기하학적 최적화 단계 없이도 계산 효율적인 솔루션을 제공한다고 상정한다.

유사한 논문