Self-Healing Visual Recovery for Autonomous Ground Vehicles Using Camera-Only Visual Odometry

기술 요약: 카메라 기반 시각적 오도메트리를 이용한 자율 지상 이동 로봇의 자기 치유형 시각적 복구 기술

문제 정의
구조화된 실내 환경(예: 창고, 검사 통로)에서 운용되는 저가형 무인 지상 이동 로봇(UGV)은 단일 카메라를 이용한 라인 팔로잉(line-following) 내비게이션에 주로 의존한다. 이러한 방식은 비용 효율적이지만, 고가의 시스템에서 볼 수 있는 하드웨어 중복성(LiDAR, GPS, 다중 카메라)이 부족하여 특정 실패 모드에 취약하다. 구체적으로는 가이드 라인의 부분적 또는 전체적 폐쇄(occlusion), 색상 분할 성능을 저하시키는 조명 변화, 그리고 장애물 회피 과정에서 발생하는 헤딩 편차로 인해 라인이 카메라 시야(FOV)를 벗어나는 문제 등이 있다. 효과적인 복구 메커니즘이 없다면, 단 한 번의 미복구 실패만으로도 로봇의 운행이 중단되어 자율 주행 도입의 경제적 타당성을 훼st하게 된다. 기존의 복구 솔루션들은 대개 고가의 센서나 GPU 가속 기반의 딥러닝에 의존하며, 이는 GPU 없이 CPU만으로 작동 가능한 경량화된 시스템, 즉 완전한 라인 손실을 스스로 감지하고 복구할 수 있는 시스템의 필요성을 간과하고 있다.

방법론
본 논문은 GPU 가속이나 외부 적응 관리자 없이 CPU 전용 하드웨어에서 20Hz로 동작하는 통합된 경량 인지-제어-복구 루프를 제안한다. 이 시스템은 단일 50ms 제어 틱 내에 완전한 MAPE-K(Monitor-Analyze-Plan-Execute-Knowledge) 루프를 내장한다.

1. 인지 (모니터링 및 분석):

   • 깊이 게이트형 HSV 라인 트래커(Depth-Gated HSV Line Tracker): HSV 색상 분할과 깊이 인지형 바닥 마스크를 결합하여 가이드 라인을 탐지한다. 반사 표면에서의 오탐지를 줄이기 위해 온라인 허(hue) 적응(Exponential Moving Average 사용)과 주기적인 SVD 기반 평면 피팅을 채택한다.
   • 깊이 융합 장애물 탐지기(Depth-Fused Obstacle Detector): 학습된 바닥 모델의 기하학적 잔차(geometric residuals)와 YOLOv8n 모델의 시맨틱 탐지를 결합한다. 장애물은 전방 이미지 코리더 내의 중앙값 깊이를 기준으로 순위가 매겨져 가장 가까운 물체를 우선순위에 둔다.
   • 경량 시각적 오도메트리(Visual Odometry, VO): GFTT 특징점 검출기, ORB 기술자, 그리고 RANSAC을 포함한 5점 필수 행렬(essential matrix) 솔버를 사용하여 증분 포즈(incremental pose)를 추정한다. 이를 통해 최근 포즈들의 "브레드크럼(breadcrumb, 빵 부스러기)" 지도를 생성하여 지식 베이스(Knowledge Base)에 저장한다.

2. 의사결정 및 복구 (계획 및 실행):
   시스템은 [장애물 회피 > 라인 팔로잉 > 복구] 순으로 동작 우선순위를 정한다. 장애물이 없는 상태에서 라인 손실이 유예 기간(0.6초) 동안 지속되면 2단계 복구 전략이 실행된다.

   • 1단계 (회전 및 탐색 - Spin-and-Search): 로봇이 제자리에서 회전하면서 색상 임계값을 완화하고, 여러 프레임($N_{confirm}=5$)에 걸쳐 확증을 기다린다. 이는 라인이 부분적으로 보이거나 단순히 로봇의 정렬이 어긋난 경우를 대상으로 한다.
   • 2단계 (VO 유도 내비게이션 - VO-Guided Navigation): 1단계가 실패할 경우, 로봇은 비례 각도 및 거리 제어기를 사용하여 가장 가까운 저장된 "브레드크럼" 포즈로 돌아간다. 해당 위치에 도착하면 1단계를 다시 시도한다. 이 과정은 최대 3회 반복되며, 3회 모두 실패 시 최종 실패로 선언한다.

주요 기여
본 논문의 주요 기여는 다음과 같이 다섯 가지로 요약된다:

1. GPU 가속 없이 CPU 전용 하드웨어에서 20Hz로 실행되는 통합 인지-제어-복구 루프를 제시하였다.
2. 반사 표면 처리를 위해 온라인 허 적응 및 행 단위 바닥 모델링을 통합한 깊이 게이트형 HSV 라인 트래커를 개발하였다.
3. 기하학적 잔차와 YOLOv8n 탐지를 결합한 깊이 융합 장애물 회피 모듈을 구현하였다.
4. 완전한 라인 손실 시나리오를 위해 설계된 2단계 시각적 복구 전략(회전 탐색 및 VO 기반 브레드크럼 귀환)을 제안하였다.
5. 세 가지 기하학적으로 다양한 시뮬레이션 코스에서 119회의 결함 주입 에피소드를 통해 실험적 평가를 수행하였다.

결과
시스템은 Webots 시뮬레이터 내의 세 가지 코스(매끄러운 타원, 좁은 회전 구간, 예각 삼각형)에서 119회의 라인 손실 유도 에피소드를 대상으로 평가되었다.

• 성공률: 본 방법론은 **86.6%**의 경우에서 복구에 성공하였다 (95% Wilson 신뢰 구간: 0.79–0.92).
• 복구 시간: 복구 시간(TTR)의 중앙값은 3.26초였으며, 평균은 3.48초였다.
• 메커니즘 효능: 1단계(회전)는 성공 사례의 33%를 해결하였으며, 주로 1초 이내에 완료되었다. 이는 부분적인 라인 가시성이 남아있는 좁은 회전 구간 코스에서 가장 효과적이었다. 2단계(VO 내비게이션)는 성공 사례의 67%를 해결하였으며, 특히 라인이 완전히 가려진 코스에서 효과적이었고, TTR은 2초에서 9초 사이였다.
• 실패 모드: 16건의 실패 에피소드는 희소한 브레드크럼 커버리지(로봇이 저장된 포즈 범위를 벗어남), 동적 장애물에 의한 지속적인 폐쇄, 그리고 순수 회전 또는 저질감(low-texture) 주행 중 발생하는 VO 드리프트 때문인 것으로 분석되었다.

의의 및 주장
저자들은 카메라 전용 UGV에서도 실질적인 비용 및 계산 제한 내에서 신뢰할 수 있는 시각적 복구가 가능하다는 점을 주장한다. 본 연구는 RGB-D 카메라와 CPU 처리만으로도 LiDAR, GPS 또는 GPU 가속 없이도 고가의 센서가 풍부한 기존 시스템에 필적하는 복구 성능(86.6%)을 달 수 있음을 입증하였다. 본 논문은 이 접근 방식이 일부 선행 연구에 비해 평균 복구 시간을 다소 증가시킬 수 있음에도 불구하고, 구조화된 환경에서 자율 운용에 필요한 회복 탄력성을 확보함으로써 저가형 하드웨어와 고성능 시스템 사이의 간극을 성공적으로 메웠음을 강조한다. 결과적으로, 이러한 자기 치유 행동은 외부 적응 관리자 없이도 자원 제한적인 플랫폼의 제어 루프 내에 직접 내장될 수 있음을 보여준다.