InFeR: Informed Failure Resilience in Learned Visual Navigation Control

기술 요약: InFeR – 학습된 시각 내비게이션 제어에서의 정보 기반 실패 복원력

문제 제기
모방 학습 (IL) 은 시각 내비게이션에서 상당한 성과를 거두었으나, 훈련 데이터에 대한 의존성으로 인해 본질적으로 제한을 받습니다. 성공적인 시연으로 훈련된 정책은 분포 외 (OOD) 시나리오 (예: 센서 고장, 동적 장애물, 또는 차단된 경로) 를 마주할 때 예측 불가능하게 실패하는 경우가 많습니다. 실패 처리에 대한 기존 접근법은 두 가지 주요 한계를 겪습니다: 첫째, 실패 탐지에만 집중하여 자율적 복구 대신 인간의 개입을 유발한다는 점; 둘째, 정책의 내부 표현에 접근할 수 없는 외부 탐지기에 자주 의존하여 진정한 실패 모드를 포착하지 못하거나 복구를 위한 실행 가능한 통찰력을 제공하지 못한다는 점입니다. 본 논문은 진정한 실패 복원력은 실패를 탐지할 뿐만 아니라 그 원인을 자율적으로 인식하고 추가적인 실패 또는 복구 시연 없이 이를 복구하는 것을 요구한다고 주장합니다.

방법론: InFeR 프레임워크
InFeR 는 성공적인 시연의 단일 정적 데이터셋만을 사용하여 표준 IL 정책에 "정보 기반 실패 복원력"을 보강하도록 설계된 일반 프레임워크입니다. 이는 두 가지 주요 단계로 작동합니다:

1. OOD 인지 정책 훈련 ($\pi_{IL-OOD}$):

   • 변분 정보 병목 (VIB): 핵심 혁신은 VIB 손실로 IL 정책을 재훈련하는 것입니다. 이는 시각 인코더와 행동 디코더 사이의 잠재 공간을 정규화합니다. 목표는 행동 예측에 필수적인 정보의 보존을 극대화하면서 입력 관측치를 압축하는 것입니다.
   • 잠재 공간 구조화: 잠재 표현을 사전 분포 (단위 가우시안) 에 가깝게 유지하도록 강제함으로써, 인코딩된 잠재 특징과 사전 분포 간의 KL 발산은 스칼라 OOD 점수로 작용합니다. 높은 발산은 OOD 입력을 나타냅니다.
   • 정합 예측 (CP): 시간 변화 동역학을 처리하고 임의의 임계값 설정을 피하기 위해, InFeR 은 궤적 보정 세트에 기능적 정합 예측을 적용합니다. 이는 KL 점수에 대한 시간 변화 상한을 생성하여 이진 OOD 탐지 ($b_t$) 를 위한 통계적으로 원칙적인 방법을 제공합니다.
   • 인식을 위한 Grad-CAM: 실패의 원인을 식별하기 위해, InFeR 은 KL 기반 OOD 점수의 기울기를 사용하여 시각 인코더의 특징 맵에 Grad-CAM 을 적용합니다. 이는 OOD 탐지를 담당하는 이미지 영역을 국소화하는 히트맵 ($M_t$) 을 생성합니다.

2. 휴리스틱 복구 정책 ($\pi_{Rec}$):

   • 실패 및 복구 데이터가 부재하므로, InFeR 은 OOD 인식 히트맵에 의해 안내되는 휴리스틱 복구 정책을 사용합니다.
   • 이 정책은 후퇴, 좌회전, 우회전, 또는 도움 요청과 같은 이산적인 매크로 행동 집합에서 선택합니다.
   • 결정 논리: 히트맵은 수평 구간으로 이산화됩니다. 왼쪽 또는 오른쪽 구간에서 OOD 특징이 탐지되면 로봇은 해당 영역에서 멀어지도록 회전합니다. 로봇이 막히거나 OOD 영역이 중앙에 있으면 후퇴합니다 (과거 행동의 캐시된 시퀀스를 역전). 최대 시도 횟수 ($t_{max}$) 후 복구 시도가 실패하면 로봇은 정지하고 인간의 도움을 요청합니다.

주요 기여

• 정보 기반 실패 복원력: 본 논문은 정책의 내부 잠재 표현에 기반하여 단순한 실패 탐지를 넘어 원인 인식과 자율적 복구를 포함하는 프레임워크를 정의하고 구현합니다.
• 데이터 효율적 훈련: InFeR 은 추가적인 실패 또는 복구 시연을 요구하지 않고 오직 원래 성공 시연 데이터셋에만 의존하여 OOD 인지 및 복구 능력을 달성합니다.
• 아키텍처 중립성: 이 프레임워크는 일반적이도록 설계되어 핵심 구조를 수정하지 않고도 다양한 IL 정책 아키텍처 (예: CNN 기반 이미지 목표 정책 및 순환 경로 추적 정책) 를 보강할 수 있습니다.
• 탐지 및 인식의 통합: 외부 탐지기와 달리, InFeR 은 탐지와 인식을 정책 내부에 직접 통합하여 잠재 공간을 활용하여 분포 내 입력과 OOD 입력을 구분하고 이상을 유발하는 특정 시각 특징을 국소화합니다.

실험 결과
저자들은 Boston Dynamics Spot 로봇을 사용하여 실제 실내 및 실외 환경에서 InFeR 을 평가했으며, 네 가지 실패 유형 (센서 고장, 차단된 경로 (데드엔드 및 지역 최소점), 근접 동적 장애물, 비현실적인 이미지 목표) 에 대해 테스트했습니다.

• 탐지 및 인식 성능: InFeR 은 OOD 탐지 및 인식 모두에서 밀도 기반 방법, 원 클래스 판별기, 재구성 기반 오토인코더를 포함한 최첨단 베이스라인보다 우수한 성능을 보였습니다. 잠재 벡터에 대한 KL 점수와 Grad-CAM 의 사용은 고차원 이미지에서의 재구성 오차 지표보다 훨씬 효과적이고 노이즈가 적음이 입증되었습니다.
• 복구 성공률: InFeR 이 적용된 정책은 다양한 실패를 성공적으로 탐지하고 복구했습니다. 예를 들어, InFeR-DEC(DECISION 정책에 기반) 는 복잡한 지형을 포함하는 300m 경로를 자율적으로 완주하며 지역 최소점과 동적 장애물에서 복구했습니다.
• 인식의 중요성: 히트맵을 무시하고 무작위 교정 행동을 선택하는 "Blind" 변형과의 비교는 정보 기반 복구가 특히 동적 시나리오에서 훨씬 더 효율적이고 효과적임을 보여주었습니다. InFeR-DEC 는 Blind 변형보다 최대 2 배 빠르게 복구했습니다.
• 일반화 능력: 이 프레임워크는 두 가지 다른 정책 아키텍처 (GNM 및 DECISION) 에서 일관된 성능을 입증하여 다양한 시각 내비게이션 패러다임에 대한 적용 가능성을 검증했습니다.

의의
본 논문은 InFeR 이 모방 학습을 통한 안전하고 견고한 시각 내비게이션을 향한 중요한 도약이라고 주장합니다. 외부 감독이나 추가 훈련 데이터 없이 정책이 실패를 자율적으로 탐지, 인식, 복구할 수 있게 함으로써, InFeR 은 열린 세계의 비구조화된 환경에서 학습된 내비게이션 시스템을 배포하는 데 있어 중요한 격차를 해소합니다. 저자들은 이 접근법이 전통적인 IL 정책이 예측 불가능하게 실패할 복잡한 시나리오에서 학습된 제어기가 장거리 내비게이션을 처리할 수 있게 한다고 전제합니다.