Does learning when to look pay for home service robots? A preregistered test of adaptive perception scheduling in closed-loop navigation

기술 요약: 언제 볼 것인지를 학습하는 것이 홈 서비스 로봇에게 이득이 되는가?

문제 정의
배터리로 구동되는 임베디드 컴퓨터를 탑재한 홈 서비스 로봇은 중대한 계산 병목 현상에 직면해 있다: 객체 탐지(object detection)는 종종 인지 파이프라인에서 가장 비용이 많이 드는 작업이다. 계산 부하를 줄이기 위해 적응형 인지 전략(프레임 건너뛰기, 영역 크롭, 또는 모델 크기 전환)이 널리 사용되지만, 폐쇄 루프(closed-loop) 내비게이션 환경에서 평가된 경우는 드물다. 정적 비디오 분석에서 탐지 실패는 단순히 재현율(recall)을 낮추는 데 그치지만, 이동형 로봇의 경우 탐지 실패는 작업 실패, 정지 또는 충돌로 이어질 수 있다. 기존 문헌에는 로봇의 움직임이 전적으로 인지 출력에 의존하는 폐쇄 루프 내비게이션 제약 조건 속에서, 적응형 인지의 계산 절감 효과가 실제로 유효한지에 대한 엄격하고 사전 등록된(preregistered) 평가가 부족하다.

방법론
저자들은 12개의 베이스라인과 비교하여 적응형 인지 컨트롤러를 테스트하기 위해 사전 등록된 실험을 수행했다.

• 환경 및 설정: 연구에는 모든 훈련 데이터에서 제외된 25개의 사실적인 홈 스캔(HM3D)을 활용한 Habitat 시뮬레이터가 사용되었다. 장애물(가정용 물체)은 내비게이션 메쉬 외부에 배치되었는데, 이는 로컬 플래너가 탐지기에 의해 성공적으로 식별되었을 때만 이를 회피할 수 있음을 의미한다. 로봇은 RGB-D 카메라(320×240 해상도)와 0.1초 제어 주기를 가진 동적 창(dynamic-window) 플래너를 사용했다.
• 평가된 컨트롤러: 제안된 방법은 언제 탐지기를 실행할지, 이미지의 어디를 볼지, 그리고 어떤 모델 크기를 사용할지를 학습한다.
  • 언제(WHEN): 학습된 트리거는 8가지 저비용 신호(예: 프레임 차이, 에고 모션, 충돌 시간)를 사용하여 현재의 믿음(belief)이 관련 장애물을 놓치고 있는지 예측한다.
  • 어디(WHERE): 설계된 타일 스코어러(tile scorer)는 운동 에너지와 제동 코리더(braking corridors)를 기반으로 특정 이미지 영역을 선택한다.
  • 무엇(WHAT): 티어 규칙(tier rule)은 충돌 시간(time-to-collision)에 따라 탐지 해상도(Heavy, Medium, 또는 Light)를 선택한다.
  • 안전 메커니즘: "세이프티 실드(safety shield)"는 로봇이 너무 멀리 이동할 때까지 탐지하지 않으면 강제로 탐지를 수행하며, "경험 메모리(experience memory)"는 과거의 장면 결과를 회상하려고 시도한다.
• 베이스라인: 컨트롤러는 매 프레임마다 Heavy 또는 Light 탐지기를 실행하는 방식, 고정 비율 프레임 건너뛰기, 무작위 프레임 선택, 그리고 다양한 휴리스틱 트리거(픽셀 차이, 엣지 특징, 모션 게이팅)를 포함한 12개의 베이스라인과 비교되었다.
• 사전 등록 및 기준: 주요 비교를 수행하기 전 과업, 유효성 게이트, 성공 기준을 사전 등록을 통해 고정하였다. 성공적인 것으로 간주되기 위한 조건은 다음과 같다:
  1. 성공률이 최상의 베이스라인(Always-Heavy)과 0.05 이내의 차이를 보일 것.
  2. 충돌률이 최상의 베이스라인(Always-Light)과 0.05 이내의 차이를 보일 것.
  3. 베이스라인보다 유의미하게 적은 GFLOPs를 사용할 것.

주요 결과
연구 결과, 적응형 컨트롤러는 사전 등록된 성공 기준을 충족하지 못했다.

• 성능 대 베이스라인: 전체 적응형 컨트롤러("ours-full")는 에피소드의 55.0%에서 성공했고 8.3%에서 충돌했다. 반면, "Always-Light" 베이스라인(가장 저렴한 탐지기를 매 프레임 실행)은 76.7%의 성공률과 0.8%의 낮은 충돌률을 기록했다. "Always-Heavy" 베이스라인은 79.2%의 성공률을 달了.
• 계산 절감: 적응형 컨트롤러는 Heavy 탐지기 대비 계산량을 85% 감소시켰으며(11,609 GFLOPs vs 76,805 GFLOPs), 12개 중 11개의 베이스라인보다 훨씬 저렴했다.
• 실패 모드: 적응형 방법은 주로 단순 충돌보다는 잘못되거나 오래된 트랙(완료되지 않은 작업) 뒤에서 멈춰 서는 방식으로 실패했다. 학습된 트리거는 효과적으로 수렴하지 않았으며, 동일한 계산 예산 하에서는 단순한 고정 비율 건너뛰기가 학습된 트리거보다 성능이 나은 경우가 많았다.
• 메모리 전이: 경험 메모리는 새로운 집으로 효과적으로 일반화되지 못했다. 오히려 동일한 장면을 반복 방문할수록 탐지 호출이 증가했는데, 이는 계산 필요성이 시각적 외형보다 로봇의 위치로부터 더 예측하기 어렵다는 것을 시사한다.

의의 및 주장
본 논문은 홈 서비스 로봇의 경우, 매 프레임마다 가장 적절하고 저렴한 탐지기를 실행하는 "단순하고 저렴한 기본값(simple and cheap default)"이 현재 가장 강력한 베이스라인이라고 주장한다.

• 하드웨어적 함의: 측정된 프로세서(Apple M1 Pro)에서 Light 티어의 탐지기만이 0.1초 제어 주기 내에 완료된다. Heavy 티어의 지연 시간(244ms)은 제어 주기를 2.4배 초과한다. 따라서 Light 티어를 기준으로 설계된 로봇은 더 작은 온보드 컴퓨터를 필요로 하며, 예산 내에 머물기 위해 복잡한 스케줄러를 가질 필요가 없다.
• 설계 가이드라인: 저자들은 네 가지 실질적인 가이드라인을 제공한다:
  1. 가장 저렴하고 적절한 탐지기를 매 프레임 실행하는 것부터 시작하라. 적응형 스케줄러는 배포 전 폐쇄 루프 테스트에서 이 기본값을 능가해야 한다.
  2. 충돌뿐만 아니라 작업 완료(성공률)를 측정하라. 열악한 인지는 종종 미완료 작업으로 이어진다.
  3. 전체 예산 범위에 걸쳐 스케le듈러를 평가하라. 단순한 고정 비율 건너뛰기가 동일 비용에서 학습된 트리거보다 우수할 수 있다.
  4. 경험 전이에 대한 주장은 위치 기반 제어(position-keyed control)와 벤치마킹되어야 한다.

결론
본 연구는 홈 서비스 로봇을 위해 언제 볼 것인지를 학습하는 것이 안전, 작업 성공, 계산 사이의 균형 측면에서 현재로서 이득이 되지 않는다고 결론짓는다. 이 부정적인 결과는 유용한 벤치마크로 제시되며, 향후 어떤 적응형 인지 방법이라도 폐쇄 루프 환경에서 단순하고 저렴한 탐지기를 지속적으로 실행하는 것보다 먼저 성능을 입증해야 함을 확립한다.