Enhancing Vision-Based Policies with Omni-View and Cross-Modality Knowledge Distillation for Mobile Robots

1. 문제 정의 (Problem Statement)

모바일 로봇의 비전 기반 정책 (Vision-based Policies) 은 조작 및 이동 작업에 널리 적용되지만, 경량화된 모바일 로봇에 적용할 때 다음과 같은 3 가지 딜레마 (Trilemma) 에 직면합니다:

1. 시나리오 전이성 (Scene Transferability) 부족: 단일 시점 (Monocular) RGB 카메라를 사용하는 정책은 훈련 데이터에서 보지 못한 새로운 환경이나 조명/질감 변화에 대해 일반화 능력이 떨어집니다.
2. 온보드 컴퓨팅 자원 제한: 모바일 로봇은 전력 및 기계적 구조 제약으로 인해 제한된 연산 능력을 가지며, 고해상도 전방향 (Omnidirectional) 이미지나 깊이 (Depth) 센서 처리는 실시간 추론에 부담을 줍니다.
3. 하드웨어 비용: LiDAR 나 RGB-D 카메라와 같은 깊이 센서는 비용이 비싸고 부피가 커서 저비용 경량 로봇에 적용하기 어렵습니다.

핵심 질문: 저비용 단일 시점 RGB 카메라만으로도 깊이 이미지와 전방향 뷰를 사용하는 정책과 유사한 성능을 달성할 수 있는가?

2. 제안된 방법론 (Methodology)

저자들은 지식 증류 (Knowledge Distillation) 프레임워크를 제안하여, 풍부한 정보 (전방향 깊이) 를 가진 '교사 (Teacher)' 정책의 지식을 제한된 정보 (단일 시점 RGB) 를 가진 '학생 (Student)' 정책으로 전달합니다.

• 아키텍처 개요:

  • 교사 정책 (Teacher, $\pi_T$): 다중 카메라로 생성된 전방향 (Omni-view) 깊이 이미지를 입력으로 받습니다. 깊이 정보는 DepthAnyThingV2 (DATv2) 를 사용하여 RGB 에서 생성하거나 실제 깊이 센서 데이터를 활용합니다. 이 정책은 풍부한 공간 정보와 외관 불변성 (Appearance-invariant) 을 학습합니다.
  • 학생 정책 (Student, $\pi_S$): 저비용 모바일 로봇에 탑재 가능한 단일 시점 RGB 이미지만 입력으로 받습니다.
  • 지식 증류 메커니즘: 학생은 단순히 교사의 행동 (Action) 을 모방하는 것뿐만 아니라, 교사의 잠재 임베딩 (Latent Embeddings) 과도 정렬되도록 훈련됩니다.

• 손실 함수 (Loss Function):
  학생 정책의 훈련 손실은 두 가지 구성 요소로 이루어집니다:
  $$L_S = \lambda_0 L_{act} + \lambda_1 L_{con}$$

  1. 행동 손실 ($L_{act}$): 학생의 출력 행동과 전문가 (Expert) 의 행동 간의 L2 오차를 최소화합니다.
  2. 대비 손실 (Contrastive Loss, $L_{con}$): InfoNCE 손실을 사용하여, 공간적으로 가까운 상태 (Global Pose) 에서 추출된 교사의 임베딩 ($z_1$) 과 학생의 임베딩 ($z_2$) 을 가깝게 만들고, 먼 상태 간에는 멀게 만듭니다. 이를 통해 학생은 단일 시점 이미지만으로도 교사가 가진 전방향 및 깊이 정보를 내포한 강력한 특징 표현을 학습하게 됩니다.

• 시간적 정보 활용: 학생 정책은 LSTM 을 사용하여 과거 이미지 시퀀스를 처리함으로써 단일 정적 이미지의 정보 부족을 보완합니다.

3. 주요 기여 (Key Contributions)

1. 전방향 및 교차 모달리티 지식 증류 프레임워크: 모바일 로봇을 위한 비전 기반 모방 학습 (Imitation Learning) 에 전방향 깊이 정보와 단일 시점 RGB 간의 지식 증류 방식을 도입했습니다.
2. 성능 향상: 제안된 방법을 적용한 단일 시점 정책은 기존 단일 시점 기반 정책 대비 항행 성공률 (Success Rate) 약 15% 향상, 충돌 없는 이동 거리 약 19% 증가, 행동 오류 (Action Error) 감소 등을 달성했습니다.
3. 실용성 및 효율성:
   • 실제 배포 시 깊이 센서나 다중 카메라 시스템이 불필요해졌습니다.
   • 온보드 추론 시간이 약 20ms로 매우 빠르며, 하드웨어 비용과 복잡성을 크게 낮췄습니다.
4. 실제 로봇 검증: 제한된 컴퓨팅 자원을 가진 실제 경량 모바일 로봇 시스템에서 시뮬레이션 및 실환경 실험을 통해 방법론의 유효성을 입증했습니다.

4. 실험 결과 (Experimental Results)

• 시나리오 전이성 (Scene Transferability):
  • 다양한 시나리오에서 추출된 비전 임베딩의 유사도를 측정한 결과, 제안된 방법은 다른 RGB 기반 인코더 (DINOv2, CLIP 등) 보다 높은 임베딩 유사도를 보여주어 환경 변화에 더 강건한 특징을 학습했음을 확인했습니다.
  • t-SNE 시각화 결과, 제안된 방법의 임베딩은 공간적 움직임과 일치하는 명확한 구조를 가지며, 사전 훈련된 모델들의 산만한 분포와 대조를 이뤘습니다.
• 항행 성능 (Navigation Performance):
  • 성공률 (SR): 제안된 방법 (ResNet50 기반) 은 72% 의 성공률을 기록하여, 단일 시점 RGB 베이스라인 (38%) 대비 약 34%p 향상되었으며, 깊이 센서를 사용하는 방법 (80%) 에 근접하는 성능을 보였습니다.
  • 행동 오류 (AE): 다른 RGB 기반 방법들보다 낮은 행동 오류를 기록했습니다.
  • 실시간성: NVIDIA Jetson Orin NX 에서 TensorRT 가속 시, 깊이 추정 모듈을 추가하지 않고도 20ms 내외의 지연 시간을 유지하며 실시간 제어가 가능했습니다. (깊이 센서 입력 시 추가 지연 발생)
• 기타 방법론 비교:
  • 시각적 주의 맵 (Visual Attention) 분석 결과, 제안된 방법은 장애물 등 작업 관련 특징에 집중하는 반면, 증류 없이 훈련된 정책은 무관한 특징에 주의가 분산되는 것을 확인했습니다.
  • 기존 연구 (RoboSaGA, VISARL 등) 와 비교하여 행동 오류, 성공률, 이동 거리 모든 지표에서 우수한 성능을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 모바일 로봇의 비전 기반 제어에서 하드웨어 비용, 연산 자원, 성능 사이의 상충 관계를 해결하는 효과적인 방안을 제시합니다.

• 비용 절감: 값비싼 깊이 센서나 다중 카메라 시스템을 대체할 수 있어 저비용 로봇 배포가 가능해졌습니다.
• 강건성 향상: 단일 시점 RGB 카메라만으로도 전방향 깊이 정보의 이점을 지식 증류를 통해 획득하여, 미지의 환경에서도 안정적인 항행이 가능해졌습니다.
• 실용적 적용: 경량화된 모델로 실시간 추론이 가능하므로, 실제 산업 및 서비스 로봇 현장에 즉시 적용 가능한 솔루션을 제공합니다.

결론적으로, 이 연구는 단일 시점 RGB 카메라를 사용하는 경량 모바일 로봇이 전방향 깊이 정보를 가진 고성능 정책과 유사한 수준의 항행 능력과 시나리오 전이성을 달성할 수 있음을 증명했습니다.