1. 문제 정의 (Problem Definition)

기존의 장거리 자율 항해 시스템은 일반적으로 계층적 파이프라인 (Hierarchical Pipeline) 구조를 따릅니다.

• 전역 계획기 (Global Planner): 로봇의 현재 위치에서 목표 지점까지의 전체 경로를 생성하고 이를 웨이포인트 (waypoints) 로 분해합니다.
• 로컬 계획기 (Local Planner): 생성된 웨이포인트를 순차적으로 따라가며 짧은 범위의 운동을 수행합니다.

주요 한계점:

1. 전역 경로의 불확실성: 원격 감지 데이터의 부정확성으로 인해 생성된 전역 경로가 로컬 환경에서 실행 불가능할 수 있습니다.
2. 경로 의존성: 기존 로컬 계획기는 전역 경로를 맹목적으로 따르거나, 반대로 전역 맥락 (global context) 을 거의 받지 못해 비효율적인 탐색 (dead-end traversal 등) 을 하게 됩니다.
3. 강제적 경로 추종: 많은 강화 학습 (RL) 기반 접근법은 명시적인 경로 추종 보상을 사용하여 경로를 따르도록 강요하는데, 이는 경로가 비효율적이거나 위험할 때 로봇이 유연하게 대응하지 못하게 합니다.

이 논문은 전역 경로 정보를 '맥락적 안내 (contextual guidance)'로 활용하되, 경로가 부정확하거나 비효율적일 때는 이를 무시하고 목표 지향적으로 행동할 수 있는 로컬 계획기를 제안합니다.

2. 방법론 (Methodology)

A. 경로 표현 및 인코딩 (Path Representation and Encoding)

• 입력: 로봇은 깊이 카메라 (Depth Camera), 관성 측정 (Proprioception), 목표 위치, 그리고 **전체 참조 경로 (Reference Path)**를 입력받습니다.
• 경로 인코딩:
  • 참조 경로는 로봇의 기준 좌표계로 표현된 고정된 길이의 웨이포인트 시퀀스로 정의됩니다.
  • 각 웨이포인트는 방향 (정규화), 거리 (로그 스케일), 그리고 상수 항을 포함하는 4 차원 벡터로 변환됩니다.
  • 어텐션 메커니즘: 경로를 인코딩하기 위해 Self-Attention (경로 내 웨이포인트 간의 상호작용) 과 Cross-Attention (현재 항해 맥락에 가장 중요한 경로 세그먼트를 선택적으로 집중) 을 결합합니다. 학습 가능한 쿼리 (Learnable Query) 를 사용하여 로봇이 현재 상황에 가장 유익한 경로 부분 (예: 급격한 회전, 중요한 편차) 에 주의를 기울이도록 합니다.

B. 훈련 전략 (Training Strategy)

• 경로 생성: 최적 경로 (A*) 만이 아닌, 의도적으로 비최적 (Sub-optimal) 이거나 노이즈가 포함된 경로를 훈련 데이터로 사용합니다.
  • Greedy Best-First Search (GBFS) 와 편향된 휴리스틱을 사용하여 우회로를 포함한 다양한 경로를 생성합니다.
  • 웨이포인트에 무작위 노이즈를 추가하여 경로가 국소적으로 실행 불가능 (infeasible) 해지도록 합니다.
• 보상 함수 (Reward Design):
  • 목표 지향적 보상: 목표 도달, 운동의 부드러움, 안전성 (충돌 방지) 에만 기반합니다.
  • 명시적 경로 추종 보상 없음: 경로를 따르는 것에 대한 직접적인 보상은 주어지지 않습니다.
  • 단거리 보상 (Shortcut Reward): 참조 경로를 따르지 않고 더 빠르게 목표에 도달하거나 경로를 우회할 때 (단, 효율성이 입증될 때) 추가 보상을 부여하여, 로봇이 비효율적인 경로를 피하도록 장려합니다.

C. 아키텍처

• 기존 RL 항해 프레임워크 (깊이 이미지 인코더, 공간 강화 순환 단위 SRU 등) 에 경로 인코딩 모듈을 추가하여 확장했습니다.
• 경로 정보는 SRU 의 출력과 결합되어, 로봇이 장기적인 구조를 예측하고 (Anticipatory behavior) 상황에 따라 경로를 선택적으로 활용하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 경로 조건부 항해 아키텍처 (Path-conditioned Navigation Architecture): 전역 경로의 구조적 표현을 학습하고 이를 감각 관측치와 융합하는 새로운 정책 아키텍처를 제안했습니다.
2. 경로 조건부 훈련 전략 (Path-conditioned Training Strategy): 경로 안내가 노이즈가 있거나 비최적일 때도 효과적으로 작동하도록 하는 훈련 방식을 고안했습니다. 이는 로봇이 경로를 맹목적으로 따르지 않고 기회주의적 (Opportunistic) 으로 활용하도록 합니다.
3. 실제 환경 배포 (Real-world Deployment): 시뮬레이션뿐만 아니라 실제 4 발 보행 로봇 (Unitree B2W) 을 사용하여 장거리 항해 시나리오에서 성공적으로 검증했습니다.

4. 실험 결과 (Experimental Results)

• 성능 비교:
  • 고품질 경로 제공 시: 기존 베이스라인 (전통적 RL) 대비 **SPL (Success weighted by Path Length)**이 7.02% 향상되어 항해 효율성이 크게 개선되었습니다.
  • 열악한 경로 (노이즈/비최적) 제공 시: 베이스라인과 동등한 성능을 유지하며, 잘못된 경로 정보로 인해 성능이 저하되지 않았습니다.
• 아블레이션 연구 (Ablation Study):
  • 학습된 쿼리 (Learned Query): Cross-attention 에서 학습 가능한 쿼리를 사용하는 것이 가장 빠른 학습 속도와 높은 성능을 보였습니다.
  • 노이즈 훈련: 훈련 시 경로 노이즈를 포함하지 않으면, 평가 시 열악한 경로에 대해 취약해지는 것으로 확인되었습니다.
  • 단거리 보상: 비효율적인 경로를 우회하는 행동을 강화하는 것이 장기적인 항해 성능에 기여했습니다.
• 입력 결손 테스트 (Missing Inputs):
  • 경로 정보가 없을 때는 시각적 입력만으로 탐색하여 목표에 도달했습니다.
  • 시각적 입력 (깊이 카메라) 이 없을 때는 경로 정보를 기반으로 경로를 따라가는 행동을 보였습니다. 이는 모델이 입력 모달리티에 따라 유연하게 적응함을 의미합니다.
• 실제 환경 (Real-world): 대학 건물 내 장거리 항해 실험에서, 비효율적인 계단 경로를 피하고 더 안전한 경로를 선택하는 등 시뮬레이션에서 학습된 행동을 성공적으로 전이 (Sim-to-Real) 했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 강화 학습 기반 항해 시스템에서 전역 계획과 로컬 실행 간의 간극을 해결하는 중요한 진전을 이루었습니다.

• 유연성과 견고성: 로봇이 전역 계획자가 제공하는 경로가 완벽하지 않거나 환경이 예측 불가능할 때, 경로를 '절대적인 명령'이 아닌 '맥락적 힌트'로 간주하여 유연하게 대응할 수 있게 합니다.
• 효율성: 양질의 경로가 있을 때는 이를 적극 활용하여 탐색 비용을 줄이고, 경로가 나쁠 때는 목표 지향적인 탐색으로 전환하여 실패를 방지합니다.
• 응용 가능성: 고차원 계획 (High-level planning) 이 불완전할 수밖에 없는 실제 장거리 항해 시나리오 (예: 재난 지역, 미지의 환경) 에 매우 적합하며, 자율 로봇의 장기 임무 수행 능력을 크게 향상시킵니다.

결론적으로, 이 연구는 명시적인 경로 추종 제약을 제거하고, 강화 학습을 통해 경로 정보를 지능적으로 필터링하고 활용하는 방법을 제시함으로써, 보다 견고하고 효율적인 자율 항해 시스템의 새로운 패러다임을 제시합니다.