VLD: Visual Language Goal Distance for Reinforcement Learning Navigation
이 논문은 대규모 인터넷 비디오 데이터를 기반으로 한 자기지도 학습을 통해 시맨틱 목표 정보를 추출하고, 이를 시뮬레이션에서 학습된 강화학습 정책과 결합하여 시뮬레이션과 현실 간의 격차를 줄이면서 확장 가능한 로봇 내비게이션 프레임워크인 VLD(Visual Language Distance) 를 제안합니다.
미러링 학습 (Imitation Learning): 인간이 로봇에게 "이렇게 걸어봐"라고 시범을 보여주고 따라하게 하는 방식입니다.
문제: 인간이 직접 시범을 보여주는 건 매우 비싸고 귀찮습니다. 게다가 로봇이 시범을 본 '가상 세계 (시뮬레이션)'와 실제 '현실 세계'가 너무 달라서, 가상에서 잘하던 로봇이 현실에 가면 엉뚱한 행동을 하거나 길을 잃는 경우가 많았습니다. (이를 Sim-to-Real Gap이라고 합니다.)
강화 학습 (Reinforcement Learning): 로봇이 시행착오를 겪으며 스스로 배우는 방식입니다.
문제: 현실에서 로봇이 실수하며 배우는 건 위험하고 시간이 너무 오래 걸립니다. 그래서 대부분 가상 세계에서 훈련시키는데, 이때 로봇이 보는 '사진'이 너무 사실적이지 않으면 현실에 적용하기 어렵습니다.
💡 이 논문의 핵심 아이디어: "나침반"과 "운전사"를 분리하다!
이 연구는 로봇의 두 가지 능력을 완전히 분리해서 훈련시키는 획기적인 방법을 제안합니다.
1. 나침반 (VLD 모델): "목적지까지 얼마나 남았을까?"
역할: 로봇이 지금 보고 있는 풍경과 목적지 (사진이나 "식탁 위 빨간 컵" 같은 말) 를 비교해서, **"목적지까지 얼마나 더 가야 할까?"**를 숫자로 알려줍니다.
훈련 방법: 이 나침반은 인터넷에 떠도는 수천 시간 분량의 동영상을 보고 스스로 배웁니다. 인간이 "여기서 저기까지 5 걸음"이라고 라벨을 붙여주지 않아도, 동영상을 보면 자연스럽게 "이 장면은 저 장면보다 목적지에 더 가깝구나"라고 추론합니다.
특징: 사진뿐만 아니라 **말 (텍스트)**로도 목적지를 지정할 수 있습니다. "화장실로 가줘"라고 말해도 이해합니다.
2. 운전사 (RL 정책): "앞으로 나아가자!"
역할: 나침반이 알려주는 숫자 (거리) 를 보고, 실제로 바퀴를 굴리고 방향을 잡는 운전 기술을 배웁니다.
훈련 방법: 이 운전사는 가상 세계에서 훈련합니다. 하지만 중요한 건, 나침반이 완벽하지 않을 수 있다는 점을 미리 경험하게 한다는 것입니다. 훈련할 때 나침반의 숫자에 일부러 '노이즈 (오류)'를 섞어주어, 로봇이 "아, 나침반이 가끔은 헷갈릴 수도 있겠구나"라고 배우게 합니다.
🚀 왜 이 방식이 뛰어난가? (비유로 설명)
🧩 비유 1: "지도 앱"과 "운전면허"
기존 방식: 운전면허를 따기 위해 지도 앱 (VLD) 과 운전 기술 (RL) 을 동시에 배우려고 했다면, 지도 앱이 고장 나거나 운전 기술이 미숙할 때 전체가 망가졌습니다.
이 방식: 먼저 **지도 앱 (VLD)**을 인터넷의 수많은 길찾기 데이터를 통해 완벽하게 훈련시킵니다. 그 다음, **운전사 (RL)**는 이 지도 앱을 사용하면서 "지도가 가끔은 틀릴 수도 있으니, 흔들림을 견디며 운전하는 법"을 가상 세계에서 배웁니다.
결과: 현실에 로봇을 내보냈을 때, 지도 앱이 조금 엉뚱한 숫자를 말해도 운전사는 흔들리지 않고 목적지로 향합니다.
🌍 비유 2: "가상 세계"와 "현실 세계"의 다리
로봇이 가상 세계에서 훈련할 때는 완벽한 지도를 보지만, 현실에서는 지도가 흐릿할 수 있습니다.
이 연구는 의도적으로 가상 훈련 시에 지도를 흐리게 (노이즈 추가) 만들어줍니다. 그래서 로봇이 현실에 가도 "아, 내가 훈련할 때도 이런 흐릿한 지도를 봤잖아!"라고 생각하며 당황하지 않고 잘 적응합니다.
📊 실제 성과: 로봇이 길을 찾다!
연구팀은 이 방식을 실제 로봇 (TurtleBot) 에 적용해 보았습니다.
시뮬레이션 vs 현실: 가상 세계에서는 다른 최신 기술들과 비슷하게 잘했지만, 실제 현실 세계에서는 압도적인 성과를 냈습니다.
성공률: 기존 방식 (FGPrompt-EF) 은 현실에서 60% 만 성공했지만, 이 방식 (VLD) 은 **93.3%**의 성공률을 기록했습니다.
이유: 다른 방식들은 "사진 속의 목표물"을 직접 인식하려고 애쓰다 보니, 조명이나 각도가 조금만 달라져도 길을 잃었습니다. 하지만 이 방식은 "목적지까지의 거리"라는 추상적인 신호에만 집중하기 때문에, 환경이 변해도 흔들리지 않고 길을 찾았습니다.
🎯 결론: 로봇의 미래를 여는 열쇠
이 논문은 **"지각 (보는 것)"**과 **"제어 (움직이는 것)"**를 분리하여 각각의 장점을 극대화하는 방법을 제시합니다.
지각 (VLD): 인터넷의 거대한 데이터를 통해 "어디로 가야 하는지"에 대한 깊은 이해를 얻습니다.
제어 (RL): 가상 세계의 노이즈 훈련을 통해 "어떻게 움직여야 하는지"에 대한 튼튼한 기술을 익힙니다.
이처럼 대규모 데이터와 강화 학습을 결합한 새로운 접근법은 로봇이 복잡한 현실 세상에서도 스스로 길을 찾아다니는 진정한 자율성을 갖게 하는 중요한 한 걸음입니다.
한 줄 요약: "로봇에게 완벽한 지도를 주지 말고, '목적지까지 얼마나 남았는지'를 알려주는 나침반을 주고, 그 나침반이 흔들릴 때를 대비해 훈련시킨다면, 로봇은 현실에서도 길을 잘 찾을 수 있다!"
1. 문제 정의 (Problem)
로봇 내비게이션 분야에서 이미지 데이터를 기반으로 직접 항해 행동을 예측하는 엔드 - 투 - 엔드 (End-to-End) 정책 학습은 본질적으로 어렵습니다. 기존 접근법들은 다음과 같은 주요 한계점을 가지고 있습니다:
시뮬레이션 - 현실 간극 (Sim-to-Real Gap): 시뮬레이션에서 학습된 정책이 실제 환경으로 전이될 때 성능이 급격히 저하되는 문제.
데이터 부족 및 라벨링 비용: 전문가가 직접 행동 (액션) 을 라벨링한 대규모 데이터셋을 구축하는 것은 비용이 매우 많이 들고, 기존 데이터셋들은 주로 '앞으로 이동'하는 단순한 행동에 편향되어 있어 복잡한 내비게이션을 학습하기 어렵습니다.
강화학습 (RL) 의 비효율성: RL 은 실제 환경에서의 샘플 비효율성으로 인해 시뮬레이션에 의존해야 하지만, 현실적인 물리적 상호작용과 사진 수준의 이미지 생성은 여전히 연구 과제로 남아 있습니다.
2. 방법론 (Methodology)
저자들은 시각 - 언어 거리 (Vision-Language Distance, VLD) 학습을 제안하며, 지각 (Perception) 학습과 정책 (Policy) 학습을 분리 (Decoupling) 하는 새로운 프레임워크를 도입합니다.
A. 비전 - 언어 거리 (VLD) 예측기 학습 (지각 단계)
목표: 현재 에이전트의 관점 (Egocentric view) 과 목표 (이미지 또는 텍스트) 사이의 '시간적 거리 (Temporal Distance)'를 예측하는 모델을 학습합니다.
데이터: 인터넷 규모의 비디오 데이터 (실제 걷기 영상, embodied 데이터) 와 합성 데이터 (Habitat 시뮬레이터) 를 결합하여 3,000 시간 이상의 다양한 궤적을 학습에 사용합니다.
아키텍처:
인코더: 이미지에는 DINOv2, 텍스트에는 CLIP을 사용하여 고정된 (Frozen) 특징을 추출합니다.
디코더: Transformer 디코더를 사용하여 관측 쿼리 (Observation queries) 가 목표 메모리 (Goal memory) 에 주의를 기울이도록 설계합니다.
출력: 목표까지의 예상 시간적 거리 (t^) 와 예측 신뢰도 (c^) 를 출력합니다.
손실 함수: 정확한 거리 예측보다는 순서 일관성 (Ordinal Consistency) 을 중시합니다. 즉, 목표에 가까워질수록 거리가 감소하는지 여부를 학습합니다. 이를 위해 Inlier-Outlier Gaussian Mixture NLL 손실 함수를 사용하여 불확실한 경우 (예: 시각적 중첩이 없는 경우) 의 예측을 신뢰도 낮게 처리하도록 합니다.
B. 강화학습 정책 학습 (제어 단계)
학습 환경: 시뮬레이션 (Gibson) 에서 학습합니다.
입력: 정책은 원시 이미지 대신 VLD 가 예측한 거리 신호와 이를 모방한 노이즈가 주입된 신호를 입력받습니다.
노이즈 주입 (Noise Injection): VLD 예측기의 불확실성을 시뮬레이션 학습 단계에서 미리 경험하게 하기 위해, 기하학적 중첩 (Geometric Overlap) 특징을 기반으로 학습된 MLP 를 통해 거리 신호에 구조화된 노이즈를 추가합니다. 이는 실제 배포 시 발생할 수 있는 예측 오류 패턴을 모방합니다.
배포: 실제 환경 (또는 다른 시뮬레이션) 에서는 시뮬레이터의 지상 진실 (Ground Truth) 거리를 VLD 모델의 예측값으로 교체하여 사용합니다.
3. 주요 기여 (Key Contributions)
확장 가능한 VLD 프레임워크: 인터넷 규모의 데이터에서 시각 및 언어 목표를 모두 처리할 수 있는 거리 예측기를 학습하여, 기존 ViNT, VIP 등의 시간적 거리 함수보다 우수한 성능을 달성했습니다.
새로운 평가 지표 (Ordinal Consistency): 단순한 정책 성공률뿐만 아니라, 거리 예측기 자체의 유효성을 평가하기 위해 Kendall's τ 를 기반으로 한 순서 일관성 (Ordinal Consistency) 을 도입했습니다. 이는 예측된 거리가 목표에 가까워질수록 감소하는지 여부를 검증하는 원칙적인 방법입니다.
분리된 설계 (Decoupled Design): 시뮬레이션 내 RL 정책 학습과 인터넷 규모의 지각 학습을 분리하여, 강력한 시뮬레이션 - 현실 전이 (Sim-to-Real) 능력을 가지면서도 대규모 데이터의 이점을 활용하는 확장 가능한 내비게이션 아키텍처를 제시했습니다.
4. 실험 결과 (Results)
A. 거리 예측 성능 (Ordinal Consistency)
Habitat 및 실제 세계 데이터셋: VLD 는 ViNT-Tuned, VIP-Nav 등 기존 최첨단 모델들을 압도적으로 능가했습니다. 특히, VLD 는 시각적 중첩이 거의 없는 긴 시간적 구간 (Long-horizon, No-overlap) 에서도 목표와의 거리를 올바르게 순위화하는 능력을 보여주었습니다.
멀티모달 성능: 이미지 목표뿐만 아니라 텍스트 목표 (예: "침대 위의 식물") 도 처리할 수 있으며, 이미지와 텍스트를 결합했을 때 이미지 전용 모델과 유사한 성능을 유지했습니다.
B. 내비게이션 성능 (Sim-to-Real Transfer)
시뮬레이션 (Gibson): VLD 기반 정책은 지상 진실 거리를 사용하는 최상위 정책 (Privileged Policy) 대비 성공률 (SR) 에서 약 17% 만 감소하는 우수한 성능을 보였습니다.
실제 로봇 (TurtleBot4-Light):
성공률: VLD 기반 정책은 93.3% 의 성공률을 기록한 반면, 기존 이미지 기반 내비게이션 모델 (FGPrompt-EF) 은 60.0% 에 그쳤습니다.
원인: VLD 정책은 원시 이미지 대신 추상화된 거리 신호에 의존하기 때문에, 시뮬레이션과 실제 환경 간의 시각적 도메인 격차 (Visual Domain Shift) 에 덜 민감하여 더 강력한 전이 능력을 보였습니다.
행동: 에이전트는 목표가 보이지 않을 때도 방향을 탐색하며 (360 도 스캔), 목표의 시각적 단서가 포착되면 신뢰도가 급격히 상승하고 거리가 감소하는 VLD 신호에 반응하여 목표 지점으로 이동했습니다.
5. 의의 및 결론 (Significance)
이 논문은 대규모 지각 모델과 임베디드 행동 제어 사이의 간극을 해소하는 중요한 단계를 제시합니다.
확장성: 행동 라벨 없이도 인터넷 규모의 비디오 데이터로부터 지각 능력을 학습할 수 있어 데이터 수집 비용을 획기적으로 줄였습니다.
강건성: 지각 (어디로 가야 하는지) 과 제어 (어떻게 움직일지) 를 분리함으로써, 복잡한 시각적 도메인 격차에 영향을 받지 않는 강력한 내비게이션 정책을 구축할 수 있음을 증명했습니다.
실용성: 텍스트와 이미지를 모두 목표로 사용할 수 있는 멀티모달 기능을 통해 실제 로봇 적용 시 유연성을 높였으며, 실제 로봇 환경에서의 높은 성공률은 이 접근법의 실용적 가치를 입증했습니다.
요약하자면, VLD는 "어디로 가야 하는지"에 대한 의미론적 이해를 대규모 데이터로 학습하고, "어떻게 움직일지"에 대한 제어는 시뮬레이션에서 학습된 강건한 RL 정책으로 담당하게 함으로써, 신뢰할 수 있고 확장 가능한 자율 내비게이션의 새로운 패러다임을 제시합니다.