💻 computer science

Joint On-and-Off Policy Learning for Vision-and-Language Navigation

이 논문은 시각-언어 내비게이션 벤치마크에서 최첨단 성능을 달ことを 위해 오프-폴리시 모방 학습과 온-폴리시 탐색을 3단계 훈련 파이프라인을 통해 시너지 효과를 내도록 통합한 새로운 프레임워크인 JOP-VLN을 소개한다.

원저자: Qingrong He, Lin Zhao, Kevin Zheng, Liang Lin

게시일 2026-07-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qingrong He, Lin Zhao, Kevin Zheng, Liang Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 당신의 개인 투어 가이드가 되도록 가르치고 있다고 상상해 보세요. 당신은 "주방으로 걸어가서, 파란 화병에서 왼쪽으로 꺾은 다음, 냉장고 앞에 멈춰 서"와 같은 음성 명령을 내리고, 로봇이 벽에 부딪히거나 길을 잃지 않고 실제로 그 동작을 수행하기를 원합니다. 이것이 바로 **시각-언어 내비게이션(Vision-and-Language Navigation, VLN)**의 세계입니다. 이는 '체화된 에이전트'(몸체와 눈을 가진 로봇)가 카메라를 통해 복잡한 현실 세계를 이해하고, 인간의 말을 이해하여 움직여야 하는 로봇 공학의 한 분야입니다.

여기에는 큰 난관이 있습니다. 로봇은 자신의 실수로부터 배우는 데 매우 서툽니다. 만약 당신이 로봇에게 걷는 법에 대한 완벽한 영상들을 보여주며 가르친다면, 로봇은 그 영상들을 그대로 모방하는 법을 배울 것입니다. 하지만 막상 새로운 방에 들어서거나 의자가 다른 위치에 있는 것을 보게 되면, 로로봇은 무언가 잘못되었을 때 어떻게 회복해야 하는지를 배우지 못했기 때문에 당황하게 됩니다. 이는 마치 연습 문제의 정답을 암기했지만, 선생님이 숫자를 바꾸자 얼어붙어 버리는 학생과 같습니다. 이를 해결하기 위해 과학자들은 보통 두 가지 다른 방법을 시도합니다. 즉, 로봇에게 완벽한 경로의 예시를 더 많이 보여주거나(모방 학습, Imitation Learning), 로봇이 스스로 돌아다니게 하면서 목표에 가까워질 때마다 "간식"(보상)을 주는 방식(강화 학습, Reinforcement Learning)입니다. 오랫동안 이 두 방법은 서로 대화조차 나누지 않는 별개의 학교처럼 분리되어 있었습니다.

여기에, 이 두 학교를 위한 합동 파티를 열기로 결정한 새로운 프레임워크인 JOP-VLN이 등장했습니다. 연구진은 전문가를 따라 하는 안전함과 스스로 탐험하는 용기를 결합하여, 로봇을 세 단계로 가르치는 시스템을 구축했습니다. 이것은 마치 로봇이 먼저 마스터 코치로부터 기초를 배우고, 그다음에는 넘어졌을 때 잡아주는 안전망이 있는 "보조 바퀴" 버전의 세상에서 연습하며, 마지막으로 야생으로 나가 탐험하되 특별한 규칙을 따르는 훈련 캠프와 같습니다. 즉, 자신이 혼란스러웠던 순간이나 실수를 저질렀던 순간에만 집중하여 더 똑똑해지는 방식입니다.

이 논문은 로봇이 새로운 상황을 맞닥뜨렸을 때 갇혀버리는 문제를 해결하기 위해 이 3단계 파이프라인을 소개합니다. 첫 번째 단계에서 로봇은 알파벳을 배우고 문장을 쓰는 법을 배우는 학생처럼, 기본적인 내비게이션 기술과 자신이 보는 것을 요약하는 법을 배웁니다. 두 번째 단계에서 로봇은 내비게이션을 시도하며, 경로에서 벗어나기 시작할 때마다 "신의 모드(god-mode)" 안전 시스템(오라클)이 개입하여 경로를 바로잡아 줍니다. 로봇은 이렇게 교정된 경로로부터 학습하며, 효과적으로 실수로부터 회복하는 법을 연습합니다. 이것이 로봇 자신의 시도와 안전망의 교정이 혼합된 데이터로부터 학습하는 "오프 폴리시(off-policy)" 부분입니다.

마법은 세 번째 단계에서 일어납니다. 연구진은 로봇을 무작위로 탐색하게 내버려 두면, 로봇이 제자리에서 뱅뱅 돌거나 나쁜 습관에 너무 확신을 가질 수 있다는 점을 깨달았습니다. 그래서 그들은 영리한 필터를 추가했습니다. 로봇이 정말로 불확실하거나 "엔트로피가 높은(high-entropy)" 상황(쉽게 말해 무작정 추측하고 있는 상태)에서만 학습하도록 제한한 것입니다. 이는 로봇이 이미 알고 있는 쉬운 작업에 시간을 낭비하는 것을 방지하고, 어려운 과제에 집중하도록 강제합니다. 또한, 연구진은 로봇이 이전에 실패했던 특정 경로를 가장 많이 연습하도록 데이터를 분류하여, 스스로의 실수를 바로잡는 법을 확실히 배우게 했습니다.

결과는 인상적입니다. J-OP-VLN은 표준 내비게이션 벤치마크 테스트에서 R2R 데이터셋에서 69.9%, RxR 데이터셋에서 **68.0%**의 성공률을 달관했습니다. 이 수치들은 이전의 단일 학습 방식들을 능가하는 새로운 최첨단(state-of-the-art) 성능을 의미합니다. 연구진은 또한 네 발 달린 로봇 개를 사용하여 실내 사무실과 실외 정원이라는 실제 환경에서도 테스트를 진행했습니다. 조명과 질감이 복잡한 실제 환경에서도 로봇은 복잡한 지시를 수행할 수 있었으며, 이는 이 "결합된" 학습 방식이 이전보다 더 나은 일반화 능력을 갖추고 있음을 증명했습니다. 이 논문은 전문가의 지도와 스마트한 오류 중심 탐색을 신중하게 혼합함으로써, 단순히 규칙을 잘 따르는 것을 넘어 실제 세계의 예상치 못한 변화에도 회복 탄력성을 갖춘 로봇을 만들 수 있다고 제안합니다.

기술 요약: JOP-VLN

문제 정의

시각-언어 탐색(Vision-and-Language Navigation, VLN)은 체화된 에이전트(embodied agents)가 자연어 지시에 따라 물리적 환경을 탐색하도록 요구합니다. 최근 시각-언어 모델(VLM)의 발전은 탐색 의사결정 능력을 향상시켰으나, 기존 방식들은 다음과 같은 두 가지 지배적인 학습 패러다임을 통합하는 데 있어 상당한 격차를 보입니다:

모방 학습(Imitation Learning, IL): 주로 전문가의 시연(expert demonstrations)을 통해 학습되며, 오류 복구 능력을 높이기 위해 데이터 집계(Dataset Aggregation, DAgger) 알고리즘으로 증강되기도 합니다. 그러나 이러한 방법은 전문가 데이터에 크게 의존하므로, 공변량 변화(covariate shift)로 인해 보지 못한 환경에 대한 일반화 능력이 제한됩니다.
강화 학습(Reinforcement Learning, RL): 추론 및 탐색 능력을 강화하기 위해 검증 가능한 보상(예: Group Relative Policy Optimization 또는 GRPO 사용)에 의해 구동됩니다. 효과적이긴 하지만, 표준 온-폴리시(on-policy) RL은 추론 시 인-디스트리뷰션(in-distribution) 데이터에만 의존할 경우 공변량 변화 문제를 충분히 해결하지 못하는 경우가 많습니다.

본 연구가 다루는 핵심 문제는 오프-폴리시(off-policy) IL의 오류 복구 능력과 온-폴리시(on-policy) RL의 탐색 강점을 시너지 있게 결합하는 통합 프레임워크의 부재입니다.

방법론: JOP-VLN

본 논문은 세 단계의 점진적 학습 파이프라인을 통해 오프-폴리시 모방과 온-폴리시 강화를 공동으로 학습하는 새로운 프레임워크인 JOP-VLN을 제안합니다.

모델 아키텍처

시스템은 Qwen3-VL 대규모 시각-언어 모델을 기반으로 구축되었습니다. 이 모델은 다음과 같은 정보를 처리하는 멀티턴 대화 패러다임을 채택합니다:

언어 지시문 ( $I$ ).
장기 기억(Long-term memory): 먼 과거의 히스토리에서 균일하게 샘플링된 프레임들.
단기 기억(Short-term memory): 관측값과 행동이 교차되어 나타나는 가장 최근의 시퀀스.
모델은 효율적인 KV 캐시 재사용과 선형에 가까운 추론을 가능하게 하기 위해 "액션 청크(action chunks)"(최대 4개의 이산적 행동 시퀀스: 전진, 좌회전, 우회전, 정지)를 예측합니다.

3단계 학습 파이프라인

1단계: 멀티태스크 학습 (Multi-task Training)
모델은 기초적인 기술을 습득하기 위해 두 가지 태스크를 공동 학습합니다:

행동 예측(Action Prediction): 멀티턴 대화 패러다임 내에서 액션 청크를 예측합니다.
궤적 요약(Trajectory Summarization): 내비게이션 비디오에서 샘플링된 프레임들을 조건으로 텍스트 지시문을 합성합니다. 이는 모델의 시각적 이해도와 언어 간의 정렬(alignment)을 향상시킵니다.

2단계: DAgger 궤적을 이용한 모방 학습 (Imitation Learning with DAgger Trajectories)
오류 복구 능력을 개선하기 위해 DAgger 알고리즘이 사용됩니다. 학습된 정책(policy)을 우선시하되, 에이전트가 정답(ground truth)으로부터 일정 임계값을 초과하여 벗어날 경우 "오라클(oracle)"이 개입하는 휴리스틱 전략이 사용됩니다.

정교화(Refinement): 표준 DAg고와 달리, 저자들은 초기 롤아웃(rollout) 중에 모델이 생성한 오류가 있는 행동을 필터링하기 위해, 방문한 모든 상태를 다시 재생(replay)하여 그에 대응하는 오라클 액션 청크를 얻습니다. 이러한 교정된 궤적들이 모방 학습을 통해 모델을 미세 조정하는 데 사용됩니다.

3단계: 공동 온-및-오프 폴리시 학습 (Joint On-and-Off Policy Learning)
이 단계에서는 CHORD 프레임워크를 통합하여, DAgger로 수집된 궤적에 대해 온-폴리시 RL과 오프-폴리시 IL을 공동으로 최적화합니다. VLN에 이 프레임워크를 적응시키기 위해 두 가지 핵심 기술이 도입되었습니다:

고엔트로피 궤적 샘플링 (High-Entropy Trajectory Sampling, RL용):
- DAgger 수집 과정에서 모델이 예측한 토큰의 엔트로피를 기록합니다.
- GRPO 학습: 엔트로피가 가장 높은 상위 20%의 샘플만을 GRPO(Group Relative Policy Optimization)에 사용합니다.
- 근거: 고엔트로피 토큰은 불확실하거나 탐색적인 상태를 나타냅니다. 이러한 샘-플에 대해 학습함으로써 저엔트로피(과잉 확신) 샘플로 인해 발생하는 "제로 그래디언트(zero-gradient)" 상태에 빠지는 것을 방지하고, RL 효율성을 높입니다.
- 보상 함수: GRPO 목적 함수는 네 가지 보상을 활용합니다: 포맷(행동 구조 준수), 일치(Exact Match, 오라클 행동과 일치 여부), 포즈(Position, 포즈 변화의 코사인 유사도), 거리(Distance, 변위의 유클리드 거리).
오류 수정 우선순위 궤적 정렬 (Error-Correction-Prioritized Trajectory Sorting, IL용):
- 궤적들은 오라클에 의해 교정된 액션 토큰의 비율(즉, 모델이 실수한 부분)에 의해 정의되는 "학습 가치(learning value)"를 기준으로 정렬됩니다.
- 전략: 모델은 학습 가치가 높은 순서대로 이 궤적들에 대해 모방 학습을 수행합니다. 이는 모델이 특정 실패 지점을 빈번하게 재방문하고 학습하도록 보장하여, IL에서 RL로의 매끄러운 전환을 용이하게 합니다.
- 손실 함수: $L_{CHORD} = (1-\mu)L_{GRPO} + \mu L_{IL}$ 형태의 결합 손실 함수가 사용되며, 여기서 $\mu$ 는 코사인 디케이(cosine decay) 스케줄을 따릅(0.5에서 시작하여 0.05로 감소). 이는 균형 잡힌 학습에서 온-폴리시 탐색으로 강조점을 이동시키는 역할을 합니다.

주요 기여

JOP-VLN 프레임워크: 오프-폴리시 모방 학습과 온-폴리시 탐색을 3단계 파이프라인을 통해 시너지 있게 결합하는 새로운 VLN 모델을 제안했습니다.
VLN 특화 CHORD 적응:
- 고엔트로피 샘플링: GRPO를 위해 고엔트로피 궤적을 유지하는 전략으로, 모델의 과잉 확신을 방지하고 RL 학습 효율을 개선합니다.
- 오류 수정 우선순위 지정: 모델이 이전에 실수했던 샘플을 우선시하는 궤적 정렬 전략으로, 오류 복구 능력을 강화합니다.
포괄적 평가: 시뮬레이션 및 실제 환경 모두에서 광범에한 실험을 통해 최첨단(state-of-the-art) 성능을 입증했습니다.

실험 결과

시뮬레이션 벤치마크 (VLN-CE)

Habitat 시뮬레이터를 사용하여 R2R 및 RxR 데이터셋(Val-Unseen 분할)에서 평가되었습니다.

R2R: JOP-VLN은 **69.9%의 성공률(SR)**을 달성하여 새로운 SOTA를 기록했습니다. 이는 이전 최고 방법인 CorrectNav보다 SR에서 4.8%, OS(Oracle Success)에서 8.9%, SPL(Success Weighted by Path Length)에서 2.6% 더 높은 성능을 보였습니다. 특히, 단일 뷰 RGB 입력만을 사용하는 방식보다 파노라마 뷰를 사용하는 방식들을 능가했습니다.
RxR: 68.0% SR 및 59.3% SPL을 달성하여 강력한 장기(long-horizon) 의사결정 능력을 보여주었습니다.

실제 환경 배포

설정: 원격 워크스테이션에서 작동하는 Intel RealSense 카메라를 장착한 Unitree Go2 사족보행 로봇을 대상으로 테스트되었습니다.
적응: 심투리얼(sim-to-real) 도메인 격차를 줄이기 위해 퓨샷 적응 전략(환경당 10-shot 미세 조정)이 사용되었습니다.
성능: 시스템은 액션 청크당 평균 0.3초의 추론 시간을 달행했습니다. 정성적 결과는 다양한 실내외 환경에서 일관된 지시 이행 능력을 보여주었습니다. 실패 사례는 주로 긴 지시문 내의 모호한 참조 대상(예: 유사한 랜드마크가 여러 개 있는 경우)에 기인했습니다.

절제 연구 (Ablation Studies)

궤적 요약: 시각적 이해와 내비게이션 성능을 향상시켰습니다.
DAgger 미세 조정: SR을 약 50%에서 64%로 크게 높여, 오류 복구를 위한 오프-폴리시 데이터의 중요성을 입증했습니다.
결합 학습 (CHORD-ec): 고엔트로피 샘플링과 오류 수정 우선순위 지정의 결합이 가장 좋은 결과를 냈으며, 이는 순수 IL, 순수 RL, 그리고 이러한 특정 VLN 적응이 없는 표준 CHORD 베이스라인보다 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 J-OP-VLN이 온-폴리시 RL 탐색과 오프-폴리시 IL 감독을 구조적으로 융합함으로써 중요한 진전을 이루었다고 주장합니다. 이를 통해 에이전트는 전문가의 시연과 환경 탐색 신호로부터 동시에 학습할 수 있습니다. 제안된 기술들은 특히 공변량 변화와 전문가 데이터에 대한 과적합 문제를 해결합니다. 저자들은 본 방법론이 R2R Val-Unseen 분할에서 새로운 SOTA를 달성했으며, 실제 시나리오에서도 견고한 적응력을 보여줌으로써 체화된 내비게이션을 위한 공동 온-및-오프 폴리시 학습 패러다임의 효용성을 입증했다고 단언합니다.