🤖 AI

CLOSER-VLN: Closed-Loop Self-Verified Retrieval-Augmented Reasoning for Aerial Vision-Language Navigation

본 논문은 궤적 이탈을 방지하고 미학습 환경에서의 성능을 향상시키기 위해 추론, 자기 검증, 그리고 검색 증강 교정의 폐쇄 루프 과정을 채택한 항공 시각-언어 내비게이션을 위한 훈련 정책 불필요 프레임워크인 CLOSER-VLN을 제안한다.

원저자: Shaoxuan Li, Xiangyu Dong, Xiaoguang Ma, Junfeng Chen, Haoran Zhao, Yaoming Zhou

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shaoxuan Li, Xiangyu Dong, Xiaoguang Ma, Junfeng Chen, Haoran Zhao, Yaoming Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 낯선 도시에서 특정 건물을 찾기 위해 드론에게 일련의 방향 지시를 내린다고 상상해 보세요. 당신은 이렇게 말합니다. "메인 스트리트와 5번가 교차로 근처에 있는 흰색 건물로 날아가 줘."

현재 대부분의 드론 내비게이션 시스템은 드론이 자신감 넘치지만 무모한 운전자처럼 행동하게 만듭니다. 드론은 당신의 지시를 듣고, 지도를 한 번 쓱 훑어본 뒤, 갈 길을 짐작하고는 즉시 가속 페달을 밟습니다. 만약 짐작이 틀렸다면, 드론은 계속 잘못된 방향으로 나아가 결국 목적지에서 멀어지거나, 길을 잃거나, 추락하거나, 포기하게 됩니다. 드론은 "잠깐, 내가 지금 제대로 가고 있는 게 맞나?"라고 스스로에게 묻지 않습니다.

이 논문은 CLOSER-VLN이라는 새로운 시스템을 소개합니다. 이 시스템은 마치 매우 엄격하고 안전을 중시하는 부조종사가 탑승한 드론과 같습니다. 단순히 운전만 하는 것이 아니라, 이 드론은 매 동작을 수행하기 전에 "생각하고 재검토하는" 루프를 따릅니다.

작동 방식은 다음과 같이 간단한 단계로 나뉩니다:

1. "생각" 단계 (추론기 - The Reasoner)

먼저, 드론의 두뇌(계층적 추론기)가 지시 사항과 지도를 살펴봅니다. 그리고 추측을 합니다: "내 생각에 북서쪽으로 날아가야 할 것 같아."

2. "확인" 단계 (검증기 - The Verifier)

드론이 실제로 움직이기 전, 두 번째 두뇌(다차원 행동 검증기)가 개입합니다. 이 단계는 "안전 검사관" 역할을 합니다. 검사관은 세 가지 까다로운 질문을 던집니다:

지시 사항과 일치하는가? (지시는 "동쪽"이라고 했는데, 당신이 "북서쪽"이라고 하지는 않았는가?)
시각적으로 타당한가? (그 경로를 가로막는 벽이나 강이 있는가?)
좋은 경로인가? (이 경로가 우리를 제자리에서 뱅뱅 돌게 하거나 지도 밖으로 나가게 하지는 않는가?)

3. "패닉 버튼" (검색기 - The Retriever)

만약 안전 검사관이 **"안 돼, 그건 나쁜 생각이야!"**라고 말한다면 (복잡한 도시에서는 이런 일이 자주 발생합니다), 드론은 단순히 다시 짐작하며 눈을 감고 나아가지 않습니다. 대신 "패닉 버튼"을 누릅니다.

이 버튼은 **검색기(Retriever)**를 작동시킵니다. 드론이 과거의 성공적인 비행 기록이 담긴 거대한 도서관을 가지고 있다고 상상해 보세요. 드론은 이 도서관을 빠르게 검색하여 현재의 문제와 똑같이 생긴 이야기를 찾아냅니다.

예시: "아, 교차로를 찾는 중에 막혔구나? 그럼 우리가 이와 유사한 교차로를 성공적으로 찾았던 과거의 비행 기록을 찾아보자."

드론은 이 "성공 사례"를 읽고, 그로부터 배우며, 그 새로운 지식을 바탕으로 다시 "생각" 단계로 돌아가 새로운 추측을 시도합니다.

4. 루프 (The Loop)

드론은 이 순환 과정을 반복합니다: 추측 → 확인 → (틀렸을 경우) 해결책 검색 → 다시 추측.
안전 검사관이 "네, 이 이동은 안전합니다"라고 승인하거나, 혹은 (무한 루프에 빠지는 것을 방지하기 위해) 세 번의 시도를 마칠 때까지 이 과정을 반복합니다. 그 후에야 비로소 드론을 실제로 움직입니다.

이것이 왜 중요한가요?

논문은 이 시스템을 CityNav라는 실제 도시 내비게이션 챌린지에 테스트했습니다.

기존 방식 (Open-Loop): 드론이 초기에 실수를 하면, 자신의 작업을 점검하지 않기 때문에 그 작은 실수가 거대한 재앙으로 이어집니다. 결국 목적지에서 아주 멀리 떨어진 곳에 도달하게 됩니다.
새로운 방식 (CLOSER-VLN): 드론은 움직이기 전에 자신의 작업을 점검하기 때문에, 스스로의 실수를 잡아낼 수 있습니다. 만약 막다른 길로 들어가려 한다면, 시스템이 이를 멈추고, 기억 속에서 더 나은 사례를 찾아내어 경로를 수정합니다.

결과:
새로운 시스템은 목표물을 찾는 데 훨씬 뛰어난 성능을 보였습니다. 어려운 미지의 도시에서도 목표 지점에 약 **32%**의 확률로 성공적으로 도달했는데, 이는 기존의 가장 우수한 방법들이 보여준 약 **26%**와 비교되는 수치입니다. 또한, 더 효율적으로 비행하여 더 짧은 경로로 목적지에 도착했습니다.

한계점 (Limitations)

논문은 이 시스템이 완벽하지는 않다고 인정합니다. 때때로 "안전 검사관"이 까다로운 지도(예: 기괴한 모양의 건물들)에 속아 잘못된 이동을 승인하기도 합니다. 그런 일이 발생하면 드론은 여전히 길을 잃게 됩니다. 하지만 저자들은 검사관을 더욱 정교하게 훈련시킨다면 시스템이 훨씬 더 신뢰할 수 있게 될 것이라고 믿고 있습니다.

요약하자면: CLOSER-VLN은 드론을 "일단 쏘고 질문은 나중에 하는" 조종사에서, "자신의 작업을 확인한 뒤 움직이는" 조종사로 변화시키며, 과거의 성공 사례 라이브러리를 사용하여 발생하기 전에 스스로의 실수를 바로잡습니다.

기술 요약: CLOSER-VLN

문제 정의

시각-언어 내비게이션(Vision-Language Navigation, VLN)은 거대 언어 모델(LLM) 및 멀티모달 거대 언어 모델(MLLM)의 통합을 통해 비약적으로 발전하였으며, 이를 통해 에이전트가 특정 작업에 대한 별도의 훈련 없이도 미지의 환경에서 자연어 지시를 따를 수 있게 되었습니다. 그러나 기존의 제로샷(zero-shot) VLN 방식은 주로 개방 루프 결정-실행(open-loop decision-execution) 접근 방식에 의존합니다. 이 패러다임에서 에이전트는 지시 사항과 관측치를 바탕으로 후보 행동을 생성하고 이를 즉시 실행하며, 실행 전의 명시적인 검증 과정이 결여되어 있습니다.

이러한 개방 루프 전략은 항공 VLN(예: 도시 환경에서의 UAV 내비게이션)에서 특히 취약합니다. 지상 기반 시나리오와 달리, 항공 내비게이션은 더 긴 비행 거리, 더 넓은 운용 범위, 그리고 더 엄격한 신뢰성 요구 사항을 수반합니다. 중간 단계 행동에서의 작은 오류는 빠르게 누적되어 궤적의 상당한 이탈과 최종적인 목표물 상실로 이어질 수 있습니다. 또한, 검색 증강 생성(RAG)이 지식 보충을 위해 체화된 에이전트(embodied agents)에 적용되어 왔으나, 기존 방식은 일반적으로 추론 전이나 도중에 일반적인 문맥 강화제로써 검색을 사용합니다. 이들은 언제 행동이 신뢰할 수 없는지 또는 어떻게 수정해야 하는지를 결정하기 위해 검색을 행동 검증과 결합하는 방식은 거의 사용하지 않습니다. 결과적으로, 현재의 방법들은 행동이 에이전트의 상태에 영향을 미치기 전에 오류를 감지하고 교정하는 메커니즘이 부족합니다.

방법론: CLOSER 및 CLOSER-VLN

이러한 한계를 해결하기 위해, 저자들은 내비게이션을 제한된 반복 폐쇄 루프 프로세스로 변환하는 훈련 정책 불필요(training-policy-free) 방식인 **폐쇄 루프 자기 검증 검색 증강 추론(Closed-loop Self-verified Retrieval-augmented Reasoning, CLOSER)**을 제안합니다. 이를 바탕으로, 이들은 항공 VLN 작업에 특화된 프레임워크인 CLOSER-VLN을 구현하였습니다.

핵심 워크플로우

첫 번째 예측된 행동을 바로 실행하는 대신, CLOSER-VLN은 각 환경 단계 이전에 행동 추론 $\rightarrow$ 신뢰성 검증 $\rightarrow$ 타겟팅된 검색 $\rightarrow$ 행동 교정의 시퀀스를 수행합니다. 이 루프는 행동이 수락되거나 최대 반복 횟수( $K_{max}$ )에 도달할 때까지 지속됩니다.

프레임워크는 세 가지 전문화된 구성 요소로 이루어져 있습니다:

계층적 추론기 (Hierarchical Reasoner):
- 행동 생성 모듈 역할을 합니다.
- 단계별 하위 지시문, 환경 설명, 시각적 입력(내비게이션/탐색을 위한 스키매틱 인지 지도; 위치 파악을 위한 원시 관측치) 및 검색된 지식을 입력으로 받습니다.
- 후보 행동과 그 근거(rationale)를 생성합니다.
- 내비게이션(목표 영역 접근), 탐색(목표 노드 식별), 위치 파악(세밀한 좌표 예측)의 세 가지 작업 단계에 걸쳐 작동합니다.
다차원 행동 검증기 (Multidimensional Action Verifier):
- 행동 신뢰성을 평가하는 폐쇄 루프 게이트키퍼 역할을 합니다.
- 내비게이션 및 탐색의 경우: 미세 조정된 Qwen3-VL-8B 모델을 사용하여 세 가지 차원을 평가합니다:
  - 지시 일관성(Instruction Consistency): 행동이 언어적 명령과 일치하는가?
  - 시각적 일관성(Visual Consistency): 행동이 의미론적 인지 지도에 근거하고 있는가?
  - 경로 타당성(Path Feasibility): 행동이 역주행하거나 경계 밖으로 벗어나지 않는가?
- 위치 파악의 경우: 예측된 목표 좌표가 현재 위치에서 유효한 거리 임계값( $\tau_{dist} = 50m$ ) 내에 있는지 확인하기 위해 휴리스틱 기하학적 체크를 수행합니다.
- 훈련 전략: 검증기는 SFT(Supervised Fine-Tuning)를 통해 기본 논리를 학습한 후, 비대칭 보상 함수을 가진 **GRPO(Group Relative Policy Optimization)**를 사용하는 2단계 과정을 통해 훈련됩니다. 이 보상 구조는 잘못된 행동을 수락하는 것(False Positives)에 대해 엄격하게 페널티를 부여하여, 신뢰할 수 없는 결정에 대해 보수적인 거부를 보장하도록 설계되었습니다.
검증 트리거형 멀티모달 검색기 (Verification-Triggered Multimodal Retriever):
- 전통적인 RAG와 달리, 검색은 무조건적으로 수행되지 않습니다. 검색은 검증기가 후보 행동을 거부했을 때만 트리거됩니다.
- 거부 시, 시스템은 오류(예: 특정 실패 차원)를 분석하여 타겟 쿼리를 생성합니다.
- 시스템은 CityNav 훈련 세트의 성공적인 결정 파편들로 구축된 단계별 정렬 외부 지식 베이스로부터 관련 예시(exemplars)를 검색합니다.
- 검색된 예시는 오류 분석과 함께 다음 반복 단계에서 추론기를 정교화하기 위해 피드백됩니다.

제한된 추론 (Bounded Inference)

무한 루프를 방로하기 위해, 시스템은 최대 반복 횟수( $K_{max} = 3$ )를 설정합니다. 만약 이 제한 내에 행동이 수락되지 않으면, 마지막 반복의 최종 후보가 폴백(fallback)으로서 실행됩니다.

주요 기여

CLOSER 프레임워크: 실행 전 신뢰성 검증을 도입하고 검증 실패 시에만 타겟팅된 검색을 트리거함으로써, 개방 루프 시스템의 오류 탐지 어려움을 해결하는 VLN용 폐쇄 루프 결정 교정 방법을 제안합니다.
CLOSER-VLN 구현: CLOSER 방식을 항공 VLN에 적응시켜, 미지의 도시 환경에서 신뢰성을 높이기 위한 제한된 폐쇄 루프 프로세스를 도입했습니다.
전문화된 구성 요소: 다차원 행동 검증기(높은 거부 정밀도를 위해 GRPO로 훈련됨)와 검증 트리거형 멀티모달 검색기를 설계했습니다. 이 구성 요소들은 협력하여 신뢰할 수 없는 행동을 식별하고 단계별 외부 예시를 사용하여 교정을 수행합니다.
실증적 검증: CityNav 벤치마크(Test Unseen, Validation Unseen, Validation Seen 분할)에서 성능 향상을 입증하여, 개방 루프 베이스라인 대비 폐쇄 루프 추론의 효과를 검증했습니다.

실험 결과

실험은 CityNav 벤치마크(Test Unseen, Validation Unseen, Validation Seen 분할)에서 수행되었습니다.

성능 향상: Test Unseen 분할에서 CLOSER-VLN은 **성공률(SR) 32.01%**와 **경로 길이 가중 성공률(SPL) 21.28%**를 달성했습니다.
- 이는 가장 우수한 제로샷 베이스라인인 GeoNav와 비교했을 때 SR에서 23.6%의 상대적 개선, SPL에서 32.8%의 상대적 개선을 나타냅니다.
- 또한 감독 학습 기반 베이스라인(예: FlightGPT) 및 기타 제로샷 방법(예: GPT-4o, Greedy)보다 뛰어난 성능을 보였습니다.
난이도 수준: 이 방법은 Easy, Medium, Hard 난이도 전반에서 일관된 개선을 보였으며, 장거리 계획과 정밀한 랜드마크 근거가 필요한 Hard 작업에서 가장 큰 개선(상대적 SR 53.3% 향상)이 관찰되었습니다.
절제 연구 (Ablation Studies):
- 검증기를 제거하면 SR이 29.24%로 감소했습니다.
- "항상 단순 검색 수행"(검증 여부와 상관없이 매 단계 검색)을 사용했을 때는 오히려 정보 노이즈로 인해 성능이 저하되었습니다(SR 26.96%).
- 최적의 결과를 얻기 위해서는 전체 시스템(검증기 + 적응형 검색)이 필요했으며, 이는 검증과 타겟팅된 지식 보충 사이의 시너지 효과를 확인시켜 줍니다.
반복 분석: 성능은 $K_{max}=3$ 에서 정점을 찍었습니다. 반복 횟수를 4로 늘리면 잘못된 검색 쿼리로 인한 노이즈 유입 때문에 성능이 하락했습니다.

의의 및 주장

본 논문은 CLOSER-VLN이 개방 루프 항공 내비게이션의 핵심적 한계인 오류 누적 문제를 효과적으로 해결한다고 주장합니다. "예측-실행" 패러다임에서 "추론-검증-검색-교정" 루프로 전환함으로써, 시스템은 다음과 같은 능력을 갖춥니다:

에이전트의 상태를 변경하기 전에 신뢰할 수 없는 행동을 감지하고 교정합니다.
필요할 때만 동적으로 누락된 지식을 보충하여 무분별한 검색으로 인한 노이즈를 피합니다.
특정 작업용 내비게이션 정책을 훈련하지 않고도 미지의 도시 환경에서 강력한 일반화 성능을 달もの합니다.

저자들은 다차원 검증기가 안전이 중요한 애플리케이션에서 매우 중요하다고 강조하는데, 이는 에이전트가 환각(hallucination)을 일으키거나 기하학적으로 유효하지 않은 행동을 맹목적으로 실행하는 것을 방지하기 때문입니다. 결과는 폐쇄 루프 추론이 단일 단계의 오류가 치명적일 수 있는 복잡한 장기 과제(long-horizon tasks)에서 체화된 에이전트의 신뢰성을 크게 향상시킨다는 것을 시사합니다.

참고: 본 논문은 검증기가 복잡한 기하학적 경계를 간혹 감지하지 못하는 한계(수락 시 False Positive 발생)를 인정하며, 향업적 연구로 점진적 미세 조정을 통한 검증기 최적화 및 GSPO(Group Sequence Policy Optimization) 탐색을 제안합니다.