⚡ electrical engineering

VLN on the Fly: An Onboard Vision-Language Navigation Stack for Aerial Robots

이 논문은 높은 성공률과 안전성을 달성하면서도 낮은 계산 오버헤드를 유지하기 위해 그라운딩(grounding), 계획(planning), 제어(control)를 별도의 단계로 분리한 항공 로봇용 모듈형 온보드 시각-언어 내비게이션 스택인 "VLN on the Fly"를 제시한다.

원저자: Marco S. Tayar, Felipe Tommaselli, Gianluca Capezutto, Pedro Antonio Rabelo Saraiva, Pedro H. V. de Freitas, Lucas Kido, Guilherme Sonego, Ricardo V. Godoy, Marcelo Becker

게시일 2026-09-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Marco S. Tayar, Felipe Tommaselli, Gianluca Capezutto, Pedro Antonio Rabelo Saraiva, Pedro H. V. de Freitas, Lucas Kido, Guilherme Sonego, Ricardo V. Godoy, Marcelo Becker

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

창고의 조용한 웅성거림이나 집안의 어수선한 구석 안에서, 새로운 종류의 로봇이 듣는 법을 배우고 있습니다. 수년 동안 과학자들은 기계가 인간의 언어를 이해하고 그에 따라 행동하도록 가르치기 위해 노력해 왔으며, 이 분야는 시각-언어 내비게이션(vision-language navigation)으로 알려져 있습니다. 아이디어는 간단합니다. 사람이 "빨간 의자로 가"라고 말하면, 로봇은 그 의자가 어디에 있는지 파악하여 그곳으로 날아가거나 이동하는 것입니다. 이것은 통제된 컴퓨터 시뮬레이션에서는 잘 작동하지만, 실제 비행 로봇에서 이를 구현하는 것은 다른 이야기입니다. 로봇은 자신의 컴퓨터와 배터리를 직접 싣고 있는 상태에서 세상을 보고, 말을 이해하며, 공중을 통해 안전한 경로를 계획하고, 모터를 제어해야 합니다. 만약 로봇이 단어를 이해하는 데 실수를 하거나 회전을 잘못 계산한다면, 추락할 수도 있습니다. 과제는 인간의 지속적인 감독 없이도 안전하게 비행할 수 있을 만큼 충분히 똑똑하면서도, 지시를 따를 수 있는 시스템을 구축하는 것입니다.

상파울루 대학교의 연구진은 이 문제를 해결하기 위해 "VLN on the Fly"라고 불리는 시스템을 구축했습니다. 하나의 거대한 컴퓨터 프로그램이 모든 것을 한꺼번에 수행하도록 가르치는 대신, 그들은 이 작업을 서로 협력하는 세 가지 명확한 단계로 나누었습니다. 이는 마치 계주 경기와 같습니다. 첫째, 특화된 언어 모델이 카메라 피드와 음성 명령을 살펴보고 대상 물체가 있을 법한 일반적인 영역을 찾습니다. 둘째, 계획 시스템이 그 일반적인 영역을 가져와 깊이(depth) 정보를 사용하여 공중을 통과하는 매끄럽고 안전한 3차원 경로를 계산합니다. 셋째, 훈련된 제어 정책이 그 경로를 받아 드론의 모터에 직접 명령을 내려 경로를 따르게 합니다. 이러한 단계별 접근 방식은 연구자들이 프로세스의 각 부분을 점검할 수 있게 해주며, 한 단계에서 실패하더라도 시스템이 정확히 어디에서 문제가 발생했는지 파악하여 충돌 전에 멈출 수 있도록 보장합니다.

연구진은 카메라와 소형 온보드 컴퓨터를 장착한 작은 쿼드 로터 드론으로 이 시스템을 테스트했습니다. 그들은 방 안에 쓰레기통, 의자, 소화기와 같은 일상적인 물건들을 배치하고 드론에게 음성 명령에 따라 그 물건들로 날아가도록 요청했습니다. 15번의 개별 비행 중 드론은 13번의 비행에서 목표물에 도달하는 데 성공했습니다. 도착했을 때, 드론은 평균적으로 의도한 지점에서 6센티미터 미만의 거리에 있었습니다. 이 시스템은 드론이 장애물을 피해 항행해야 할 때도 잘 작동했으며, 복잡한 환경에서 충돌을 피하는 경로를 성공적으로 계획했습니다. 전체 과정은 드론 자체에서 실행되었으며, 온보드 컴퓨터 전력의 약 39퍼센트를 사용하였기에 다른 작업을 수행할 수 있는 충분한 여유를 남겨두었습니다.

이 프로젝트의 가장 중요한 발견 중 하나는 시스템이 불확실성을 처리하는 방식이었습니다. 언어 모델은 오류가 발생하기 쉬운 방식인 대상의 정확한 픽셀을 특정하려고 하지 않습니다. 대신, 카메라 뷰를 단순한 그리드로 나누고 대상이 있을 가능성이 높은 일반적인 셀을 선택합니다. 이러한 거친(coarse) 접근 방식이 훨씬 더 신뢰할 수 있는 것으로 증명되었습니다. 드론이 장애물로 가득 찬 방에서 테스트되었을 때, 대부분의 시도에서 충돌을 성공적으로 피했습니다. 목표에 도달하지 못한 몇몇 경우에는 드론이 제어력을 잃은 것이 아니라, 물체가 카메라 시야에서 벗어났거나 깊이 센서가 충분히 멀리까지 감지하지 못했기 때문이었습니다. 또한 연구진은 시스템이 서로 다른 물체를 구별할 수 있다는 것을 발견했는데, 의자를 요청했을 때는 의자를, 쓰레기통을 요청했을 때는 쓰레기통을 동일한 방 안에 있더라도 정확히 식별해 냈습니다.

이 프로젝트의 성공은 자율 로봇이 구축되는 방식의 변화를 강조합니다. 모든 것을 한꺼번에 학습하려는 단일하고 복잡한 신경망에 의존하기보다, 이해, 계획, 제어의 과업을 분리하는 것이 더 안전하고 신뢰할 수 있는 결과를 낳는다는 것을 이 연구는 보여줍니다. 단계들을 별도로 유지함으로써, 연구진은 드론이 단순히 추측하는 것이 아니라, 말로 된 명령으로부터 물리적 움직임에 이르기까지 논리적인 경로를 실제로 따르고 있음을 검증할 수 있었습니다. 비록 물체를 찾기 위해 시야 확보가 필요하고 깊이 센서의 범위에 의존해야 하는 등의 한계는 여전히 존재하지만, 이 시스템은 비행 로봇이 곧 단순한 인간의 언어를 사용하여 복잡한 실내 공간을 항행할 수 있음을 보여주며, 점검, 배송, 수색 및 구조와 같은 미래 응용 분야를 위한 문을 열어주고 있습니다.

기술 요약: VLN on the Fly

문제 정의
시각-언어 내비게이션(Vision-Language Navigation, VLN)을 공중 로봇에 완전히 탑재하여 운용하는 것은 제한된 계산 자원과 단일 단계 시스템에서 발생하는 오류 격리의 어려움으로 인해 상당한 도전 과제를 안겨준다. 엔드 투 엔드(end-to-end) 시각-언어-행동(Vision-Language-Action, VLA) 모델은 원시 관측값과 지시문을 직접 제어 명령으로 매핑하지만, 이 과정에서 모듈형 스택이 갖는 관측 가능성과 안전 검사 기능을 희생하는 경우가 많다. 물리적 자율 주행, 특히 공중 로봇의 경우, 지시를 수행하기 위해서는 의미론적 이해뿐만 아니라 기체 역학 및 안전 제약 조건에 대한 검증이 필요하다. 이러한 단계들이 하나의 네트워크로 융합되면 실패 지점을 국지화하기 어려워지며, 충돌 검사, 타당성 테스트, 복구 동작과 같은 표준 안전 메커니ism을 강제하기가 더 어려워진다. 또한, 계층적 스택을 임베디드 하드웨어 상의 비행 컨트롤러와 통합하는 작업은 여전히 미개척 분야로 남아 있다.

방법론
저자들은 접지(grounding), 계획(planning), 제어(control)를 각각 독립적이고 검사 가능한 단계로 유지하는 온보드 디커플링 내비게이션 스택인 VLN on the Fly를 제안한다. 이 시스템은 오프보드 연산이나 엔드 투 엔드 학습 없이 로봇 자체에서 완전히 작동한다. 아키텍처는 안전 감독자(safety supervisor)에 의해 조정되는 세 가지 주요 처리 단계로 구성된다:

VLM 기반 목표 접지(Goal Grounding):
- 시스템은 양자화된 시각-언어 모델(Qwen-3.5-2B, INT4)을 사용하여 에고센트릭(egocentric) RGB 프레임과 자연어 지시문을 처리한다.
- 픽셀 단위의 접지 대신, 타겟을 포함하는 $3 \times 3$ 이미지 그리드의 9개 조밀한 영역 중 하나를 식별한다.
- 선택된 그리드 셀은 노이즈에 대한 민감도를 줄이기 위해 해당 셀 중심 픽셀의 중앙 깊이 값을 사용하여 3D 목표로 매핑된다. 이 점은 카메라 좌표계로 역투영된 후 현재 포즈를 사용하여 맵 좌표계로 변 transformation 된다.
- 안전을 보장하기 위해, 목표 고도는 현재 비행 고도 주변의 좁은 밴드로 제한된다.
안전 감독자(Safety Supervisor):
- 유한 상태 머신(finite-state machine)이 VLM과 플래너 사이의 게이트키퍼 역할을 한다.
- 초기 이륙 위치로 정의된 제한된 운용 볼륨 내에서 후보 목표를 검증한다.
- 불안정한 명령을 방지하기 위해, 감독자는 신뢰도 임계값 이상에서 동일한 그리드 영역에 대한 세 번의 연속적인 예측이 있어야만 목표를 수락한다.
- 또한, 온보드 점유 지도(occupancy map)로부터 도출된 플래너의 타당성 보고를 기반으로 궤적 실행을 제어한다.
3D 계획 및 저수준 제어:
- EGO-Planner는 3D 공간에서 매끄럽고 동적으로 타당한 B-스플라인(B-spline) 궤적을 생성한다. 이는 전체 유클리드 부호 거리 함수(ESDF)를 요구하지 않고, 깊이 데이터로부터 구축된 로컬 점유 지도를 활용하여 충돌을 회피한다.
- RAPTOR는 사전 학습된 강화 학습 정책으로서 저수준 컨트롤러 역할을 수행한다. 이는 위치 설정값과 고유 수용 감각(proprioceptive) 데이터를 직접 모터 명령으로 매핑하며, 재학습 없이 다양한 쿼드로터에 대해 제로샷(zero-shot)으로 적응한다. 이는 전통적인 위치-자세 피드백 루프를 대체한다.

주요 기여

온보드 디커플링 스택: 양자화된 VLM을 통한 오픈 보카불러리(open-vocabulary) 접지, 3D B-스플라인 계획을 위한 EGO-Planner, 그리고 저수준 제어를 위한 사전 학습된 RL 정책을 결합한 완전한 온보드 항공 VLN 스택을 구현하였으며, 이는 엔드 투 엔드 학습이나 오프보드 연산을 필요로 하지 않는다.
경량 안전 감독자: 유한 상태 머신을 사용하여 운용 범위를 벗어나는 목표를 거부하고 플래너의 타당성에 따라 궤적 실행을 제어하는 메커니즘을 통해, 계층적 파이프라인 전반에 걸쳐 안전성을 확보한다.
실비행 타당성 평가: 세 가지 서로 다른 참조 대상(referent)을 포함하는 오픈 보카불러리 객체 목표 과업에 대해 전체 스택을 커스텀 쿼드로터에서 평가하였으며, 모듈형 설계 덕분에 특정 단계의 실패를 추적할 수 있음을 입증하였다.

실험 결과
시스템은 Intel RealSense D435i 카메라와 온보드 Jetson Orin NX를 장착한 커스텀 쿼드로터(MIRA)를 사용하여 통제된 실내 볼륨 내에서 평가되었다.

성공률: 세 가지 참조 대상(쓰레기통, 의자, 소화기)에 대한 15회의 비행 결과, 스택은 13회의 시도에서 목표에 도달하여 87%의 성공률을 기록했다.
정확도: 평균 목표 오차는 5.72cm였다. 쓰레기통 과업에서는 오차 없는 100% 성공률을 달 기록했다.
성능: 양자화된 VLM은 중앙값 추론 시간 0.79초를 달성하여, 플래너와 정책에 필요한 계산 자원을 충분히 확보하면서 0.5Hz의 쿼리 속도를 유지했다. 평균 GPU 사용률은 39.3%였다.
장애물이 있는 환경: 장애물이 있는 6회의 추가 실험에서, 시스템은 3회의 실행에서 충돌 없는 궤적을 성공적으로 추적했다. 2회의 실행에서는 안전 레이어가 깊이/경계 위반을 이유로 실행을 올바르게 차단했다. 1회의 실행에서는 장애물을 회피했으나 추적 편차로 인해 목표 반경에 도달하는 데 실패했다.
절제 연구(Ablation): $3 \times 3$ 그리드 해상도가 최적임이 밝혀졌으며, 이는 더 미세한 그리드나 단일 픽셀 접지에 비해 선택 지터(jitter)를 현저히 낮추면서도 100% 유효 목표 도달률을 제공했다.

의의 및 주장
본 논문은 'VLN on the Fly'가 모듈형 스택의 안전성과 관측 가능성을 유지하면서, 복잡한 오픈 보카불러리 내비게이션 과업을 공중 로봇에서 완전히 온보드로 실행할 수 있음을 보여준다고 주장한다. 의미론적 추론을 메트릭 계획 및 저수준 제어와 분리함으로써, 본 시스템은 실제 비행 중 중간 상태(접지, 목표 투영, 계획)를 검사할 수 있게 하며, 이는 디버깅과 안전 보증에 있어 매우 중요하다.

저자들은 현재 구현이 고정 고도 비행과 외부 오도메트리(OptiTrack)에 의존하고 있다는 점을 겸허히 언급했다. 또한 깊이 역투영이 센서 범위 및 유효하지 않은 깊이 영역에 의해 제한될 수 있음을 인정했다. 아울러 비동기식 설계로 인해 접지 오류가 다음 쿼리 전까지 지속될 수 있음을 명시했다. 그럼에도 불구하고, 이 연구는 보완적인 센싱과 궤적 생성 간의 더 긴밀한 결합을 통해 견고성을 향상시킬 수 있는 기초를 마련했다.

유사한 논문