💻 computer science

Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning

본 논문은 지도 학습과 커리큘럼 미세 조정을 포함하는 2 단계 훈련 과정을 통해 미지의 GNSS 차단 야외 환경에서 4 축 헬리콥터가 자율적으로 항해하고 장애물을 회피할 수 있도록 하는 비전 기반 강화 학습 프레임워크를 제안하며, 이를 통해 성공적인 제로샷 시뮬레이션-현실 전이를 달성합니다.

원저자: Shiladitya Dutta, Aayush Gupta, Varun Saran, Avideh Zakhor

게시일 2026-05-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shiladitya Dutta, Aayush Gupta, Varun Saran, Avideh Zakhor

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

원격 조종 드론을 상상해 보세요. 보통은 조종기를 들고 화면을 보며 나무, 건물, 다른 장애물과 충돌하지 않도록 끊임없이 조종해야 합니다. 신호가 끊기거나 배터리가 방전되면 드론은 멈춥니다. 이 논문은 인간 조종사 없이 오직 드론 자신의 '눈'과 '뇌'만을 사용하여 복잡하고 알려지지 않은 숲이나 도시를 스스로 비행하는 방법을 제시합니다.

다음은 그들이 어떻게 했는지 간단히 설명한 것입니다:

문제: '조종사' 병목 현상

오늘날 대부분의 드론은 잠들지 않는 조종사가 있는 자동차와 같습니다. 빠르게 이동하고 날카롭게 회전하는 데는 뛰어나지만, 밀집된 숲의 수관 아래나 전쟁 지역과 같은 까다로운 곳에서는 인간이 끊임없이 어디로 가야 할지 지시해 주어야 하므로 혼자 비행할 수 없습니다. 이 연구의 목표는 드론이 세상을 바라보고 장애물의 위치를 파악한 후 목적지까지 스스로 비행할 수 있는 드론을 만드는 것이었습니다.

해결책: 두 부분으로 구성된 뇌

연구자들은 인간이 운전하는 법을 배우는 방식과 유사하게 드론을 작동시키는 '뇌'를 두 가지 주요 부분으로 구성했습니다:

눈 (오토인코더): 드론은 입체 카메라 (인간의 눈과 같은 두 개의 렌즈) 를 사용하여 깊이를 파악합니다. 그러나 원시 비디오는 작은 컴퓨터가 빠르게 처리하기에는 데이터가 너무 많습니다. 따라서 복잡한 3 차원 세계의 모습을 보고 그 공간의 본질을 포착하는 간단한 저수준 '느낌'으로 압축하는 '요약기' 역할을 하는 특수 AI 를 먼저 훈련시켰습니다. 고화질 영화를 방의 본질을 포착하는 빠른 스케치로 바꾸는 것과 같습니다.
조종사 (LSTM 네트워크): 드론이 세계에 대한 이 '스케치'를 갖게 되면, 이를 시간 경과에 따른 기억에 능한 AI 인 LSTM 이라고 불리는 뇌의 두 번째 부분으로 전달합니다. 이 LSTM 은 스케치를 보고 1 초 전의 위치를 기억하며 "좋아, 왼쪽으로 회전하고 속도를 높여야겠다"라고 결정합니다. 드론의 내장 소프트웨어가 즉시 따라 할 수 있는 "이 속도로 전진하라" 또는 "약간 회전하라"와 같은 간단한 명령을 출력합니다.

훈련: 비디오 게임에서 현실까지

실제 드론을 천 번이나 추락시켜서 비행하게 할 수는 없습니다. 그러면 고장 나기 때문입니다. 따라서 연구자들은 먼저 비디오 게임 시뮬레이션에서 드론을 가르쳤습니다.

1 단계: 튜터 (특권 학습): 숲을 통과하는 완벽한 경로를 알고 있는 슈퍼 튜터를 가진 조종사 학생이 비행하는 법을 배운다고 상상해 보세요. AI 드론은 이 '완벽한 경로'를 관찰하고 그 경로에 가까이 머무는 것에 대해 보상을 받습니다. 이는 훈련용 바퀴와 같습니다. 드론은 물체에 부딪히지 않고 목표물을 향해 이동하는 기본 규칙을 배웁니다.
2 단계: 솔로 비행 (커리큘럼 학습): 드론이 기초를 익히면 튜터는 사라집니다. 드론은 무작위 장애물이 있는 더 어렵고 복잡한 게임 레벨로 던져집니다. 이제 드론은 스스로 경로를 찾아야 합니다. 연구자들은 벽을 더 추가하고 회전 구간을 더 좁게 만드는 등 게임을 점차 어렵게 만들어 드론이 새로운 상황에 적응하는 법을 가르쳤습니다.

마법 같은 트릭: 간극 연결 (시뮬레이션에서 현실로)

로보틱스에서 가장 큰 도전 과제는 비디오 게임에서 작동하는 것이 종종 현실 세계에서는 실패한다는 점입니다. 게임에서는 물리가 완벽하지만, 현실에는 바람이 불고 카메라는 흐리며 드론이 예상보다 무겁거나 가볍습니다.

이를 해결하기 위해 연구자들은 도메인 랜덤화라는 기법을 사용했습니다.

비유: 축구 선수를 훈련한다고 상상해 보세요. 완벽한 건조한 잔디밭에서만 연습한다면 비가 오거나 땅이 진흙투성이일 때 실패할 수 있습니다. 대신 이 팀은 드론을 '혼란 시뮬레이터'에서 훈련시켰습니다. 바람 속도를 무작위로 변경하고, 카메라 이미지에 정적 노이즈를 추가하며, 드론을 무겁게 하거나 가볍게 만들었으며, 심지어 센서 고장까지 시뮬레이션했습니다.
결과: 이 혼란스럽고 예측 불가능한 환경에서 훈련함으로써 드론은 '단단함'을 배웠습니다. 드론이 마침내 밖으로 비행했을 때 바람이 불거나 카메라가 약간 흐려도 신경 쓰지 않았습니다. 이미 시뮬레이션에서 더 나쁜 상황을 경험했기 때문입니다.

현실 세계 테스트

연구자들은 야외 필드에서 실제 무거운 용량의 드론 (시뮬레이션한 작은 드론보다 약 10 배 무거운 DJI M300) 으로 이 시스템을 테스트했습니다.

설정: 안뜰과 열린 필드에 기둥과 벽과 같은 장애물을 설치했습니다.
조건: 바람이 불고 조명이 까다로웠으며, 드론은 GPS 없이 (카메라와 내부 센서만 사용하여) 항해해야 했습니다.
결과: 드론은 이러한 알려지지 않은 환경에서 성공적으로 비행하여 장애물을 피하고 테스트에서 100% 의 확률로 목표에 도달했습니다. 시속 약 2.6 미터 (약 시속 6 마일) 로 비행했는데, 이는 빠른 걷기 속도입니다.

왜 이것이 중요한가

이 논문은 이 방법이 특별한 이유는 연구자들이 사용한 특정 무거운 드론에 맞게 다시 조정할 필요가 없었기 때문이라고 주장합니다. 그들은 게임에서 작고 가벼운 드론으로 훈련시켰는데, 거대하고 무거운 실제 세계의 드론에서도 완벽하게 작동했습니다. 이는 드론에 복잡한 물리 법칙이 아닌 '속도 명령 (얼마나 빠르게 갈지 지시하는 것)'으로 비행하는 법을 가르친다면, 각 드론마다 새로운 매뉴얼이 필요 없이 크고 작은 거의 모든 드론에 적응할 수 있음을 시사합니다.

요약하자면, 그들은 혼란스러운 비디오 게임에서 학습한 후 그 단단함을 현실 세계로 가져와 복잡하고 알려지지 않은 세상을 처리할 수 있는 용감하고 자립적인 탐험가가 되도록 드론을 가르쳤습니다.

기술 요약: 강화 학습을 통한 비전 기반 야외 비행 및 장애물 회피

문제 제기

쿼드콥터는 높은 기동성을 제공하지만, GNSS 및 원격 측정 신호가 차단된 환경 (예: 수관 하부 숲, 지하, 전쟁 지역) 에서의 적용은 지속적인 조종사의 제어 필요성이나 사전 설정된 경로에 대한 의존성으로 인해 현재 제한적입니다. 전통적인 자율 항법은 종종 작업을 지각, 계획, 제어 단위로 분리하는데, 이는 상태 추정 및 센서 노이즈에서 누적 오류를 초래할 수 있습니다. 또한, 기존 학습 기반 방법들은 종종 특정 드론 동역학에 종속된 정책을 생성하거나, 시중의 상용 드론을 표준 속도 명령 API 를 통해 직접 배포할 수 없는 모델 예측 제어기 (MPC) 를 필요로 합니다. 본 연구가 해결하는 핵심 과제는 플랫폼별 튜닝 없이 온보드 센서 (스테레오 비전 및 VIO) 와 범용 속도 명령 인터페이스만을 사용하여 알려지지 않고 장애물이 풍부한 야외 환경에서 견고한 제로샷 (zero-shot) 자율 항법을 달성하는 것입니다.

방법론

저자들은 강화 학습 (RL) 과 특권 학습 (Privileged Learning) 패러다임을 통한 2 단계로 훈련된 모듈형 엔드 - 투 - 엔드 센서 - 모터 정책을 제안합니다. 시스템 아키텍처 및 훈련 파이프라인은 다음과 같습니다:

1. 시스템 아키텍처

지각 헤드 (Perception Head): 사전 훈련된 디노이징 오토인코더가 고차원 스테레오 깊이 이미지 ( $192 \times 108$ ) 를 저차원 잠재 공간 ( $R^{128}$ ) 으로 매핑합니다. 이 인코더는 스테레오 깊이 노이즈와 다양한 환경에 대한 견고성을 보장하기 위해 가우시안 노이즈가 주입된 DIML 데이터셋으로 훈련됩니다.
계획 및 제어: 장단기 메모리 (LSTM) 네트워크가 연결된 잠재 깊이 특징과 상태 벡터 (상대적 목표 위치, 롤/피치/요 속도, 헤딩 오차) 를 처리합니다. LSTM 은 상업용 드론 API(예: DJI) 와 직접 호환되는 속도 명령 ( $v_x, v_z, \omega$ ) 을 직접 출력합니다.
상태 공간: 상대적 목표 위치, 각속도, 헤딩 차이, 그리고 평탄화된 깊이 이미지를 포함합니다.
행동 공간: 드론의 최대 능력에 맞게 스케일링된 수평 속도, 수직 속도 및 요 각속도입니다.

2. 훈련 파이프라인

정책은 Flightmare 시뮬레이터에서 Proximal Policy Optimization (PPO) 을 통해 세 가지 명확한 단계를 거쳐 훈련됩니다:

1 단계: 최적 궤적 생성: 글로벌 모션 플래너가 무작위화된 환경에서 동적으로 실현 가능하고 저크 (jerk) 가 최소화된 궤적을 생성합니다.
2 단계: 특권 학습 (Privileged Learning): 정책이 최적 궤적을 감독 신호로 사용하여 간단한 환경 (간격을 둔 기둥) 에서 훈련됩니다. 보상 함수는 초기 수렴을 유도하고 시간 효율적인 비행 행동을 가르치기 위해 최적 궤적과의 근접성에 대한 항을 포함합니다.
3 단계: 커리큘럼 미세 조정: 정책이 세 가지 영역 (기둥, 패널, 벽) 으로 구성된 복잡하고 난이도가 증가하는 커리큘럼 환경에서 미세 조정됩니다. 결정적으로, 이 단계에서는 정책이 다중 모드 환경에서 단일 경로에 과적합되는 것을 방지하고 견고한 일반화를 장려하기 위해 최적 궤적 보상이 제거됩니다.

3. 시뮬레이션 - 현실 연결 (Sim-to-Real Bridging)

실제 하드웨어로의 이전을 보장하기 위해 저자들은 다음을 활용합니다:

도메인 무작위화 (Domain Randomization): 드론 질량, 관성 및 제어 지연의 무작위화; 상태 측정값에 가우시안 노이즈 추가; 그리고 실제 세계 센서 열화를 시뮬레이션하기 위해 깊이 입력에 가우시안 블러 적용.
보상 형성 (Reward Shaping): 고주파 진동을 억제하고 다양한 드론 동역학에서 일반화되는 매끄럽고 기계적으로 건전한 비행 프로파일을 보장하기 위해 요 속도 크기, 가속도 및 저크 (3 차 미분) 에 대한 특정 페널티가 적용됩니다.

주요 결과

시뮬레이션 평가

성능: 시뮬레이션된 장애물 코스에서 정책은 1.0 m/s 에서 99.2%, 7.0 m/s 로 떨어질 때 78% 의 높은 성공률을 달성했습니다.
애블레이션 연구: 저크, 가속도 또는 속도 크기에 대한 보상 항을 제거하면 불규칙한 고주파 진동이 발생하여 안정적인 제어를 위해 매끄러움 페널티가 필수적임을 확인했습니다.
훈련 전략: 하이브리드 접근 방식 (특권 학습 + 커리큘럼) 은 특권 학습만 또는 커리큘럼 학습만으로 훈련된 정책보다 우수한 성능을 발휘하여 가장 높은 안정적인 성공률과 가장 짧은 목표 도달 시간을 달성했습니다.
견고성: 베이스라인 MAVRL 과 비교하여 제안된 방법은 드론 동역학이 확대됨 (10 배 무게 증가 시뮬레이션) 에 따라 높은 성공률을 유지한 반면, MAVRL 의 성능은 급격히 저하되었습니다. 제안된 정책은 다양한 스케일에서 훨씬 낮은 궤적 저크를 생성했습니다.

실제 세계 실험

설정: 실험은 Zed2i 스테레오 카메라와 Jetson AGX Xavier 가 장착된 6.3 kg(시뮬레이션된 Kingfisher 드론보다 약 10 배 무거움) 의 DJI Matrice 300 RTK 에서 수행되었습니다.
환경: 가려진 장애물과 감소된 여유 공간이 포함된 수정된 환경을 포함하여 다양한 시작/목표 위치를 가진 세 가지 야외 구성 (벽, 삼각형, 역삼각형) 에서 테스트가 수행되었습니다.
VIO 시험: 위치 결정에 시각 - 관성 오도메트리 (VIO) 만을 사용하여 시스템은 18 번의 시도에 걸쳐 100% 성공률을 달성했습니다. 목표까지의 평균 거리는 2.27m 로, 드론이 장애물을 성공적으로 회피하고 목표 근처에 도달했기 때문에 항법 실패가 아닌 VIO 드리프트 (최대 3m) 로 귀결되었습니다.
GNSS 시험: 위치 결정에 GNSS 를 사용할 때 시스템은 100% 성공률을 달성했으며 목표까지의 평균 거리는 0.81m로, 정확한 충돌 없는 항법을 입증했습니다.
속도: 드론은 명령된 최대 3.0 m/s 에 근접한 평균 속도 2.58 m/s 를 유지했습니다.

중요성 및 주장

본 논문은 알려지지 않은 환경에서 비전 기반 자율 비행에 대한 시뮬레이션 - 현실 간극을 성공적으로 연결했다고 주장합니다. 주요 중요성은 훈련 시뮬레이션과 동역학이 현저히 다른 (10 배 무게 차이) 드론 플랫폼 (DJI M300) 으로 제로샷 이전을 입증하고, 훈련 중에 접하지 않은 환경에서 이를 수행한 데 있습니다.

저자들은 특정 동역학에 종속된 모방 학습이 아닌, 특정 보상 형성과 도메인 무작위화를 사용한 강화 학습을 통해 정책이 저저크 (low-jerk) 이고 견고한 속도 명령을 생성하도록 학습한다고 강조합니다. 이는 시스템이 플랫폼별 튜닝 없이 표준 API 를 통해 시중의 상용 드론과 인터페이스할 수 있게 합니다. 이 연구는 견고한 정책이 복잡한 비행 동역학을 추상화하여 온보드 스테레오 비전과 VIO 만을 사용하여 GNSS 가 차단되고 혼잡한 야외 환경에서 신뢰할 수 있는 항법을 가능하게 함을 검증합니다.