Deep Reinforcement Learning based Autonomous Decision-Making for Cooperative UAVs: A Search and Rescue Real World Application
이 논문은 GNSS 가 차단된 실내 환경에서 Twin Delayed Deep Deterministic Policy Gradient 와 인공 퍼텐셜 필드, 그리고 그래프 어텐션 네트워크를 결합하여 다수 무인기 (UAV) 의 협력적 수색 구조 임무를 성공적으로 수행하고 2024 년 NATO 대회에서 우승한 최초의 엔드 - 투 - 엔드 자율 의사결정 프레임워크를 제시합니다.
원저자:Thomas Hickling, Maxwell Hogan, Abdulla Tammam, Nabil Aouf
일반적인 드론은 GPS(위성 신호) 를 받아 길을 찾습니다. 하지만 건물 안이나 지하에서는 이 신호가 끊깁니다. 마치 나침반이 고장 난 채로 어둡고 복잡한 미로에 갇힌 것과 같습니다. 여기서 드론은 스스로 길을 찾아야 하고, 장애물을 피해야 하며, 서로 협력해야 합니다.
이 연구팀은 런던 시티 대학교 팀이 NATO(북대서양조약기구) 가 주최한 'Sapience' 대회에서 이 문제를 해결하고 1 위를 차지한 경험을 공유합니다.
2. 핵심 기술 3 가지: 드론의 '머리'와 '손'
이 시스템은 크게 세 가지 지능을 합쳐서 작동합니다.
① AI 길찾기 (DRL + APF): "경험 많은 안내인"
문제: 드론이 처음에는 미로를 헤매며 벽에 부딪히기 쉽습니다.
해결: 연구팀은 드론에게 **"인공지능 (AI) 코치"**를 붙였습니다.
딥 강화학습 (DRL): 드론은 수많은 시뮬레이션에서 시행착오를 겪으며 스스로 길을 배우는 '유아'처럼 훈련합니다.
인공 전위장 (APF) 보상: 여기서 중요한 건 '보상 시스템'입니다. 마치 자석처럼 목표 지점은 드론을 당기고 (끌어당기는 힘), 장애물은 밀어내는 (밀어내는 힘) 가상의 장을 만들어줍니다. 드론은 이 자석의 힘을 느끼며 "아, 벽이 가까우면 뒤로 물러나고, 목표는 저쪽으로 가자"라고 자연스럽게 학습합니다.
결과: 기존 방식보다 훨씬 부드럽고 안전하게 날아다니며, 실전에서도 충돌 없이 길을 찾을 수 있게 되었습니다.
② 협력 임무 배분 (GAT): "현장 지휘관"
문제: 드론이 두 대일 때, 누가 어디로 가야 할지 정하는 게 중요합니다. 둘 다 같은 곳으로 가면 비효율적이고, 서로 부딪힐 수도 있습니다.
해결: 드론들 위에 **'지휘관 (중앙 서버)'**이 있습니다. 이 지휘관은 드론과 목표 지점을 연결한 **'그래프 (지도)'**를 보고, **"너는 왼쪽 복도를, 너는 오른쪽 계단을 가라"**고 실시간으로 명령을 내립니다.
이 지휘관은 **그래프 어텐션 네트워크 (GAT)**라는 AI 를 사용합니다. 마치 프로 축구 코치가 선수들의 위치와 상대 팀의 움직임을 보며 가장 효율적인 공수 배치를 즉석에서 결정하는 것과 같습니다.
이 덕분에 두 드론은 서로의 동선을 겹치지 않게 하고, 전체 임무를 가장 빠르게 완료합니다.
③ 높이 유지 기술 (Z-Drift 해결): "눈을 감고도 높이를 아는 능력"
문제: 실내에서 레이저 (LiDAR) 로 지도를 만들 때, 긴 복도 같은 곳에서는 드론의 높이가 서서히 잘못 측정되는 'Z-드리프트' 현상이 발생합니다. 마치 계단을 오르는 동안 발이 얼마나 올라갔는지 잊어버린 것처럼, 드론이 점점 바닥에 닿거나 천장에 부딪힐 위험이 있습니다.
해결: 연구팀은 드론의 레이저 센서와 **가속도계 (IMU)**를 섞어서 새로운 방법을 고안했습니다.
드론 아래쪽에 있는 깊이 카메라로 바닥과의 거리를 재고, 가속도계의 데이터와 비교합니다.
마치 눈을 감고 계단을 오를 때, 발의 움직임 (가속도계) 과 바닥의 느낌 (카메라) 을 합쳐서 정확한 높이를 유지하는 것과 같습니다. 덕분에 외부 신호 없이도 드론은 높이를 몇 센티미터 단위로 정확하게 유지할 수 있습니다.
3. 실전 결과: 대회에서의 활약
이 시스템은 실제 대회장에서 테스트되었습니다.
상황: 10 미터 높이의 벽, 좁은 복도, 2 층 구조로 된 복잡한 재난 시뮬레이션 현장.
성과:
지도 제작: 두 대의 드론이 협력하여 3 분도 채 안 되어 복잡한 건물의 3D 지도를 완성했습니다 (한 대만 쓸 때보다 50% 이상 빠름).
물품 배달: 실종자 (인형) 들에게 구호 물품을 배달할 때, 두 대가 동시에 도착하도록 타이밍을 맞춰서 성공했습니다.
1 위 달성: 이 모든 기술을 실전에서 증명하여 대회 1 위를 차지했습니다.
4. 결론: 왜 이 연구가 중요한가?
이 논문은 단순히 컴퓨터 시뮬레이션에서 성공한 이야기가 아닙니다. 실제 비행기 (드론) 를 만들어서, 실제 복잡한 건물 안에서, 실제 장애물과 싸우며 이겨낸 이야기입니다.
시뮬레이션과 현실의 차이: 컴퓨터 안에서는 완벽해도, 실제 세상에서는 바람, 빛, 소음 때문에 드론이 흔들립니다. 이 연구팀은 그 차이를 메우는 '현실적인 기술'을 개발했습니다.
미래: 앞으로 지진이나 화재가 발생해 사람이 들어갈 수 없는 위험한 건물에서도, 이 드론들이 스스로 길을 찾아 구조 활동을 할 수 있는 토대가 되었습니다.
한 줄 요약:
"나침반이 고장 난 어두운 미로에서, 두 대의 드론이 AI 코치와 지휘관의 도움을 받아 서로 협력하며 장애물을 피하고 실종자를 구하는 '현실 속 영웅'이 된 기술 이야기입니다."
논문 요약: GNSS 차단 환경에서의 협동 UAV 를 위한 심층 강화학습 기반 자율 의사결정 및 구조 활동 실증
1. 문제 정의 (Problem Definition)
배경: 수색 및 구조 (SAR) 작업에서 무인 항공기 (UAV) 의 활용은 중요성이 커지고 있으나, 실내와 같이 GPS(GNSS) 신호가 차단된 환경에서 자율적으로 비행하는 것은 여전히 큰 도전 과제입니다.
주요 난제:
정밀한 항법: 실내 환경에서는 시각적 특징이 부족하여 기존 VSLAM 이 실패할 수 있으며, LiDAR-SLAM 은 좁은 복도에서 수직 (Z 축) 드리프트 (Z-drift) 문제가 발생합니다.
연속 제어의 어려움: 복잡한 장애물 회피와 목표 지점 도달을 동시에 수행하기 위한 연속적인 속도 제어 (Velocity-level control) 를 학습하는 것은 기존 방법론에서 어렵습니다.
협동 작업 할당: 다수의 UAV 가 효율적으로 작업을 분담하고 충돌 없이 탐색 영역을 커버하기 위한 실시간 작업 할당 메커니즘이 필요합니다.
시뮬레이션과 현실의 괴리 (Sim-to-Real): 대부분의 기존 연구는 시뮬레이션에 머무르며, 실제 복잡한 실내 환경에서의 실증 데이터가 부족합니다.
2. 방법론 (Methodology)
이 논문은 탐색 및 구조 임무를 수행하는 2 대의 협동 UAV 를 위한 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안합니다.
A. 자율 항법 및 유도 (Autonomous Guidance)
알고리즘: Twin Delayed Deep Deterministic Policy Gradient (TD3) 를 사용하여 연속 제어 정책을 학습했습니다.
관찰 (Observation): 전방 깊이 이미지 (Depth Image), 1 차원 LiDAR 스캔, 목표 지점 관련 상태 (거리, 방위각, 고도 오차) 를 입력으로 받습니다.
보상 함수 (Reward Function) 의 혁신: 단순한 목표 지점까지의 거리 기반 보상이 아닌, 인공 전위장 (Artificial Potential Field, APF) 을 기반으로 한 보상 구조를 도입했습니다.
APF 는 목표 지점을 향한 인력 (Attractive) 과 장애물을 피하는 척력 (Repulsive) 을 생성하여 이상적인 참조 행동 (Reference Action) 을 계산합니다.
DRL 에이전트는 UAV 의 실제 실행 행동이 이 APF 참조 행동과 얼마나 일치하는지에 따라 보상을 받습니다. 이는 학습 수렴 속도를 높이고 더 매끄럽고 안전한 궤적을 생성합니다.
학습 환경: AirSim(Unreal Engine 기반) 에서 훈련되었으며, 실제 배포를 위해 다양한 장애물과 복도로 구성된 가상 환경을 활용했습니다.
B. 작업 할당 (Task Allocation)
중앙 집중식 할당: 지상국 (Ground Station) 에서 실행되는 그래프 어텐션 네트워크 (Graph Attention Network, GAT) 기반의 할당기를 사용합니다.
구조: UAV 노드와 작업 (Task) 노드로 구성된 그래프를 형성하며, GAT 는 노드 간의 중요도 (Attention) 를 학습하여 최적의 작업 배분을 결정합니다.
동작: 각 결정 단계에서 드론 - 작업 그래프를 분석하여 거의 최적의 할당 결과를 생성하며, 온보드 컴퓨팅 부하를 최소화합니다.
C. GNSS 차단 환경에서의 위치 추정 (Odometry)
문제: 실내 LiDAR-SLAM 은 긴 복도에서 수직 방향 (Z 축) 드리프트가 발생합니다.
해결책:경량 상보 필터 (Lightweight Complementary Filter) 를 도입했습니다.
깊이 카메라 (RGB-D) 로부터 얻은 고도 데이터와 IMU 의 수직 속도를 융합합니다.
깊이 카메라의 노이즈를 줄이기 위해 이미지 내 5 개 영역의 중앙값 (Median) 을 사용하며, IMU 속도와 깊이 기반 속도 간의 편차를 통해 고도 오차를 보정합니다.
외부 비콘 없이 센티미터 수준의 고도 안정성을 확보했습니다.
D. 하드웨어 구성
13 인치 프로펠러가 장착된 1m 급 쿼드콥터 2 대.
센서: Velodyne 16 라인 LiDAR, Intel RealSense D455f 카메라 2 대.
프로세서: NVIDIA Jetson Orin Nano (Isaac ROS 환경에서 실행).
3. 주요 기여 (Key Contributions)
실제 환경에서의 대규모 실증: 기존 연구들이 시뮬레이션이나 소규모 실험실에 머무른 것과 달리, 복잡한 구조의 재난 모의 환경에서 2 대의 중형 UAV 를 이용한 실제 비행 (Real-world deployment) 을 성공적으로 수행했습니다.
APF 기반 연속 제어 보상 함수: APF 에서 유도된 참조 행동과 DRL 에이전트의 행동을 정렬시키는 보상 함수를 제안하여, 복잡한 실내 환경에서 안정적인 연속 속도 제어 정책을 학습시켰습니다. 이는 기존 거리 기반 보상만으로는 달성하기 어려웠던 배포 가능한 컨트롤러를 가능하게 했습니다.
GAT 기반 중앙 집중식 작업 할당: 그래프 어텐션 메커니즘을 활용하여 다중 에이전트 간의 실시간 조정을 최적화하는 DRL 기반 할당기를 개발했습니다.
LiDAR-SLAM 의 Z-드리프트 억제: 깊이 카메라와 IMU 를 융합한 필터링 기법을 통해 외부 장비 없이 실내 LiDAR-SLAM 의 수직 드리프트 문제를 해결했습니다.
4. 결과 (Results)
NATO Sapience 자율 협동 드론 대회 (2024) 성과:
1 위 달성: 제안된 시스템은 2024 년 대회에서 1 위를 차지했습니다.
3D 매핑: 2 대의 UAV 가 협력하여 복잡한 실내 구조의 3D 맵을 134 초 내에 완성했습니다 (단일 UAV 대비 53.3% 시간 단축).
동시 배송 임무: 8 개의 배송 지점 중 마지막 2 개를 두 대의 UAV 가 동시에 (Synchronized) 착륙하여 성공적으로 완료했습니다.
성능 비교:
시뮬레이션 vs 현실: APF 기반 보상 함수를 사용한 모델은 표준 거리 기반 보상 모델보다 훨씬 우수한 성능을 보였으며, 실제 환경에서 충돌 없이 복잡한 코스를 항해할 수 있었습니다.
작업 할당: GAT-DRL 할당기는 전통적인 그리디 (Greedy) 또는 경매 (Auction) 방식과 비교하여 유사하거나 더 효율적인 경로 (총 이동 거리 및 작업 완료 시간) 를 보여주었습니다.
고도 제어: 수정된 LiDAR-SLAM 과 깊이 -IMU 융합 필터를 통해 실제 비행 중 고도 오차가 크게 감소하여 안정적인 수직 이동을 가능하게 했습니다.
5. 의의 및 결론 (Significance)
Sim-to-Real 갭 해소: 이 연구는 DRL 기반 자율 시스템이 단순한 시뮬레이션을 넘어, GNSS 가 차단된 복잡하고 혼잡한 실제 실내 환경에서도 신뢰성 있게 작동할 수 있음을 입증했습니다.
실용적 SAR 솔루션: 재난 구조와 같은 생명 구명 시나리오에서 인간의 위험을 줄이고 신속한 대응을 가능하게 하는 자율 협동 UAV 시스템의 구체적인 청사진을 제시했습니다.
기술적 확장성: 제안된 프레임워크는 향후 야외 환경, 더 많은 수의 UAV 로 확장된 다중 에이전트 강화학습 (MADRL), 그리고 분산형 작업 할당으로 발전할 수 있는 기반을 마련했습니다.
결론적으로, 이 논문은 APF 가 유도하는 DRL, GAT 기반의 협력, 그리고 정밀한 센서 융합을 결합하여 GNSS 차단 환경에서의 자율 SAR 임무 수행 능력을 획기적으로 향상시킨 선구적인 실증 연구입니다.