Deep Reinforcement Learning Framework for Multi-UAV Collision-Free Navigation and Cooperative Control

우리 도시 위의 하늘은 점점 더 붐비고 있습니다. 배달 드론, 감시 항공기, 자율 주행 택시는 더 이상 공상 과학 소설 속의 개념이 아니라, 빠르게 우리의 일상적인 현실의 일부가 되고 있습니다. 이러한 기계들이 안전하게 작동하려면 단순한 원격 제어를 훨씬 뛰어넘는 수준의 지능을 갖추어야 합니다. 이들은 건물, 다른 항공기, 그리고 예측 불가능한 장애물로 가득 찬 복잡한 3차원 공간을 충돌 없이 항해해야 합니다. 전통적으로 엔지니어들은 이러한 탈것들을 안내하기 위해 모든 가능한 움직임을 사전에 계산하는 경직된 수학 공식에 의존해 왔습니다. 그러나 이러한 방식은 환경이 갑자기 변하거나 너무 많은 기계가 동시에 협력하려고 할 때 어려움을 겪는 경우가 많습니다. 이 방식은 사전에 세상에 대한 완벽한 지식을 요구하는데, 이는 혼잡한 도시의 무질서한 현실에서는 거의 불가능합니다.

인도의 국립 기술 연구소(National Institute of Technology Calicut)에서 새로운 접근 방식이 등장하고 있는데, 이곳의 연구진은 드론에게 미리 작성된 규칙을 따르는 대신 경험으로부터 배우도록 가르치고 있습니다. 드론에게 마주칠 수 있는 모든 시나리오를 프로그래밍하는 대신, 연구팀은 심층 강화 학습(deep reinforcement learning)이라는 방법을 사용했습니다. 이 시스템에서 드론은 거대한 가상 교실의 학생처럼 행동합니다. 드론은 다양한 움직임을 시도하고, 실수를 저지르며, 피드백을 받습니다. 목표를 향해 안전하게 비행하면 긍osa적인 신호를 받고, 벽에 부딪히거나 목적 없이 방황하면 부정적인 신호를 받습니다. 수천 번의 반복 시도를 통해, 드론은 세상에 대한 관찰과 성공으로 이어지는 행동 사이의 연결 고리를 학습합니다. 연구진은 특히 근사 정책 최적화(Proximal Policy Optimization)라고 알려진 알고리즘을 활용했는데, 이는 학습 과정이 안정적이고 효율적으로 유지되도록 도와주어 드론이 의사 결정 과정에서 급격하고 불규칙한 도약을 하지 않도록 방지하는 정교한 도구입니다.

연구팀은 이 학습 기반 접근 방식이 여러 대의 드론을 복잡한 도시 경관 속에서 동시에 안내하는 어려운 과제를 수행할 수 있는지 확인하고자 했습니다. 그들은 높은 건물들이 장애물 역할을 하고 드론이 도착해야 할 특정 지점들이 존재하는 디지털 도시 시뮬레이션을 제작했습니다. 첫 번째 테스트에서, 한 대의 드론에게 2차원 평면에 흩어져 있는 10개의 직사각형 장애물을 피하며 시작 지점에서 목표 지점까지 비행하는 임무가 주어졌습니다. 드론은 레이아웃에 대한 아무런 지식 없이 시작했습니다. 시뮬레이션 내에서의 반복적인 실험을 통해, 드론은 틈 사이를 헤치고 나가는 법을 배웠으며, 충돌을 피하기 위해 실시간으로 경로를 조정하는 법을 익혔습니다. 결과는 드론이 매번 목적지에 성공적으로 도달했음을 보여주었으며, 안전하고 효율적인 전략을 학습했음을 입증했습니다.

연구진이 3차원 환경에 여러 대의 드론을 도입했을 때 도전 과제는 훨씬 더 어려워졌습니다. 그들은 높이와 너비가 각기 다른 7개의 건물이 있는 도시를 시뮬레이션하여, 강철과 콘크리트의 복잡한 미로를 만들었습니다. 두 대의 드론이 동일한 출발점에서 방출되었지만, 각자 다른 목적지를 할당받았습니다. 목표는 두 드론이 건물에 부딪히거나 서로 충돌하지 않고 각자의 목표에 도달하는 것이었습니다. 이 시나리오에서 드론은 정적인 장애물을 항해하는 법뿐만 아니라, 동료 항공기의 움직임을 예측하는 법도 배워야 했습니다. 시뮬레이션 결과, 드론들은 비행 경로를 성공적으로 조율했습니다. 한 대의 드론은 첫 번째 목표물을 향해 비행한 후 두 번째 목표로 진행했고, 다른 한 대는 자신의 목표를 향해 완전히 다른 경로를 따라갔습니다. 여정 내내 그들은 안전 거리를 유지했으며, 이는 학습 알고리즘이 동일한 공역을 공유하는 다중 에이전트의 복잡성을 처리할 수 있음을 보여주었습니다.

연구진은 더욱 역동적인 조건에서 시스템을 테스트하기 위해 움직이는 목표물을 도입했습니다. 이 실험에서 두 대의 드론은 도시를 가로질러 예측 불가능하고 비선형적인 경로로 움직이는 두 개의 별개 목표물을 추적하는 임무를 맡았습니다. 목표물은 정지된 점이 아니라 방향을 바꿀 수 있는 움직이는 물체였으며, 이는 드론이 끊임없이 전략을 업데이트하도록 강요했습니다. 드론은 정적인 건물과 서로를 피하면서도 움직이는 목표물을 추적하는 법을 배워야 했습니다. 시뮬레이션 결과, 드론들은 목표물을 성공적으로 가로챌 수 있었으며, 가로지점(interception point)에 도달했을 때 자신의 움직임을 멈추었습니다. 학습 과정은 견고했습니다. 훈련이 계속됨에 따라 드론의 성능은 향상되었고, 비행 경로는 더 부드럽고 직접적으로 변했습니다. 이 시스템은 변화하는 조건에 적응할 수 있는 능력을 입증했는데, 이는 교통량과 장애물이 결코 정지해 있지 않은 실제 환경 배치에 있어 핵심적인 요구 사항입니다.

연구진은 미래의 상태를 예측하기 위해 복잡한 계산에 의뢰하는 모델 예측 제어(Model Predictive Control)와 같은 전통적인 제어 방식과 자신들의 연구 결과를 비교했습니다. 그러한 전통적인 방식은 단순하고 예측 가능한 환경에서는 잘 작동하지만, 연구는 역동적이고 다중 에이전트가 참여하는 시나리오의 높은 속도와 예측 불가능성에 직면했을 때 어려움을 겪는다는 것을 발견했습니다. 반면, 학습 기반 접근 방식은 도시에 대한 완벽한 모델을 요구하지 않았습니다. 대신, 상호작용을 통해 항해의 규칙을 학습했습니다. 시뮬레이션 결과는 이 방법이 자율 비행을 위한 확장 가능하고 지능적인 솔루션을 제공한다는 것을 시사합니다. 드론은 학습 내용을 일반화할 수 있었는데, 이는 즉, 한 환경에서 배운 것을 약간 다른 환경에서도 성공적으로 항해하는 데 적용할 수 있음을 의미하며, 이는 실제 적용을 위한 핵심 단계입니다.

이러한 유망한 결과에도 불구하고, 이 연구는 여전히 시뮬레이션 단계에 머물러 있습니다. 드론들은 실제 하늘의 물리적 하드웨어가 아닌 가상 세계에서 테스트되었습니다. 저자들은 컴퓨터 모델에서 실제 드론으로 넘어가는 과정에는 물리적 제약, 센서 노이즈, 실제 날씨와 바람의 예측 불가능성과 같은 상당한 장애물이 있음을 인정합니다. 그들은 향-후 연구가 실제 항공기에서 이러한 발견을 검증하고, 더 큰 드론 군집(swarms)을 관리하기 위해 시스템을 확장하는 방법을 탐구해야 한다고 언급했습니다. 그럼에도 불구하고, 이 연구는 심층 강화 학습이 기계에게 복잡하고 공유된 공간을 안전하게 항해하는 법을 가르칠 수 있다는 것을 명확하게 보여주는 증거를 제공합니다. 드론이 스스로의 경험으로부터 배우게 함으로써, 이 접근 방식은 자율 항공 차량을 우리의 도시 경관에 안전하고 효율적으로 통합하기 위한 실행 가능한 경로를 제시합니다.