Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

비행기를 타고 한 도시에서 다른 도시로 이동하는 것은 단순히 지도 위에 직선을 긋는 문제가 아닙니다. 지구는 둥글지만, 대기는 균일하지 않습니다. 대기는 바람, 온도, 기압이 끊임없이 변화하는 움직이는 3차원적인 바다와 같습니다. 이 환경 속에서 가장 효율적인 경로를 찾기 위해 조종사와 자동화 시스템은 연료 소비를 최소화하면서 이러한 보이지 않는 기류를 항해하는 경로를 계산해야 합니다. 이는 항공기 자체가 매우 복잡한 기계이며, 속도나 고도의 모든 변화가 강력한 컴퓨터 시뮬레이션을 통해 예측해야 하는 방식으로 날씨와 상호작용하기 때문에 매우 복잡한 수학적 과제입니다. 비행 계획을 며칠 전에 세울 때는 컴퓨터가 이러한 무거운 계산을 수행할 시간이 충분합니다. 하지만 승객이 위독해져서 비행기가 가장 가까운 병원으로 회항해야 하는 상황과 같은 비상시에는 동일한 계산을 단 몇 초 만에 수행해야 합니다. 정확하지만 느린 시스템은 위기 상황에서 무용지물이며, 반대로 빠르지만 부정확한 시스템은 위험한 연료 부족이나 목적지 미도착을 초0 초래할 수 있습니다.

볼로냐 대학교의 연구진은 에어버스(Airbus)의 성능 모델과 협력하여 두 가지 서로 다른 유형의 인공지능을 결합함으로써 이 문제를 해결하는 새로운 방법을 개발했습니다. 강화 학습(reinforcement learning)으로 알려진 첫 번째 유형은 수천 개의 경로를 비행해 본 경험이 풍부한 숙련된 조종사처럼 작동하며, 여정의 전반적인 형태와 날씨를 바탕으로 즉각적으로 좋은 경로를 인식할 수 있습니다. 두 번째 유형인 전통적인 탐색 알고리즘은 꼼밀한 엔지니어처럼 작동하여, 절대적으로 최선의 경로를 찾기 위해 가능한 모든 변수를 확인합니다. 연구진은 '조종사' AI가 먼저 대략적이고 빠른 경로를 스케치하게 하면, 그 후에 '엔지니어' AI에게 그 스케치 근처의 경로만을 살펴보라고 지시할 수 있다는 사실을 발견했습니다. 표준 데스크톱 컴퓨터에서 테스트한 이 접근 방식은 정밀한 탐색만을 사용할 때보다 최대 5로 50% 더 빠르게 솔루션을 찾을 수 있었으며, 연료 소비량은 거의 동일했습니다.

이 새로운 방법의 핵심은 두 인공지능 시스템이 서로 어떻게 소통하느냐에 있습니다. 첫 번째 시스템인 강화 학습 에이전트는 유럽 전역의 수천 가지 무작위 비행 시나리오를 바탕으로 훈련되었습니다. 이 에이전트의 임무는 완벽한 경로를 찾는 것이 아니라, 매우 좋은 경로를 매우 빠르게 찾는 것입니다. 에이전트는 출발점, 목적지, 그리고 날씨를 살펴본 뒤, 몇 번의 회전만 포함된 단순한 선을 연결합니다. 계산 속도를 높이기 위해 고도 변화와 같은 세부 사항은 무시하고, 대신 일반적인 방향과 바람에 집중합니다. 이 과정은 비행 거리에 관계없이 약 1.5초 만에 완료됩니다. 일단 이 대략적인 경로가 그려지면 두 번째 시스템이 제어권을 넘겨받습니다. 이것이 바로 전통적인 플래너(planner)로, 보통 방대한 격자 옵션 속에서 모든 가능한 경로를 확인하느라 많은 시간을 소비합니다. 이 새로운 하이브리드 설정에서 플래너는 엄격한 지침을 받습니다. 즉, 첫 번째 에이전트가 그린 대략적인 경로를 둘러싼 좁은 회랑(corridor) 내에서만 최종적인 완벽한 경로를 탐색해야 한다는 것입니다.

탐색 영역을 제한함으로써 연구진은 거대하고 시간이 많이 걸리는 문제를 훨씬 작고 관리 가능한 문제로 효과적으로 전환했습니다. 원래 백만 개의 서로 다른 가능성을 확인해야 하는 탐색을 상상해 보십시오. 대략적인 스케치를 사용하여 탐색을 유도함으로써, 시스템은 단 몇 천 개만을 확인하면 될 수도 있습니다. 지구상의 무작위 지점 간의 비행을 시뮬레이션한 테스트 결과에 따르면, 이러한 지름길은 큰 비용을 치르지 않았습니다. 거의 모든 경우에서 하이브리드 시스템의 연료 소비량은 느리고 철저한 시스템과 동일했습니다. 차이가 발생하는 경우에도 대개 1% 미만으로 매우 미미했습니다. 이는 비행기가 지름길을 택함으로써 연료를 유의미하게 더 소모하지 않으면서도, 컴퓨터는 엄청난 시간을 절약했음을 의미합니다.

연구진은 또한 검색 격자의 밀도나 비행 길의 변화와 같은 다양한 조건에서 이 방법이 어떻게 유지되는지 테스트했습니다. 그들은 검색 격자가 크고 복잡할 때, 즉 빠른 솔루션이 가장 필요할 때 이 방법이 가장 효과적이라는 것을 발견했습니다. 이러한 어려운 시나리오에서 하이브리드 시스템은 계산 시간을 거의 절반으로 줄였습니다. 그러나 그들은 또한 탐색 영역을 얼마나 축소할 수 있는지에 대한 한계도 발견했습니다. 만약 대략적인 경로 주변의 회랑을 너무 좁게 만들면, 시스템이 때때로 최선의 경로를 놓쳐 연료 사용량이 약간 높아지는 결과가 나타났습니다. 이를 통해 연구진은 속도와 정확성 사이의 균형이 검색 격자의 특정 크기에 달려 있다는 것을 배웠지만, 적절한 설정을 갖추면 시스템이 일관되게 빠르고 고품질의 결과를 제공할 수 있음을 확인했습니다.

이 연구의 함의는 단순히 컴퓨터 화면상의 시간을 절약하는 것을 넘어섭니다. 현실 세계에서 몇 초 만에 비행 경로를 재계산할 수 있는 능력은 의료 응급 상황이나 갑작스러운 기상 변화 상황에서 생사가 달린 문제가 될 수 있습니다. 연구진은 현재의 테스트가 날씨를 고정된 알려진 요소로 다루었지만, 이 시스템의 구조는 향로의 불확실성을 처리하도록 설계되었다고 언급했습니다. 강화 학습 에이전트는 패턴을 인식하도록 훈련되어 있기 때문에, 폭풍과 같은 예측 불가능한 날씨 변화를 미리 피하는 법을 학습함으로써 이를 대응할 수 있도록 잠재적으로 조정될 수 있습니다. 현재로서는 이 연구는 빠르고 직관적인 추측과 신중하고 상세한 점검을 결합하는 것이 복잡한 계획 문제를 해결하는 강력한 방법임을 입증합니다. 이는 항공업계와 같이 이해관계가 첨예한 분야에서는 항상 모든 가능성을 확인할 필요는 없으며, 때로는 어디를 살펴봐야 할지 아는 것만으로도 충분하다는 것을 보여줍니다.