Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

당신이 로봇에게 비행기를 조종하는 법을 가르치고 있다고 상상해 보세요. 바람은 변하고, 연료 무게는 바뀌며, 고도가 높아지면 공기가 희박해지기 때문에, 당신은 로봇에게 딱딱하게 정해진 매뉴얼을 주고 싶지 않을 것입니다. 대신, 로봇이 업무를 수행하면서 직접 부딪히며 최적의 움직임을 찾아내도록 하고 싶을 것입니다. 이것이 바로 "근사 동적 계획법(Approximate Dynamic Programming, ADP)"의 세계입니다. ADP를 시행착오를 거치며 배우고, 그 과정을 통해 자신의 뇌(신경망)를 더 나은 방향으로 조정하는 아주 똑똑한 학생이라고 생각해보세요. 이는 마치 비디오 게임 캐릭터가 게임을 더 많이 플레이할수록 장애물을 더 잘 피하게 되는 것과 같지만, 실제의 무거운 기계인 비행기를 대상으로 하는 것입니다.

하지만 문제가 하나 있습니다. 이 학습하는 로봇들이 흥분하거나 혼란에 빠지면, 경련을 일으킬 수 있습니다. 아주 작은 오차를 바로잡으려고 조종간을 앞뒤로 격렬하게 흔들 수도 있습니다. 현실 세계에서 이는 매우 위험합니다. 이는 비행기를 흔들리게 만들고, 연료를 낭비하며, 날개를 움직이는 기계 부품들을 망가뜨릴 수 있습니다. 과학자들의 큰 질문은 이것입니다. 어떻게 하면 로봇에게 빠르게 배우도록 가르치면서도, 동시에 떨림(jittery) 현상을 유발하지 않도록 가르칠 수 있을까? 우리는 로봇에게 이렇게 말할 수 있는 방법을 찾아야 합니다. "이봐, 부드럽게 움직여. 저 새를 보려고 목을 홱 꺾지 마."

이 논문은 비행 제어에 대한 바로 그 문제를 다룹니다. 저자인 이페이 리(Yifei Li)와 에릭-얀 반 캄펜(Erik-Jan van Kampen) 박사는 이러한 비행 로봇이 떨림 없이 차분하고 안정적으로 학습할 수 있도록 하는 새로운 방법을 제안합니다. 그들은 "시계열적으로 매끄러운 증분 모델 기반 휴리스틱 동적 계획법(Temporally Smoothed Incremental Model-based Heuristic Dynamic Programming, TS-IHDP)"이라는 방법을 소개합니다. 쉬운 말로 풀어서 설명하자면, 이것은 비행기가 떨림 없이 특정 받음각(angle of attack, 비행기 코가 얼마나 가파르게 위를 향하는지)을 추적하도록 가르치는 화려한 레시피입니다.

연구진은 단순히 로봇에게 "부드럽게 행동하라"고 말하는 것만으로는 충분하지 않다는 것을 발견했습니다. 어떻게 벌금을 매길지에 대해 영리하게 접근해야 합니다. 그들은 엄격하지만 공정한 코치처럼 작동하는 시스템을 개발했습니다. 만약 로봇의 제어 명령이 너무 심하게 요동치기 시작하면, 코치는 자동으로 규칙을 강화합니다. 만약 로봇이 너무 뻣뻣해서 목표를 놓치고 있다면, 코치는 규칙을 완화합니다. 또한 그들은 "저역 통과 필터(low-pass filter)"를 추가했는데, 이는 로봇의 뇌를 위한 쇼크 업소버(충격 흡수 장치)와 같습니다. 이 필터는 고주파의 불안정한 신호가 날개에 도달하기 전에 이를 매끄럽게 다듬어 줍니다.

결정적으로, 그들은 모든 것을 처리하는 하나의 거대한 뇌를 만든 것이 아닙니다. 대신, 그들은 "계층적(cascaded)" 제어 구조를 설계했는데, 이는 마치 두 명의 팀원이 협력하는 것과 같습니다. 첫 번째 사람인 **외곽 루프 에이전트(outer-loop agent)**는 미션 사령관 역할을 합니다. 이 에이전트의 유일한 임무는 비행기의 코가 향하는 완벽한 속도와 방향(피치 레이트)을 결정하는 것입니다. 이 에이전트는 날개에 직접 손을 대지 않습니다. 두 번째 사람인 **내부 루프 에이전트(inner-loop agent)**는 조종사 역할을 합니다. 이 에이전트는 사령관의 명령을 듣고 실제로 제어면(날개와 꼬리)을 움직여 코를 이동시킵니다. 이 팀워크는 매우 중요합니다. 왜냐하면 로봇이 혼란에 빠지는 것을 막아주기 때문입니다. 만약 하나의 거대한 뇌가 이 두 가지 일을 동시에 하려고 한다면, 과부하가 걸려 경련을 일으킬 것입니다. 작업을 분리함으로써, "사령관"은 큰 그림에 집중할 수 있고, "조종사"는 매끄러운 실행에 집중할 수 있어 전체 시스템이 훨씬 더 안정적이 됩니다.

컴퓨터 시뮬레이션을 통해 그들은 자신들의 방법이 효과가 있음을 보여주었습니다. 그들의 로봇은 이전 방식보다 훨씬 더 부드럽게 비행하는 법을 배웠으며, 일반적으로 이러한 시스템에서 발생하는 격렬한 떨림을 피했습니다. 그들은 목표를 더 정확하게 추적했으며, 제어면을 망가뜨리지도 않았습니다. 이 논문은 "매끄러움 코치"와 "쇼크 업소버 필터", 그리고 "두 명의 팀원 방식"을 결합함으로써, 비행기의 물리적 특성이 다소 불확실하더라도 데이터 기반 비행 제어를 더 안전하고 신뢰할 수 있게 만들 수 있다고 제안합니다.

떨리는 조종사의 이야기

이것이 어떻게 작동하는지에 대한 이야기를 깊이 파헤쳐 봅시다. 당신이 앵무새에게 특정 노래를 흉내 내도록 가르치고 있다고 상상해 보세요. 만약 당신이 그냥 "따라 해"라고만 말한다면, 앵무새는 흥분해서 음을 너무 빠르고 크게 내거나 이상한 멈춤을 만들 수 있습니다. 비행 제어의 세계에서 이 "앵무새"는 컴퓨터 뇌(신경망)이며, "노래"는 비행 경로입니다.

문제는 앵무새가 실수를 했을 때 종종 과하게 수정(overcorrect)한다는 점입니다. 너무 세게 소리를 지르고, 다시 반대 방향으로 너무 세게 교정하여, 떨리는 엉망진창인 상태를 만듭니다. 논문에서 저자들은 이를 "진동하는 제어 동작(oscillatory control actions)"이라고 부릅니다. 이는 자동차 운전 중에 차선을 유지하려고 핸들을 왼쪽, 오른쪽, 다시 왼쪽으로 급격하게 꺾는 것과 같습니다. 보기에는 우스꽝스러울지 몰라도, 자동차에는 매우 위험하고 부품을 마모시키는 일입니다.

이를 해결하기 위해 저자들은 새로운 학습 시스템을 구축했습니다. 먼저, 그들은 "증분 모델(incremental model)"이라는 것을 사용했습니다. 이것을 국지적인 지도라고 생각하세요. 지구 전체(비행기의 전체 물리 법칙)를 암기하는 대신, 로봇은 바로 자기 앞에 있는 아주 작은 땅의 조각만을 봅니다. 로봇은 "지금 당장 스틱을 아주 조금 오른쪽으로 밀면, 다음에 어떤 일이 일어날까?"라고 묻습니다. 이는 전체 여정이 아니라 다음 한 인치에 집중하며 자전거 타기를 배우는 것처럼, 학습을 훨씬 빠르고 쉽게 만듭니다.

하지만 국지적인 지도가 있더라도 로봇은 여전히 떨릴 수 있습니다. 그래서 저자들은 "시계열적 매끄러움 페널티(temporal smoothness penalty)"를 추가했습니다. 당신이 앵무새의 훈련사라고 상상해 보세요. 당신에게는 이런 규칙이 있습니다. "음표 사이에서 목소리 크기를 너무 빨리 바꾸면, 점수를 깎겠다." 컴퓨터 상에서 이것은 수학적인 페널티입니다. 로봇의 제어 신호가 한 순간에서 다음 순간으로 너무 빠르게 변할 때마다, 시스템은 점수에 "벌금"을 부과합니다. 로봇은 매끄럽게 움직이는 것만이 좋은 성적을 받는 유일한 길임을 배웁니다.

그러나 까다로운 부분이 있었습니다. 벌금을 얼마나 매겨야 할까요? 벌금이 너무 적으면 앵무새는 계속 소리를 지를 것이고, 벌금이 너무 크면 앵무새는 겁을 먹고 노래를 아예 멈춰버려 목표를 놓칠 것입니다. 저자들은 "프라이멀-듀얼(primal-dual)" 접근법으로 이 문제를 해결했습니다. 이것은 앵무새를 관찰하며 실시간으로 벌금을 조정하는 똑똑한 훈련사와 같습니다. 만약 앵무새가 여전히 너무 떨린다면, 훈련사는 벌금을 높입니다. 만약 앵무새가 너무 느려서 목표를 놓치고 있다면, 훈련사는 벌금을 낮춥니다. 시스템은 인간이 추측할 필요 없이 자동으로 최적의 균형점을 찾아냅니다.

마지막으로, 그들은 "저역 통과 필터(low-pass filter)"를 추가했습니다. 이것은 로봇의 뇌를 위한 노이즈 캔슬링 헤드폰이라고 생각하세요. 설령 로봇의 뇌가 약간 격렬한 신호를 보내더라도, 이 필터는 날개에 도달하기 전에 이를 매끄럽게 다듬어 줍니다. 이는 울퉁불퉁한 도로에 쇼크 업소버를 설치하는 것과 같습니다. 차는 여전히 움직이지만, 승차감은 훨씬 더 부드러워집니다.

연구 결과

저자들은 이러한 아이디어들을 비행체의 컴퓨터 시뮬레이션에 적용했습니다. 그들은 자신들의 새로운 "매끄러운" 로봇을 기존 방식들과 비교 테스트했습니다.

결과는 명확했습니다. 이러한 특별한 매끄러움 훈련이 없었던 기존 방식의 로봇들은 너무 떨리거나, 과잉 수정의 굴레에 갇히고 말았습니다. 그들은 제어면을 너무 심하게 흔들어 시뮬레이션상에서 자동차 엔진이 터질 때까지 RPM을 올리는 것처럼 물리적 한계에 부딪히는 모습을 보였습니다.

반면, 새로운 TS-IHDP 방식은 매끄럽게 비행하는 로봇을 만들어냈습니다. "피치 레이트"(비행기 코가 위아래로 움직이는 속도)와 "제어면 편향"(날개가 기울어지는 정도)이 훨씬 더 차분했습니다. 로봇은 단순히 떨림을 멈춘 것이 아니라, 실제로 더 잘 비행했습니다. 목표 받음각을 더 정확하게 추적했으며, 쓸데없는 진동에 에너지를 낭비하지 않았습니다.

"스마트 훈련사"(프라이멀-듀얼 방식)에 관한 흥한 발견도 있었습니다. 저자들은 규칙을 너무 엄격하게 설정하면 로봇이 너무 조심스러워진다는 것을 발견했습니다. 로봇은 목표를 따라잡을 만큼 빠르게 움직이지 못해 추적 성능이 떨어졌습니다. 하지만 훈련사가 규칙을 자동으로 조정하게 두면, 로봇은 매끄러우면서도 반응성이 좋은 최적의 지점을 찾아냈습니다.

또한 그들은 "바람"이 변할 때(비행체의 물리 법칙에 불확실성을 주는 상황) 어떤 일이 일어나는지 테스트했습니다. 새로운 방식으로 훈련된 로봇, 특히 쇼크 업소버 필터가 포함된 모델은 다른 모델들보다 이러한 갑작스러운 변화를 훨씬 더 잘 다루었습니다. 게임의 규칙이 약간 변하더라도 경로를 이탈하지 않고 잘 유지했습니다.

결론

이 논문은 모든 비행 제어 문제를 영원히 해결했다고 주장하는 것이 아닙니다. 결국 이것은 시뮬레이션이지, 실제 하늘을 나는 비행기가 아니기 때문입니다. 하지만 이 논문은 매우 유망한 경로를 제시합니다. 학습하는 로봇에게 정확도만큼이나 매끄러움을 중요하게 여기도록 가르치고, 스스로의 행동을 자동 조절하는 방법을 제공함으로써, 데이터 기반 비행 제어를 더 안전하고 신뢰할 수 있게 만들 수 있습니다.

저자들은 빠르게 배우는 로봇과 부드럽게 비행하는 로봇 중 하나를 선택할 필요가 없다는 것을 보여주었습니다. 국지적 지도, 자동 규칙 조정, 그리고 쇼크 업소버의 적절한 조합이 있다면 두 가지를 모두 가질 수 있습니다. 이는 미래의 자율 비행이 떨리는 비디오 게임 캐릭터가 아닌, 우아하고 안정적인 새처럼 되기 위한 한 걸음입니다.