Bounded Linear Programs for Data-Driven Optimal Control via Moment-Matching

지도도, 나침반도, 심지어 수평선을 볼 수 있는 명확한 시야조차 없는 상태에서 폭풍우 속을 항해하는 배를 조종한다고 상상해 보십시오. 당신은 그저 선체에 부딪히는 파도를 보고 얼굴에 스치는 바람의 변화를 느낄 수 있을 뿐입니다. 이것이 자율 주행 차량부터 전력망에 이르기까지 복잡한 기계를 제어해야 하는 많은 엔지니어와 과학자들이 직면한 현실입니다. 그들은 시스템이 어떻게 작동하는지에 대한 완전한 수학적 모델이 없는 상태에서 작업을 수행해야 합니다. 완벽한 설계도에 의존하는 대신, 그들은 실행하며 배워야 합니다. 즉, 다양한 입력에 대해 시스템이 어떻게 반응하는지 관찰하고, 실수의 비용을 기록하며, 점진적으로 작동 가능한 전략을 조각조각 맞춰나가는 것입니다. 수십 년 동안, 선형 계획법(linear programming)이라는 강력한 수학적 도구는 이러한 상황에서 최적의 전략을 찾는 방법을 제시해 왔습니다. 그러나 이 도구에는 악명 높은 결함이 있습니다. 시스템을 설명하는 변수의 수가 증가함에 따라 계산이 종종 통제 불능 상태로 치달아, 무한히 큰 답을 내놓으며 결국 쓸모없게 된다는 점입니다. 이는 마치 무게가 계속 무거워져서 결국 들보가 부러지고 마는 저울의 균형을 맞추려는 것과 같습니다.

ETH 취리히의 연구팀은 시스템이 복잡하고 데이터가 부족한 상황에서도 그 저울의 균형을 유지할 수 있는 방법을 찾아냈습니다. 그들은 원하는 솔루션의 수학적 '형태'를 관측된 데이터의 패턴과 일치시키는 '모멘트 매칭(moment-matching)'이라는 기술을 사용하여, 컴퓨터가 안정적인 답을 찾을 수 있도록 최적 제어 정책을 유도하는 새로운 방법을 개발했습니다. 이들의 연구는 시스템의 물리적 법칙을 미리 알지 못하더라도, 제한된 양의 데이터만을 사용하여 고차원적이고 비선형적인 시스템(많은 가동 부품과 복잡한 거동을 가진 기계)을 위한 제어기를 설계하는 것이 가능하다는 것을 보여줍니다. 이 접근 방식은 이론적인 가능성을 신뢰할 수 있는 공학적 도구로 변모시켜, 현실 세계를 위한 더 스마트하고 적응력 있는 제어 시스템의 문을 열어줍니다.

연구진이 해결한 핵심 과제는 수학적 계산이 걷잡을 수 없이 커지는 것을 막는 어려움입니다. 최적 제어의 세계에서 목표는 매 순간 기계가 무엇을 해야 할지 알려주는 일련의 규칙을 찾아 에너지 사용이나 이동 시간과 같은 비용을 최소화하는 것입니다. 시스템이 단순할 때는 표준적인 방법들이 잘 작동합니다. 하지만 위치, 속도, 가속도와 같이 많은 차원이 서로 상호작용하는 복잡한 시스템의 경우, 가능한 시나리오의 수가 폭발적으로 증가합니다. 연구진은 데이터 기반 방법을 사용하여 이를 해결하려는 이전의 시도들이 종종 실패했는데, 그 이유는 수학적 문제가 무한해졌기 때문이라고 지적했습니다. 즉, 컴퓨터가 무한히 커지는 솔루션을 찾으려 시도하다가 결국 계산이 중단되는 현상이 발생한 것입니다. 일부 초기 방법들은 인위적인 제약 조건이나 정규화(regularizer)를 추가하여 이를 해결하려 했으나, 이는 결과적으로 최종 제어기를 왜곡시켜 효과를 떨어뜨렸습니다. 다른 방법들은 방대한 양의 데이터에 의依赖했는데, 실험 비용이 많이 들거나 위험한 실제 환경에서는 데이터를 대량으로 수집하는 것이 불가능한 경우가 많습니다.

이를 해결하기 위해 저자들은 데이터 자체를 사용하여 탐색의 경계를 정의하는 방법을 도입했습니다. 솔루션이 어디에 위치해야 하는지 추측하는 대신, 시스템의 움직임으로부터 수집된 데이터의 구체적인 패턴을 살펴보았습니다. 그들은 데이터를 고차원 공간의 점들의 집합으로 취급하고, "우리의 탐색 방향이 이 점들에 의해 뒷받침될 수 있는가?"라는 간단한 질문을 던졌습니다. 만약 탐색 방향이 데이터가 만들어낸 가능성의 '원뿔(cone)'과 일치한다면, 계산은 반드시 유한한 값 내에 머물게 됩니다. 연구진은 관측된 데이터를 바탕으로 컴퓨터에게 무엇을 우선시할지 알려주는 수학적 가중치인 '비용 벡터(cost vector)'를 신중하게 선택함으로써, 솔루션이 유한하게 유지될 수 있음을 입증했습니다. 이는 이는 이미 지도에 그려진 지형을 고려하여 도달 가능한 목적지를 설정하는 것이지, 세상의 끝 너머에 있을지도 모르는 지점을 목표로 삼는 것이 아닙니다.

연구진은 이 아이디어를 매우 다른 두 가지 유형의 시스템에 테스트했습니다. 첫째, 그들은 예측 가능하고 직선적인 방식으로 작동하는 기계인 선형 시불변(linear time-invariant) 시스템을 살펴보았습니다. 그들은 작은 규모의 설정부터 30개의 서로 다른 상태 변수를 가진 설정까지 시스템의 복잡성을 높여가며 시뮬레이션했습니다. 이 테스트에서 그들은 고정되고 변하지 않는 비용 벡터를 사용하는 표준 방식과 자신들의 새로운 방식을 비교했습니다. 결과는 놀라웠습니다. 표준 방식은 상태 변수가 2개를 초과하는 시스템에서 솔루션을 찾는 데 실패한 반면, 모멘트 매칭 방식은 단 500개의 데이터 포인트만을 사용하고도 30개의 변수까지 갖춘 시스템에 대해 성공적으로 유한한 솔루션을 찾아냈습니다. 그들이 학습시킨 제어기는 이론적으로 가능한 최선의 결과와 비교했을 때 거의 완벽에 가까운 성능을 보였습니다.

다음으로, 연구진은 훨씬 더 어려운 영역인 비선형 기계 시스템으로 나아갔습니다. 이들은 탄성 결합, 비선형 중력, 그리고 속도의 세제곱에 비례하는 항력 등이 작용하여 힘이 단순한 직선을 따르지 않는 기계들입니다. 이러한 시스템은 제어가 매우 까다로운데, 작은 변화가 극단적으로 다른 행동을 유발할 수 있기 때문입니다. 연구진은 최대 10차원의 시스템을 시뮬레이션했으며, 표준 방식이 실패하는 지점에서도 자신들의 방식이 안정적인 솔루션을 찾을 수 있음을 발견했습니다. 한 특정 시뮬레이션에서, 그들은 자연적으로 불안정한(즉, 개입 없이는 무너지는) 4차원 시스템을 제어했습니다. 그들이 학습시킨 제어기는 시스템을 안정적인 평형 상태로 유도하여 균형을 유지시킨 반면, 제어되지 않은 동일한 시스템은 경로를 이탈했습니다. 이 성공의 핵심은 더 많은 데이터를 확보하는 것이 아니라, 데이터를 더 똑똑하게 사용하는 데 있었습니다. 데이터의 모멘트(즉, 관측된 행동의 평균값과 확산 정도)를 일치시킴으로써, 그들은 수학적 문제를 풀 수 있게 만드는 비용 함수를 구축할 수 있었습니다.

이 접근 방식의 묘미는 효율성과 현재 보유한 데이터에 대한 의존성에 있습니다. 연구진은 이 방법이 시스템의 복잡성에 비해 데이터 포인트의 수가 적을 때도 작동한다는 것을 보여주었습니다. 그들은 보조 샘플 포인트의 크기를 늘림으로써 더 큰 시스템에 대해서도 솔루션을 찾을 확률을 높일 수 있다는 것을 발견했습니다. 이는 병목 현상이 데이터의 양이 아니라, 그 데이터를 어떻게 해석하느냐에 달려 있음을 시사합니다. 이 방법은 시스템이 선형일 필요도, 역학 관계를 미리 알고 있을 필요도 없습니다. 오직 수집된 데이터가 문제의 형태를 정의할 수 있을 만큼 충분한 정보를 제공하기만 하면 됩니다. 이 방법을 설정하는 데 드는 계산 비용은 낮으며, 일반적인 컴퓨터로 빠르게 해결할 수 있는 선형 방정식 세트만을 포함합니다.

궁극적으로, 이 연구는 고차원 공간에서의 데이터 기반 제어를 향한 실질적인 경로를 제공합니다. 이 연구는 복잡한 기계를 제어하기 위해 반드시 방대한 데이터셋이나 완벽한 모델이 필요하다는 관념에서 벗어나게 해줍니다. 대신, 적절한 수학적 프레임워크가 있다면 상대적으로 적은 양의 데이터만으로도 안정적이고 효과적인 제어기를 도출할 수 있음을 보여줍니다. 연구진은 자신들의 시뮬레이션이 유망하지만, 현재 이 방법은 다항식 특징을 가진 결정론적 시스템에 대해 증명되었다는 점을 주의 깊게 언급했습니다. 그들은 이 기술이 무작위성이 더 크게 작용하는 확률적 시스템(stochastic systems)과 훨씬 더 복잡한 유형의 함수로 확장될 미래를 보고 있습니다. 하지만 현재로서는, 그들은 차원의 저주가 오랫동안 이러한 유형의 계산을 괴롭혀온 문제를 길들일 수 있음을 입증해 냈습니다. 관측된 데이터의 현실에 최적 제어 정책 탐색의 근거를 둠으로써, 그들은 이론적 개념을 더 나은, 더 안전하고, 더 지능적인 기계를 만드는 데 사용할 수 있는 도구로 탈바ord시켰습니다.