3DIOC: Direct Data-Driven Inverse Optimal Control for LTI Systems

당신이 한 마스터 셰프가 완벽한 요리를 만드는 모습을 지켜보고 있다고 상상해 보십시오. 당신은 그들이 집어 드는 재료, 칼질하는 방식, 그리고 마지막으로 내놓는 접시를 볼 수 있습니다. 하지만 당신은 비밀 레시피, 즉 소금을 얼마나 넣었는지, 불 조절은 어떻게 했는지, 혹은 정확히 어떤 기준으로 향신료를 섞기로 결정했는지는 알지 못합니다. **역 최적 제어(Inverse Optimal Control)**는 바로 이 셰프가 요리하는 모습을 관찰함으로써 그 비밀 레시피를 알아내는 기술입니다.

오랫동안 과학자들은 이러한 "레시피"를 기계(구체적으로는 선형 시불변 또는 LTI 시스템)로부터 역설계하려 노력해 왔지만, 한 가지 큰 장애물에 부딪혔습니다. 바로 기계의 내부 설계도를 먼저 알아야 한다는 점이었습니다. 그들은 기계가 무엇을 달성하려고 하는지 추측하기 전에, 기계가 어떻게 작동하는지에 대한 모델을 먼저 구축해야 했습니다. 이는 마치 주방의 모든 냄비와 팬의 정확한 화학적 성분을 먼저 측정해야만 셰프의 레시피를 추측할 수 있는 것과 같았습니다.

3DIOC라는 제목의 이 논문은 이 퍼즐을 풀기 위한 새로운 "직접적인(direct)" 방법을 소개합니다. 저자인 첸디 쿠(Chendi Qu), 지안핑 허(Jianping He), 샤오밍 두안(Xiaoming Duan)은 기계의 설계도를 완전히 건너뛰는 방식을 제안합니다. 그들은 기계의 내부 기어나 방정식을 알 필요가 없습니다. 대신, 그들은 무엇이 들어갔고 무엇이 나왔는지에 대한 데이터인 "입출력(input-output)" 흔적을 직접 보고 숨겨진 목표를 파악합니다.

마법의 기술: 근본 정리(The Fundamental Lemma)

여기 사용된 비법 소스는 행동 시스템 이론(behavioral system theory)의 **근본 정리(Fundamental Lemma)**입니다. 이것을 이렇게 생각해 보십시오. 만약 당신이 기계가 움직이는 긴 영상을 가지고 있다면, 그 영상에는 기계가 움직일 수 있는 모든 가능한 방식이 담겨 있습니다. 기계의 물리 법칙을 알 필요는 없습니다. 영상 자체가 지도이기 때문입니다.

저자들은 이 아이디어를 사용하여 "모델 프리(model-free)" 규칙을 만들었습니다. 그들은 수학적 조건(KKT 조건이라 불리는)을 도출했는데, 이는 다음과 같이 말합니다: "만약 기계가 최적으로 행동하고 있다면, 기계가 남긴 데이터는 반드시 이 특정한 패턴에 부합해야 한다." 데이터를 이 패턴에 맞는지 확인함으로써, 우리는 역으로 그 데이터를 만들어낸 숨겨진 가중치(기계의 목적 함수에 들어가는 "소금과 후추")를 찾아낼 수 있습니다.

퍼즐을 푸는 두 가지 방법

이 논문은 데이터가 얼마나 지저분한지에 따라 두 가지 도구를 제공합니다.

1. "완벽한 세상" 해결사 (KKT 기반 3DIOC)
데이터가 깨끗하다면—마치 스튜디오에서 노이즈나 글리치 없이 녹화된 영상처럼—저자들은 KKT 조건에 기반한 방법을 사용합니다. 이것은 모든 조각이 완벽하게 맞아떨어지는 퍼즐을 푸는 것과 같습니다.

• 작동 방식: 그들은 "어떤 가중치가 데이터를 이 완벽한 패턴에 부합하게 만드는가?"라고 묻는 수학 문제를 설정합니다.
• 함정: 작은 트릭이 하나 있습니다. 수학은 만약 기계가 모든 것을 두 배로 늘린다면, "설탕 1컵"이 들어간 레시피와 "설탕 2컵"이 들어간 레시피를 구분할 수 없습니다. 따라서 해결책은 단 하나의 숫자가 아니라, 서로 스케일만 다른 일련의 해집합(family of solutions)이 됩니다. 논문은 충분한 데이터(구체적으로 관찰의 '호라이즌' 또는 길이가 충분히 길다면)가 있다면 이 해집합이 유일하다고 증명합니다.
• 결과: 시뮬레이션에서 이 방법은 믿을 수 없을 정도로 빠르고 정확했습니다. 단 하나의 오프라인 궤적(길이 50)과 하나의 최적 궤적만으로 답을 찾아냈습니다. 이는 모델을 먼저 구축하려고 했던 다른 방법들보다 더 느리고 부정확했습니다.

2. "지저난 세상" 해결사 (Bi-level Optimization)
실제 세상은 스튜디오처럼 완벽하지 않습니다. 데이터에는 노이즈—글리치, 정전기, 혹은 무작위 오류—가 섞여 있기 마련입니다. 데이터에 노이즈가 있으면 "완벽한 세상" 해결사는 혼란에 빠져 실패할 수 있습니다.

• 새로운 접근법: 저자들은 이중 수준 최적화(Bi-level Optimization) 전략으로 전환합니다. 이것은 "뜨겁다, 차갑다" 게임을 상상해 보십시오.
  • 내부 루프(Inner Loop): 레시피(가중치)를 추측합니다.
  • 외부 루프(Outer Loop): 기계의 실제 행동이 당신이 복제하려는 전문가의 행동으로부터 얼마나 벗어나 있는지 확인합니다.
  • 목표: 당신의 추측이 "더 뜨거워지도록"(전문가에게 더 가까워지도록) 계속 조정합니다.
• 왜 더 나은가: 이 방법은 노이즈를 처리하도록 설계되었습니다. 논문은 데이터가 많아질수록 이 방법이 결국 최선의 추측을 찾아낼 것임을 수학적으로 증证明합니다. 이는 마치 일부 단서가 잘못되었더라도, 더 많은 단서를 모으면서 이론을 계속 다듬어 나가는 탐정과 같습니다.

이 논문이 "아니오"라고 말하는 것들

저자들은 자신들의 방법이 무엇이 아닌지를 매우 명확히 밝힙니다.

• 시스템 식별(System Identification) 아님: 그들은 "먼저 시스템을 식별하는" 기존 방식에 대해 명시적으로 반대합니다. 그들은 목표를 추측하기 전에 기계의 모델을 구축하려고 시도하는 것이 오류를 유발하고 데이터를 낭비한다는 것을 보여줍니다. 그들의 방법은 "직접적"이며, 이는 데이터에서 목표로 곧장 나아감을 의미합니다.
• 데이터가 너무 적을 때의 마법은 없음: 그들은 만약 기계를 충분히 오래 관찰하지 않는다면(즉, 호라이즌 $N$이 너무 짧다면) 문제가 해결 불가능하다고 경고합니다. 데이터가 특정 수학적 임계값(기계의 입력 및 출력 크기와 관련된)을 초과해야 하며, 그렇지 않으면 비밀 레시피는 숨겨진 채로 남게 됩니다.
• 상태 관찰 불필요: 기계의 내부 상태(예: 모든 기어의 정확한 위치)를 볼 필요가 있는 많은 다른 방법들과 달리, 이 방법은 입출력만을 필요로 합니다. 기계 내부를 볼 수 없어도 작동합니다.

얼마나 확신할 수 있는가?

저자들은 확신하면서도 신중합니다.

• 증명됨: 그들은 노이즈가 없는 세상에서 자신들의 방법이 작동하며, 충분한 데이터가 수집되면 유일한 해를 가진다는 것을 수학적으로 증명했습니다. 또한 "지저분한 세상" 방법이 데이터가 증가함에 따라 올바른 답으로 수렴할 것임을 증명했습니다.
• 시뮬레이션: 성능 수치는 컴퓨터 시뮬레이션으로부터 나온 것입니다. 그들은 3개의 상태와 2개의 입력을 가진 무작위 생성 기계로 테스트를 진행했습니다. 이 테스트에서 그들의 방법은 "시스템 식별(System Identification)" 및 "최대 엔트로피(Maximum Entropy)" 베이스라인보다 더 빠르고 정확했습니다.
• 강건성(Robustness): 시뮬레이션을 통해 그들은 무작위 스파이크나 균등 오류와 같은 다양한 유형의 노이즈를 잘 처리함을 보여주었습니다. 다만 노이즈가 매우 클 경우 오차가 증가한다는 점도 보여주었습니다.

결론

이 논문은 단순히 움직임을 관찰함으로써 기계의 목표를 역설계하는 영리하고 직접적인 방법을 제시합니다. 모델을 구축하는 지루한 단계를 건너뛰고 곧바로 핵심으로 들어갑니다. 데이터가 깨끗하면 퍼즐을 즉시 해결하고, 데이터가 노이즈가 섞여 있다면 최선의 답을 찾기 위해 스마트한 반복 추측 게임을 사용합니다. 현재 이러한 결과는 시뮬레이션에 기반하고 있지만, 그 뒤의 수학적 토대는 탄탄하며, 로봇이나 자율 시스템이 작동 매뉴얼 없이도 시연으로부터 학습할 수 있는 유망한 새로운 길을 제시합니다.