Distributed Koopman Learning using Partial Trajectories for Control

이 논문은 다중 에이전트 시스템에서 각 에이전트가 부분 궤적만 활용하여 국소적으로 딥koopman 모델을 학습하고, 학습된 역학 정보만 교환하여 전역 역학 모델의 합의를 이루는 분산 데이터 기반 제어 프레임워크 (DDKL-PT) 를 제안하고 이를 모델 예측 제어에 성공적으로 적용한 결과를 제시합니다.

핵심

🎬 비유: "각자 다른 영화를 본 5 명의 영화 평론가"

상상해 보세요. 거대한 영화 한 편이 있는데, 이 영화를 5 명의 평론가 (에이전트) 가 함께 분석해야 한다고 칩시다.

1. 문제 상황:

   • 이 영화는 너무 길어서 한 사람이 처음부터 끝까지 다 볼 시간이 없습니다.
   • 그래서 1 번 평론가는 0 분10 분, 2 번 평론가는 10 분20 분처럼 각자 영화의 일부 구간 (부분 궤적) 만 봅니다.
   • 또한, 비밀 유지가 중요해서 평론가들은 서로 "내가 본 장면"을 보여줄 수 없습니다. (데이터 프라이버시)

2. 기존 방식 (중앙 집중식):

   • 보통은 5 명이 본 모든 장면을 한곳에 모아 "주사위"를 만들어 분석합니다. 하지만 데이터가 너무 많으면 처리가 느리고, 모든 장면을 한곳에 모으는 것 자체가 보안상 위험할 수 있습니다.

3. 이 논문이 제안한 새로운 방식 (DDKL-PT):

   • 각자 학습: 각 평론가는 자신이 본 짧은 구간만 보고 "이 영화는 이런 식으로 이야기가 전개되겠지?"라는 가설 (모델) 을 세웁니다.
   • 소문 교환 (합의): 평론가들은 서로 "내가 본 장면을 보여줘"라고 하지 않습니다. 대신 "내가 추론한 영화의 흐름 (모델)" 만 서로 공유합니다.
   • 공통된 결론: 서로의 추론을 계속 주고받으며 (네트워크 형성), 결국 5 명 모두 동일한 영화 해석에 도달합니다. 마치 5 명이 각자 다른 조각을 가지고 퍼즐을 맞추다가, 결국 같은 그림이 완성되는 것과 같습니다.

---

🔍 이 기술의 핵심 포인트

1. "쿠퍼만 (Koopman)"이란 무엇인가요?

• 비유: 복잡한 춤을 추는 사람 (비선형 시스템) 을 관찰할 때, 그 사람의 몸짓 하나하나를 외우기엔 너무 복잡합니다.
• 해결책: 대신 그 춤을 간단한 수직선과 가로선 (선형) 으로 변환해서 생각하면 훨씬 쉽게 예측할 수 있습니다.
• 이 논문은 딥러닝 (인공지능) 을 이용해 복잡한 춤을 간단한 선형 규칙으로 변환하는 '변환기'를 자동으로 찾아냅니다.

2. 왜 '부분 궤적 (Partial Trajectories)'이 중요할까요?

• 실제 세상에서는 모든 상황을 한 번에 다 볼 수 없습니다. 자율주행차나 드론은 항상 일부 구간만 경험합니다.
• 이 기술은 조각난 정보만으로도 전체 시스템의 작동 원리를 완벽하게 복원할 수 있게 해줍니다.

3. 실제 적용 예시: "수상 차량 (보트) 의 항해"

• 연구진은 이 기술을 보트 5 척에 적용했습니다.
• 각 보트는 바다의 일부 구간만 항해하며 데이터를 모았습니다.
• 서로 "내가 본 바다"를 공유하지 않고, "바다의 흐름을 예측하는 공식" 만 공유하며 학습했습니다.
• 그 결과, 각 보트는 자신의 목적지 (목표 지점) 로 정확히 도착할 수 있었습니다. 마치 5 명의 보트가 서로 대화 없이도 마치 한 팀처럼 움직인 것과 같습니다.

---

💡 이 기술이 왜 대단한가요?

1. 보안 (Privacy): "내가 본 데이터"를 남에게 주지 않아도 됩니다. 오직 "배운 지식 (모델)"만 공유하므로, 민감한 정보가 유출될 염려가 없습니다.
2. 확장성 (Scalability): 데이터가 너무 많아서 한 컴퓨터로 처리하기 힘들 때, 여러 대의 컴퓨터 (에이전트) 가 나눠서 처리하면 훨씬 빠르고 효율적입니다.
3. 실용성: 이 기술로 배운 '지식'을 이용해 최적의 경로로 이동하거나, 장애물을 피하는 제어 (MPC) 를 할 수 있을 정도로 정확도가 높습니다.

📝 한 줄 요약

"여러 명이 각자 조각난 퍼즐 조각 (데이터) 만 가지고, 서로의 '해석 (모델)'만 주고받으며 전체 그림을 완벽하게 맞추는 똑똑하고 안전한 인공지능 학습법" 입니다.

이 방법은 앞으로 자율주행차, 드론 군집, 스마트 팩토리 등 많은 기기가 협력해야 하지만 데이터 공유가 어려운 상황에서 큰 역할을 할 것으로 기대됩니다.

기술 요약

논문 요약: 분산 부분 궤적 기반의 딥 쿠퍼만 학습을 통한 제어

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율 시스템의 복잡성 증가로 인해 시스템 상태 - 입력 데이터 쌍으로부터 동역학을 학습하는 연구가 활발합니다. 특히, 비선형 시스템을 선형 형태로 변환하여 표현할 수 있는 쿠퍼만 (Koopman) 연산자 기반 방법론 (예: DKO, Deep Koopman Operator) 이 각광받고 있습니다.
• 문제점:
  1. 대규모 데이터 처리의 한계: 기존 쿠퍼만 기반 방법은 전체 데이터셋을 중앙 집중식으로 처리하므로, 데이터 양이 방대할 경우 계산 부하가 큽니다.
  2. 데이터 프라이버시 및 분산성: 다중 에이전트 시스템 (MAS) 에서 각 에이전트는 시스템의 전체 궤적이 아닌 부분적인 궤적 (Partial Trajectory) 만 관측합니다. 또한, 원시 데이터 (훈련 데이터) 를 공유하는 것은 프라이버시 침해나 통신 대역폭 문제로 인해 바람직하지 않을 수 있습니다.
• 목표: 각 에이전트가 보유한 부분 궤적 데이터만 사용하여, 원시 데이터를 공유하지 않고도 전역적인 동역학 모델에 대한 합의 (Consensus) 를 이루는 분산 학습 프레임워크를 개발하고, 이를 제어 (Model Predictive Control, MPC) 에 적용하는 것입니다.

2. 제안된 방법론 (Methodology: DDKL-PT)

저자들은 부분 궤적을 이용한 분산 딥 쿠퍼만 학습 (DDKL-PT, Distributed Deep Koopman Learning using Partial Trajectories) 을 제안했습니다.

• 기본 개념:
  • 각 에이전트 $i$는 시스템의 비선형 동역학 $x(t+1) = f(x(t), u(t))$를 쿠퍼만 연산자 프레임워크 내에서 선형 모델로 근사합니다.
  • 목표는 리프팅 함수 $g(\cdot, \theta)$와 행렬 $A, B, C$를 찾아 다음 관계를 만족하도록 하는 것입니다:
    $$g(x_{t+1}, \theta) = A g(x_t, \theta) + B u_t$$
    $$x_{t+1} = C g(x_{t+1}, \theta)$$
• 분산 최적화 문제:
  • 각 에이전트는 자신의 부분 궤적 $\xi_i$에 기반한 로컬 손실 함수 $L_i$를 최소화합니다.
  • 동시에 이웃 에이전트와 동역학 행렬 ($A, B, C$) 및 파라미터 ($\theta$) 만을 교환하여 전역적인 일관성 (Consensus) 을 유지하도록 제약 조건을 부과합니다.
• 알고리즘 단계 (2 단계):
  1. 동역학 행렬 학습 (Step 1): 고정된 파라미터 $\theta$ 하에서, 행렬 $A, B, C$를 분산 방식으로 업데이트합니다. 기존 분산 최적화 방법의 제한 (공통 스텝 사이즈 필요) 을 극복하기 위해, 보조 변수를 도입한 지수 수렴 속도의 업데이트 규칙을 적용합니다.
  2. 파라미터 튜닝 (Step 2): 학습된 행렬을 고정하고, 리프팅 함수의 파라미터 $\theta$ (신경망 가중치) 를 분산 서브그래디언트 (Distributed Subgradient) 방법으로 업데이트합니다.
• 데이터 보호: 에이전트 간에 원시 상태 - 입력 데이터 ($\xi_i$) 는 절대 공유되지 않으며, 학습된 동역학 모델 파라미터만 교환됩니다.

3. 주요 기여 (Key Contributions)

1. 새로운 분산 학습 알고리즘 개발: 다중 에이전트 시스템에서 각 에이전트가 부분 궤적만 접근 가능한 환경에서도, 원시 데이터 공유 없이 전역 동역학 모델에 합의하는 알고리즘을 제안했습니다.
2. 프라이버시 보존 및 확장성: 데이터의 로컬성과 프라이버시를 유지하면서 대규모 학습의 계산 부하를 분산시켜 확장성을 높였습니다.
3. 학습된 동역학을 활용한 MPC 설계: 학습된 쿠퍼만 동역학을 차량의 운동학 (Kinematics) 모델과 결합하여 모델 예측 제어 (MPC) 를 설계했습니다.
4. 실증적 검증: 수면 차량 (Surface Vehicle) 시뮬레이션을 통해 학습된 동역학의 정확성과 분산 제어의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 설정: 5 개의 에이전트로 구성된 다중 에이전트 시스템에서 수면 차량의 동역학을 학습했습니다. 전체 궤적 (0~5000 시간) 을 5 개의 구간으로 나누어 각 에이전트에게 할당하고, 나머지 구간을 테스트 세트로 사용했습니다.
• 동역학 학습 성능:
  • 합의 달성: 각 에이전트가 학습한 행렬 ($A, B, C$) 과 파라미터 ($\theta$) 가 시간이 지남에 따라 중앙 집중식 학습 (Centralized DKO) 결과와 일치하도록 수렴함을 확인했습니다.
  • 오차 분석: 테스트 데이터셋에서의 예측 오차는 중앙 집중식 학습 (DKO) 과 MLP(다층 퍼셉트론) 보다 약간 높았으나, 통계적으로 유의미한 수준으로 작았습니다. 이는 데이터가 분산되어 있다는 본질적인 한계 때문이나, 제어 목적에는 충분한 정확도였습니다.
• MPC 제어 성능:
  • 학습된 동역학을 기반으로 한 MPC 를 적용하여 수면 차량을 목표 지점 (Goal-tracking) 으로 이동시키는 시나리오를 수행했습니다.
  • 모든 에이전트가 약 300 시간 단계 내에 목표 상태에 도달했으며, 중앙 집중식 DKO 기반 MPC 와 비교했을 때 수렴 속도가 다소 느리고 오차가 크지만, 분산 학습된 모델로도 최적 제어 작업이 충분히 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 데이터 프라이버시가 중요한 다중 에이전트 시스템 환경에서, 대규모 동역학 학습을 효율적으로 수행할 수 있는 새로운 패러다임을 제시합니다.

• 데이터 효율성: 전체 데이터를 한곳에 모을 필요 없이 부분 데이터만으로도 전역 모델을 구축할 수 있습니다.
• 실용성: 학습된 모델이 실제 제어 (MPC) 에 적용 가능할 만큼 정확함을 보여주어, 자율 시스템의 분산 제어 및 협업 작업에 직접적으로 활용될 수 있음을 시사합니다.
• 미래 전망: 복잡한 비선형 시스템을 가진 로봇 군집, 스마트 그리드, 분산 센서 네트워크 등 데이터 공유가 제한된 다양한 분야에서 적용 가능한 기술적 기반을 마련했습니다.