Robust Receding Horizon Games with Additive Uncertainty

기술 요약: 가산 불확실성을 포함한 강건한 후퇴 수평 게임 (Robust Receding Horizon Games with Additive Uncertainty)

문제 정의
본 논문은 공유된 불확실한 환경에서 작동하는 다중 에이전트 시스템을 제어하는 과제를 다룹다. 저자들은 유계된 가산 외란(additive disturbances)의 영향을 받는 이산 시간 선형 시스템을 제어하는 $N$개의 에이전트를 고려한다. 각 에이전트는 개인적인 상태/입력 제약 조건과 이웃 에이전트의 상태 및 입력에 의존하는 공유 결합 제약 조건을 모두 만족해야 한다.

글로벌 목적 함수를 최소화하는 협력적 분산 제어와 달리, 본 연구는 **후퇴 수평 게임 (Receding Horizon Games, RHG)**에 초점을 맞춘다. 여기서 각 에이전트는 이기적이며, 제약 조건을 준수하면서 자신의 추적 비용(정상 상태 목표로부터의 편차)을 최소화하고자 한다. 핵심적인 어려움은 에이전트들이 자신의 개인적인 역학, 비용 또는 제약 조건을 타인에게 공개할 수 없으면서도, 불확실성 하에서 공유 제약 조건을 집단적으로 만족해야 한다는 점에 있다. 목표는 모든 외란 실현에 대해 재귀적 가능성(recursive feasibility)을 보장하고 게임 이론적 평형으로의 수렴을 보장하는 분산 제어 프레임워크를 설계하는 것이다.

방법론
제안된 프레임워크는 **튜브 기반 모델 예측 제어 (Tube-Based MPC)**와 일반 나쉬 평형 (Generalized Nash Equilibrium, GNE) 이론을 통합한다. 방법론은 다음 단계로 진행된다:

1. 튜브 기반 분해 (Tube-Based Decomposition):
   각 에이전트의 예측 상태와 입력은 명목 궤적(nominal trajectory)과 오차 성분으로 분해된다 ($x = s + e$, $u = v + K_p e$). 명목 궤적은 결정 변수이며, 오차 역학은 사전 안정화 피드백 이득 $K_p$에 의해 지배된다. 이 분해는 실제 상태를 최소 강건 양의 불변(minimal Robust Positively Invariant, mRPI) 집합($Z^\infty_i$)으로 정의되는 명목 궤적 주변의 "튜브" 내에 가둔다.

2. 제약 조건 축소 (Constraint Tightening):
   외란에도 불구하고 제약 조건의 강건한 만족을 보장하기 위해, 원래의 제약 조건을 축소한다:

• 개인 제약 조건: 상태 및 입력 집합은 mRPI 집합과 사전 안정화 이득에 의해 축소된다.
• 공유 제약 조건: 공유 제약 조건은 이웃의 오차 항에 의한 최악의 기여분을 빼서 축소된다. 결정적으로, 이는 에이전트들이 전체 역학이나 비용 함수 대신 스칼라 형태의 축소 항(mRPI 집합의 지지 함수)만을 브로드캐스트하는 프라이버시 보존 프로토콜을 통해 달성된다.

3. 터미널 요소 (Terminal Ingredients):
   재귀적 가능성과 안정성을 보장하기 위해, 저자들은 세 가지 특정 터미널 구성 요소를 구축한다:

• 이산 대수 리카티 방정식(DARE)에서 유도된 터미널 비용.
• DARE의 최적 피드백 이득에 기반한 터미널 제어 법칙.
• 분리된 양의 불변 터미널 집합. 완전한 협업 없이 터미널 제약의 결합을 처리하기 위해, 축소된 공유 경계는 에이전트별 몫으로 나뉜다. 각 에이전트는 다양한 이웃 관계에서의 참여에 필요한 가장 엄격한 몫을 강제한다.

4. 게임 이론적 해법 (Game-Theoretic Solution):
   각 타임 스텝에서 에이전트들은 병렬적으로 유한 수평 최적화 문제(GNEP)를 해결한다. 비용 함수는 사전 계산된 정상 상태 변분 일반 나쉬 평형(vGNE)을 향한 추적 비용이다. 이 문제는 게임이 **포텐셜 게임(potential game)**이라는 점을 활용하여 분산된 연산자 분할 알고리즘을 사용하여 해결된다.

주요 기여
본 논문의 주요 기여는 세 가지이다:

1. 강건한 RHG 정식화: 가산 외란과 공유 제약 조건이 있는 선형 시스템에 대한 강건한 후퇴 수평 게임을 정식화한다. 협력적 방식이 궤적을 교환하는 것과 달리, 에이전트들이 자신의 로컬 역학 및 비용에 대한 프라이버시를 유지하면서 스칼라 축소 항만을 교환하는 튜브 기반 제약 축소 방식을 도입한다.
2. 재귀적 가능성 보장: 저자들은 모든 유계된 외란 실현에 대해 재귀적 가능성을 엄격하게 보장하는 특정 터미널 요소(DARE 기반 비용, 분리된 불변 집합, 그리고 공유 제약 조건을 위한 자원 할당 체계)를 구축한다.
3. 안정성 및 수렴 분석: GNEP의 포텐셜 게임 구조를 활용하여, 본 논문은 포텐셜 함수가 공동 리아푸노프 함수(joint Lyapunov function) 역할을 함을 입증한다. 이를 통해 모든 에이전트의 명목 상태가 정상 상태 vGNE로 점근적으로 수렴함을 증명한다. 또한, 실제 상태가 mRPI 집합에 의해 결정된 vGNE의 근방으로 수렴함을 보여준다.

결과
이론적 분석은 다음을 확인한다:

• 초기 상태가 실행 가능하다면, 유계된 외란의 어떤 실현에 대해서도 향후 모든 타임 스텝에서 최적화 문제는 실행 가능성을 유지한다 (재귀적 가능성).
• 모든 에이전트의 명목 궤적은 정상 상태 vGNE로 점근적으로 수렴한다.
• 모든 실제 폐루프 궤적은 정상 상태 vGNE의 최소 강건 양의 불변(RPI) 근방으로 수렴한다.
• 모든 원래의 개인 및 공유 제약 조건은 모든 외란 실현에 대해 강건하게 만족된다.

의의 및 주장
저자들은 본 연구를 이러한 구체적인 보장을 가진 불확실성 하의 후퇴 수평 게임에 대한 최초의 엄격한 조사로 위치시킨다. 그들은 기존의 RHG 연구들이 결정론적 모델이나 터미널 등식 제약 조건에 의존했던 반면, 기존의 강건한 다중 에이전트 MPC 문헌은 협력적 설정에 집중했음을 강조한다.

본 논문은 비협력적 에이전트를 위한 강건 제어와 게임 이론 사이의 간극을 메우는 데 의의가 있다고 주장한다. 저자들은 에이전트들이 민감한 모델 정보를 공유하지 않고도 분산된 이기적 환경에서 강건한 제약 만족과 안정성을 달agi 가능하다는 것을 보여준다. 저자들은 일반적인 경제적 비용(비용이 결합된 경우)으로 결과를 확장하거나 확률 제약(chance constraints)을 포함하는 것은 향후 연구를 위한 열린 과제로 남겨두며 겸허하게 언급하였다.