On the Comparison of Reinforcement Learning and Adaptive Control for Linear Systems under Packet Loss and Uncertainty

기술 요약: 패킷 손실 및 불확실성 하의 선형 시스템에 대한 강화 학습과 적응 제어의 비교

문제 정의
본 논문은 패킷 손실과 입력 양자화가 발생하는 통신 채널에서 작동하는 불확실한 선형 시스템의 제어를 다룬다. 구체적인 과제는 운용 중에 명목상의 불안정 상태에서 더 불안정한 상태로 동적 스위칭이 발생하는 시스템을 안정화하는 것이다. 본 연구는 이러한 환경에서 두 가지 구별된 제어 패러다임을 비교한다: 승인 메시지(acknowledgment messages)를 활용하는 모델 기반 접근 방식인 적응형 양자화 제어(Adaptive Quantized Control, AQC)와, 승인 메시지 없이 명목 모델 상에서 학습된 데이터 기반 강화 학습(RL) 접근 방식인 심층 결정론적 정책 경사(Deep Deterministic Policy Gradient, DDPG)이다. 핵심 문제는 학습 기반 방법의 과도 응답 성능과 모델 불확실성 및 통신 제약 조건 하에서의 적응 제어의 강건성 사이의 트레이드오프를 평가하는 것이다.

방법론
본 연구는 제어 신호가 패킷 손실 확률 $\bar{p}$를 가진 채널을 통해 전달되는 이산 시간 불확실 선형 시스템 모델을 사용한다. 제어 입력은 시간 가변 섹터 유계 비선형성으로 모델링된 로그 양자화의 적용을 받는다.

1. 적응형 양자화 제어 (AQC):

   • 프레임워크: 기존 연구 [11, 12]를 바탕으로, AQC는 시간 가변 피드백 이득 $K(k)$와 양자화기 $q(k, u(k))$를 활용한다.
   • 메커니즘: 제어기는 패킷이 성공적으로 수신되었는지($\eta(k)=1$) 또는 손실되었는지($\eta(k)=0$)를 결정하기 위해 승인 메시지에 의존한다. 이 정보는 제어 법칙과 양자화기 파라미터를 업데이트하는 데 사용된다.
   • 안정성: 설계는 리아푸노프(Lyapunov) 안정성 이론에 근거한다. 리카티 방정식(Riccati equation)을 풀어 안정화 이득을 결정하며, 적응 법칙은 패킷 손실률이 리아푸노프 함수로부터 도출된 특정 조건을 만족하는 한, 시스템이 확률적으로 안정성을 유지하도록 보장한다.

2. 심층 결정론적 정책 경사 (DDPG):

   • 프레임워크: 피드포워드 신경망(FFNN)을 사용하는 액터-크리틱(actor-critic) 구조를 사용한다. 액터는 상태를 연속적인 제어 동작으로 직접 매핑하며, 크리틱은 액션-가치 함수를 추정한다.
   • 학습: DDPG 에이전트는 패킷 손실이나 동적 스위칭이 없는 명목 시스템 모델만을 사용하여 추적 오차 기반의 보상 함수를 통해 학습된다.
   • 구현: 평가 단계에서 학습된 정책은 AQC에서 사용된 것과 동일한 시간 가변 양자기와 함께 적용되지만, 승인 메시지에 대한 접근 권한 없이 적용된다. 에이전트는 패킷 손실과 더 불안정한 시스템($A_w$)으로의 전환을 처리할 수 있도록 정책을 일반화해야 한다.

주요 기여

• 비교 분석: 본 논문은 엄격하게 설계된 적응 제어기와 현대적인 심층 강화 학습 제어기를 동일한 조건(입력 양자화, 패킷 손실, 동적 시스템 스위칭) 하에서 직접적인 수치적 비교를 제공한다.
• 강건성 평가: 시스템 역학이 명목의 불안정 상태에서 더 불안정한 상태로 변하는 상황(이는 DDPG 학습 단계에는 존재하지 않았던 시나리오임)에서 두 방법의 성능을 조사한다.
• 양자화 통합: 두 제어 전략 모두 시간 가변 로그 양자화기와 함께 구현되어, 유한한 대역폭 제약을 각 방법이 어떻게 처리하는지에 대한 공정한 비교를 가능하게 한다.

수치 결과
시뮬레이션은 다양한 초기 조건과 스위칭 시간($t_d$)을 가진 2차 불확실 시스템에 대해 수행되었다.

• 학습 환경 성능: 패킷 손실이 없고 명목 역학 범위 내에 있을 때, DDPG 제어기는 AQC에 비해 더 빠른 과도 응답과 개선된 감쇠(damping) 특성을 보여주었다.
• 불확실성 및 패킷 손실 하의 강건성:
  • AQC: 높은 패킷 손실률($\bar{p} > 0.5$)과 동적 스위칭을 포함한 모든 테스트 시나리오에서 일관되게 시스템을 안정화했다. 승인 메시지의 사용을 통해 제어기는 손실된 패킷을 보상함으로써 리아푸노프 이론에 의해 보장된 대로 안정성을 유지할 수 있었다.
  • DDPG: 학습 환경으로부터의 미세한 편차에는 효과적이었으나, 상당한 모델 불확실성(매우 불안정한 역학으로의 스위칭)이나 높은 패킷 손실률에 직면했을 때 시스템을 안정화하는 데 실패하였다. 승인 메시지가 없었기 때문에, 제어기는 제어 신호의 손실에 적응하지 못하여 불안정성을 초래했다.
• 안정성 범위: 논문의 표 1은 DDPG 제어기가 학습 세트와 가까운 파라미터 변화에 대해서만 안정성을 유지하는 반면, AQC는 훨씬 더 넓은 범위의 시스템 파라미터에 대해 안정성을 유지함을 나타낸다.

의의 및 주장
본 논문은 데이터 기반 성능과 모델 기반 강건성 사이에 뚜렷한 트레이드오프가 존재한다고 결론짓는다.

• 성능 vs. 강건성: DDPG는 운영 환경이 학습 분포와 밀접하게 일치할 때 우수한 과도 성능을 제공한다. 그러나 AQC는 리아푸노프 안정성 보장을 바탕으로 모델 불확실성, 패킷 손실 및 동적 스위칭 상황에서 우수한 강건성과 보장된 안정성을 제공한다.
• 적용 가능성: 결과는 강화 학습이 고차원 공간에서 유망하지만, 명시적인 안정성 메커니즘이나 잠재적 불확실성의 전체 범위를 포괄하는 학습 없이는 네트워크화된 불확실한 시스템에 적용하는 데 한계가 있음을 시사한다.
• 향러 방향: 저자들은 향후 연구가 통신 지연, 분산 상호작용, 그리고 협력 제어를 위한 엄격한 안정성 보장을 갖춘 RL 알고리즘 개발을 포함하여 네트워크화된 멀티 에이전트 시스템으로 확장될 것임을 언급하였다.