기술 요약: 관측 불가능한 무작위 지연에 대한 적응형 강화 학습

문제 정의

PPO(Proximal Policy Optimization) 및 SAC(Soft Actor-Critic)와 같은 표준 강화 학습(RL) 알고리즘은 일반적으로 에이전트가 시스템 상태를 즉각적으로 관찰하고 지연 없이 행동을 실행하는 MDP(Markov Decision Process)를 가정한다. 그러나 실제 사이버 물리 시스템에서는 관측 전송, 연산, 구동 과정에서 발생하는 상호작용 지연으로 인해 이러한 가정이 빈번하게 실패한다.

지연을 처리하는 기존 접근 방식은 크게 두 가지 범주로 나뉜다:

1. 부분 관측 가능 MDP (POMDP): 지연을 오래된 관측값으로 모델링하며, 이는 에이전트가 지연 시간 동안 환경의 진화에 대한 정보에 접근하는 것을 제한한다.
2. 고정 지연 가정: 액션 버퍼를 통해 일정한 지연(종종 최악의 경우인 상한값)을 강제한다. 이는 의사결정을 단순화하여 액션 타이밍에 대한 완벽한 정보를 제공하지만, 지나치게 보수적이다. 실제 지연이 최소일 때도 최악의 레이턴시 하에서 작동하도록 강제하므로 하위 최적의 성능을 초తే한다.

관측 불가능하고 시변하는 무작위 지연을 처리하는 데 있어서는 중요한 격차가 존재한다. 많은 실제 시나리오(예: 네트워크 제어)에서 에이전트는 결정 시점에 자신의 행동이 실행되는 데 얼마나 걸릴지 알 수 없으며, 패킷이 손실되거나 순서가 바뀌어 도착할지 예측할 수 없다. 기존의 DCAC 방식은 관측 불가능한 지연을 허용하지만 액션 적용 시점을 제어할 수 없으며, 다른 최신 알고리즘(예: BPQL, VDPO)은 고정 지연 패러다임에 의존한다.

방법론

1. 상호작용 계층(Interaction Layer) 프레임워크

저자들은 에이전트와 제어 시스템 사이에 위치하여 관측 불가능한 지연의 불확실성을 관리하는 **상호작용 계층(Interaction Layer)**이라는 새로운 프레임워크를 도입한다. 이 계층은 **옵저버(Observer)**와 **액션 버퍼(Action Buffer)**라는 두 가지 핵심 구성 요소로 이루어진다.

• 관측 패킷(Observation Packets): 옵저버는 시스템 상태를 샘플링하여 에이전트에 관측 패킷을 보낸다. 이 패킷에는 상태, 현재 액션 버퍼의 내용, 버퍼를 업데이트한 패킷의 지연 시간, 그리고 시프트 카운터(shift counter)가 포함된다.
• 액션 패킷 (행렬 생성): 에이전트는 단일 액션 대신 후보 액션들의 행렬을 포함하는 액션 패킷을 생성한다.
  • 행렬은 $L$개의 행(예측 길이)과 $h$개의 열(액션 버퍼 호라이즌)을 갖는다.
  • $i$번째 행은 패킷이 시간 $t+i$에 도착했을 경우 실행될 액션 시퀀스에 해당한다.
  • 열은 새로운 패킷이 도착하지 않는 상황을 처리한다: 특정 단계에서 패킷이 누락되면 시스템은 버퍼 내의 다음 열로 이동한다.
• 실행 로직: 액션 패킷이 상호작용 계층에 도착하면, 시스템은 로컬 클록을 사용하여 왕복 지연($\delta$)을 계산한다. 그 후, 해당 지연에 대응하는 행렬의 특정 행을 선택한다. 만약 지연이 행렬의 행 수($L$)를 초과하거나 패킷이 순서가 바뀌어 도착하면, 해당 패키지는 폐기된다.

2. 지연 적응형 액터-크리틱 (ACDA)

상호작용 계층을 기반으로, 저자들은 가변적인 지연에 동적으로 적응하도록 설계된 모델 기반 RL 알고리즘인 ACDA를 제안한다.

• 가정된 이전 액션에 대한 휴리스틱: 에이전트는 패킷을 생성한 시점부터 도착할 때까지 어떤 액션이 시스템에 적용되었는지 정확히 알 수 없으므로, ACDA는 휴리스틱을 사용한다. 현재 패킷의 지연이 $k$라면 이전 패킷들도 지연이 $k$였을 것이라고 가정한다. 이를 통해 에이전트는 시스템에 적용된 액션 시퀀스를 재구성하여 현재의 상태 분포를 예측할 수 있다.
• 모델 기반 분포 에이전트: 표준 신경망(MLP)은 고정된 크기의 입력을 요구하지만, ACDA에서 "기억된" 액션의 시퀀스는 길이가 가변적이다. 이를 해결하기 위해 ACDA는 가변 길이의 액션 이력을 고정 크기의 잠재 표현(latent representation)으로 임베딩하기 위해 **다단계 분포 모델(multi-step distribution model)**을 사용한다.
  • EMBED: 현재 상태를 잠재 분포로 인코딩한다.
  • STEP: 기억된 액션 시퀀스의 효과를 시뮬레이션하여 잠재 분포를 업데이트하는 GRU(Gated Recurrent Unit)이다.
  • EMIT: 잠재 표현이 미래 상태를 정확하게 예측하도록(KL-divergence 최소화) 훈련 중에 사용되는 디코더이다.
  • 정책 $\pi_\theta$는 원시 상태-액션 이력이 아닌, 미래 상태 분포의 이 고정된 크기 임베딩을 바탕으로 액션을 생성한다.
• 훈련: ACDA는 Soft Actor-Critic을 기반으로 한 Actor-Critic 설정을 따른다. 크리틱(Critic)은 지연이 없는 시스템 상태에 대해 가치를 평가해야 하므로, 알고리즘은 훈련 중에 지연되지 않은 MDP의 관점에서 궤적을 재구성해야 한다.

주요 기여

1. 상호작용 계층 프레임워크: 미래 액션 행렬을 생성함으로써 에이전트가 무작위적이고 관측 불가능한 지연 및 패킷 손실을 처리할 수 있게 하는 일반적인 프레임워크를 제공한다. 이를 통해 고정 지연을 가정하지 않고도 불확실성 하에서 정보에 기반한 의사결정을 가능하게 한다.
2. ACDA 알고리즘: 상호작용 계층을 활용하는 모델 기반 RL 알고리즘이다. 적용된 액션을 추정하기 위한 휴리스틱과 가변 길이 액션 이력을 처리하기 위한 분포 기반 임베딩 메커니즘을 도입하여, 정책이 미래 상태 분포를 추론할 수 있도록 한다.
3. 경험적 검증: 시뮬레이션된 지연 프로세스(Gilbert-Elliot 및 M/M/1 큐 모델)와 실제 측정된 WiFi 지연을 모두 사용하여 MuJoCo 로코모션 태스크에 대해 포괄적인 평가를 수행하였다.

결과

본 논문은 ACDA를 SAC(Constant-Delay Augmentation 포함/미포함), Dreamer, BPQL, VDPO와 같은 최신 베이스라인들과 비교 평가한다.

• 성능: ACDA는 다양한 환경(Ant, Humanoid, HalfCheetah, Hopper, Walker2d)과 지연 프로세스 전반에서 모든 베이스라인을 일관되로 능가한다.
• 실제 환경 지연: 기록된 WiFi 네트워크 지연(DLib 및 DOff)을 사용한 실험에서, ACDA는 특히 ACDA가 활용하도록 설계된 시간적 상관관계를 가진 실제 지연 환경에서 탁월한 성능을 보였다.
• 강건성: ACDA는 지연의 시간적 상관관계를 가정하지만, 독립 항등 분포(i.i.d.) 지연 프로세스 하에서도 수용 가능한 수준의 성능을 유지한다(단, 차이는 작아진다).
• 고정 지연 방법과의 비교: 최악의 경우를 가정하는 고정 지연 방법(Constant-Delay Augmentation을 사용하는 BPQL 및 VDPO)은 성능이 현저히 낮았으며, 이는 확률적 환경에서 보수적인 가정이 비효율적임을 강조한다.

의의 및 주장

저자들은 본 연구가 RL에서 무작위적이고 관측 불가능한 지연 하에서 에이전트가 정보에 기반한 통제된 결정을 내릴 수 있도록 하는 최초의 프레임워크라고 주장한다. 상호작용 계층과 ACDA를 통해 에이전트는 보수적인 상한선이 아닌 실제 레이턴시에 적응할 수 있다.

본 논문은 무작위 지연(POMDP 공식화) 하에서의 딥 RL 수렴 보장이 이론적으로는 여전히 미해결 상태이지만, 경험적 결과는 ACDA가 현재의 최첨단 방식들보다 훨씬 높은 평균 수익을 달 achieves 한다는 점을 입증한다. 이 연구는 지연의 불확실성을 인위적인 상수화 대신 직접적으로 다루는 것이 실제 사이버 물리 시스템에 RL을 배포하는 데 더 효과적인 전략임을 시사한다. 향후 연구 방향으로는 더 복합적인 상호작용 동작을 처리하기 위한 프레임워크 확장 및 계산/통신 오버헤드를 줄이기 위한 액션 패킷 구조 최적화가 제시되었다.