Decoupled Delay Compensation: Enhancing Pre-trained MARL Policies via Learned Dynamics Filtering

기술 요약: 사전 훈련된 MARL 정책을 위한 분리형 지연 보상

문제 제기
실제 세계의 다중 에이전트 강화 학습 (MARL) 시스템은 종종 확률적 통신 지연, 간헐적 패킷 손실, 센서 처리 지연으로 특징지어지는 비이상적인 조건 하에서 운영됩니다. MARL 알고리즘은 시뮬레이션에서 성공을 거두지만, 물리적 환경에 배포될 때 종종 심각한 성능 저하와 제어 불안정을 겪습니다. 이 "시뮬레이션에서 현실 (Sim-to-Real)"로의 간극은 이상적이고 동기화된 가정을 기반으로 훈련된 정책이 구식 관측치에 기반하여 행동하기 때문에 발생합니다. 분산 환경에서 이러한 지연은 마르코프 가정을 위반하여, 에이전트들이 비인과적이고 시간적으로 정렬되지 않은 정보 흐름에 기반하여 의사결정을 내리게 만듭니다. 상태 확장이나 지연 인식 훈련 아키텍처와 같은 기존 완화 전략들은 일반적으로 정책 내부에 대한 접근 권한, 엔드 투 엔드 재훈련이 필요하며 특정 지연 체제에 민감하여 레거시 시스템이나 독점 컨트롤러에 대한 적용 가능성을 제한합니다.

방법론
저자들은 지연 보상을 정책 훈련 과정으로부터 분리하도록 설계된 모듈형 실행 단계 상태 추정 계층을 제안합니다. 이 프레임워크는 기본 아키텍처, 보상 구조, 또는 훈련 알고리즘을 수정하지 않고도 사전 훈련된 MARL 정책이 견고하게 작동할 수 있도록 합니다.

이 접근법의 핵심은 지연된 통신 관측치를 현재 믿음 상태 (belief-state) 추정치로 대체하는 **신뢰 필터링 계층 (Belief Filtering Layer)**입니다. 시스템은 다음과 같이 작동합니다:

1. 재귀적 추정: 각 이웃에 대해 에이전트는 통신된 상태 벡터 (예: 위치, 속도) 에 대한 재귀적 추정을 유지합니다. 이는 예측 - 업데이트 사이클을 통해 갱신됩니다.
2. 학습된 동역학 (GRU): 수동으로 제작된 모델 없이 복잡한 비선형 동역학을 처리하기 위해, 시스템은 초기 정책 훈련 단계의 지연 없는 롤아웃 버퍼에서 훈련된 게이트 순환 유닛 (GRU) 을 사용합니다. GRU 는 절대 상태가 아닌 잔차 증가분을 예측하여 단기 안정성을 향상시키도록 동역학을 근사화합니다.
3. 칼만 필터 통합: GRU 는 재귀적 칼만 필터 구조 내의 전이 행렬에 대한 학습된 대리 모델 (surrogate) 로서 기능합니다. GRU 의 정확한 야코비안은 계산 비용이 많이 들지만, 저자들은 1 차 불확실성 지속성을 가정하여 실시간 효율성을 유지하기 위해 이를 단위 행렬로 근사화합니다.
4. 실행 모드: 이 프레임워크는 세 가지 다른 통신 체제를 처리합니다:
   • 동기식: 표준 예측 - 업데이트 사이클.
   • 비동기식 버스트: 단일 제어 간격 내에 도착하는 여러 패킷을 시간 순서대로 처리.
   • 패킷 손실: 새로운 데이터가 도착할 때까지 마지막 검증된 상태와 GRU 은닉 상태를 사용하여 개방 루프 예측으로 복귀.

정책은 원시적이고 구식인 메시지 대신 지역 관측치와 필터링된 이웃 추정치를 포함하는 동기화된 믿음 특징 벡터 ($b_{i,t}$) 를 수신합니다.

주요 기여
이 논문은 세 가지 주요 기여를 식별합니다:

• 모듈형 실행 프레임워크: 저자들은 지연된 다중 에이전트 통신을 재귀적 믿음 상태 추정 문제로 공식화합니다. 이는 정책 수정이나 재훈련 없이 사전 훈련된 정책에 대한 지연 견고성을 가능하게 하여, 역사 확장 (history augmentation) 과 관련된 "차원의 저주"를 해결합니다.
• 학습된 재귀적 추정 계층: GRU 기반 세계 모델과 칼만 필터링 업데이트를 결합한 플러그인 모듈의 도입. 이 하이브리드 접근법은 확률적 지연과 간헐적 패킷 손실을 처리하면서 실제 세계 센서 배포에서 흔히 발생하는 관측 노이즈를 완화합니다.
• 교차 도메인 실증적 검증: 이 접근법은 다양한 벤치마크 (MPE, VMAS, 고충실도 MaMuJoCo 환경) 에서 검증되어 다양한 MARL 백본 및 동적 시스템에 대한 일반화를 입증했습니다. 이 방법은 분포 외 (OOD) 지연 패턴에서도 정책 성능을 유지합니다.

실험 결과
여섯 가지 환경 (Spread, Tag, Buzz-wire, Balance, Reacher, Walker2d 포함) 에 대한 평가는 다음과 같은 결과를 도출했습니다:

• 지연에 대한 견고성: 제안된 계층은 지연을 고려하지 않는 베이스라인과 "순진한 (Naive)" 감쇠 운동학 칼만 필터보다 일관되게 우수한 성능을 발휘했습니다. Walker2d와 같은 매우 역동적인 작업에서 베이스라인은 최소 지연 하에서도 붕괴된 반면, 필터링된 정책은 광범위한 지연 범위에서 안정적인 이족 보행을 유지했습니다.
• 노이즈 내성: 칼만으로 감싸진 GRU 와 독립적인 GRU 예측기를 비교하는 제거 실험에서, 재귀적 필터는 관측 노이즈에 대한 우수한 내성을 보여주었습니다. 특히 Walker2d와 같은 불안정한 시스템에서 노이즈 진폭이 증가함에 따라 성능 격차가 확대되었습니다.
• 최첨단 (SOTA) 과의 비교: MPE 환경에서 이 방법은 최첨단인 Rainbow Delay Compensation (RDC) 프레임워크와 비교 가능한 성능을 달성했습니다. 그러나 통합 훈련이 필요한 RDC 와 달리, 제안된 방법은 훈련 파이프라인과 완전히 분리되어 있습니다.
• 초매개변수 견고성: 고정 길이 메모리 버퍼에 의존하는 베이스라인 방법과 달리, 이 방법은 다양한 히스토리 윈도우 크기에서 안정적인 성능을 나타냈습니다.
• 계산 효율성: 재귀적 필터링 단계는 modest 한 계산 오버헤드 (6 단계 지연의 경우 약 0.007 초) 를 발생시켰으며, 이는 다른 복잡한 지연 보상 모델과 비슷하거나 더 낮았습니다.

의의 및 주장
이 논문은 이 작업의 주요 의의가 모듈성에 있다고 주장합니다. 지연을 훈련 시간 최적화 과제가 아닌 실행 단계 상태 추정 문제로 취급함으로써, 이 프레임워크는 "제로 샷 (zero-shot)" 전환 능력을 제공합니다. 이는 지연이 없는 시뮬레이션에서 훈련된 정책이 재훈련의 계산 비용 없이 다양한, 알려지지 않은, 또는 확률적인 지연을 가진 하드웨어에 배포될 수 있게 합니다.

저자들은 겸손하게도 이 프레임워크가 효과적이지만 전역적으로 최적의 추정기는 아니라고 지적합니다. 성능 향상은 시간적 일관성이 중요한 조정 집약적이고 동적으로 불안정한 작업에서 가장 두드러집니다. 이 작업은 매개변수 수정이 불가능한 레거시 시스템이나 독점 컨트롤러의 경우, 이 분리형 접근법이 견고한 Sim-to-Real 배포를 위한 실용적인 경로를 제공한다고 시사합니다. 향후 작업은 정책과 추정기의 공동 훈련을 통해 내부 불확실성 지표를 위험 인식 제어에 활용하는 것을 탐구할 것으로 제안되지만, 현재 기여는 실행 계층 래퍼에 엄격히 초점을 맞추고 있습니다.