ASALT: Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning

기술 요약: ASALT – 다중 에이전트 강화 학습을 위한 측면 전이를 위한 적응형 상태 정렬 (Adaptive State Alignment for Lateral Transfer in Multi-agent Reinforcement Learning)

문제 정의

다중 에이전트 강화 학습(MARL)은 소스 도메인과 구조적으로 다른 타겟 도메인으로 지식을 전이할 때 상당한 어려움에 직면합니다. 기존의 연구들은 대부분 엄격한 제약 조건을 부과합니다: 즉, 소스 도메인과 타겟 도메인의 관측 공간(observation space) 및 글로벌 상태 공간(global state space)의 차원이 반드시 동일해야 한다는 것입니다.

트래픽 관리, 플릿(fleet) 코디네이션, 또는 스타크래프트 II와 같은 경쟁 게임과 같은 실제 시나리오에서는 에이전트, 적군, 또는 환경 구성의 수가 자주 변합니다. 이러한 변화는 관측 및 상태 공간의 차원을 변경합니다. 결과적으로, 표준적인 측면 전이(lateral transfer) 방법들은 동일한 네트워크 아키텍처를 강제하지 않고서는 이질적인 입력을 공유된 표현(shared representation)으로 매핑할 수 없기 때문에 실패하게 됩니다. 더욱이, 기존 방법들은 주로 액터(actor, 정책) 정보의 전이에만 집중하여, 에이전트 간의 협업을 조율하고 어드밴티지 함수(advantage function)를 추정하는 데 필수적인 크리틱(critic, 가치 함수) 정보의 전이 잠재력을 간과합니다. 마지막으로, 상충하는 협업 요구사항을 가진 도메인 간에 정책을 전이하는 것은 "부정적 전이(negative transfer)"를 초래할 수 있는데, 이는 이전의 지식이 성능을 개선하기보다 오히려 저하시키는 현상을 의미합니다.

방법론: ASALT 프레임워크

저자들은 네트워크 아키텍처에 대한 구조적 제약을 가하지 않고도 소스와 타겟 도메인 간의 불일치하는 상태 공간 차원을 수용하도록 설계된 ASALT(Adaptive State Alignment for Lateral Transfer) 프레임워크를 제안합니다. 핵심 혁신은 타겟 도메인의 입력을 사전 학습된 소스 에이전트와 호환되는 공유 임베딩 공간으로 매핑하는 **어댑터 모듈(adapter modules)**의 사용에 있습니다.

주요 구성 요소

1. 관측 어댑터 (Observation Adapter):

   • 기능: 타겟 도메인의 관측값($o_t$)을 고정된(frozen) 소스 액터의 입력 공간과 일치하는 공유 임베딩 공간($\hat{e}_o$)으로 매핑합니다.
   • 아키텍처: 어댑터는 타겟 관측치를 에이전트별 특징($o_a$)과 다른 에이전트들을 설명하는 문맥적 특징($o_c$)으로 분해합니다.
     • 에이전트별 특징은 완전 연결 네트워크(FCN)를 통해 처리됩니다.
     • 문맥적 특징은 계층적 멀티 헤드 어텐션(Hierarchical Multi-Head Attention, H-MHA) 메커니즘을 통해 처리됩니다. 이 모듈은 구조화된 속성 그룹(예: 아군 대 적군) 간의 고차 관계 의존성을 포착하여, 문맥 정보를 집계하는 임베딩을 생성합니다.
   • 출력: 최종 임베딩은 에이전트 수준, 관계적, 그리고 집계된 문맥 임베딩의 결합(concatenation)이며, 소스 정책의 입력 차원과 일치하도록 크기가 조정됩니다.

2. 상태 어댑터 (State Adapter):

   • 기능: 타겟 도메인의 글로벌 상태($s_t$)를 소스 크리틱의 입력으로 사용될 공유 상태 임베딩($\hat{e}_s$)으로 매핑합니다.
   • 아키텍처: 2층 구조의 **트랜스포머 인코더(Transformer Encoder)**를 활용합니다. 글로벌 상태는 토큰 임베딩으로 투영된 후, 잔차 연결(residual connections)과 레이어 정규화(layer normalization)가 포함된 멀티 헤드 셀프 어텐션(MHSA) 및 피드 포워드 네트워크(FFN)를 통해 처리됩니다. 이는 상태 구성 요소 간의 상호작용을 명시적으로 포착합니다.
   • 목적: 가치 함수(크리틱)에 인코딩된 협업 패턴의 전이를 가능하게 합니다.

3. 전이 모듈 (측면 연결, Lateral Connections):

   • 메커니즘: 고정된 소스 에이전트로부터 타겟 에이전트로의 측면 지식 전이를 구현합니다.
   • 액터 전이 (Actor Transfer): 타겟 액터는 클러스터링이나 유사도를 통해 선택된 상위 $N$개의 소스 액터로부터의 표현에 어텐션을 수행합니다. 계층별 어텐션 메커니즘($\alpha_k$)이 이러한 측면 신호를 가중치 부여하고 집계합니다.
   • 크리틱 전이 (Critic Transfer): 이와 유사하게, 측면 연결은 소스 크리틱으로부터 가중치가 부여된 표현($\beta_k$)을 타겟 크리틱으로 전파합니다. 서로 다른 보상 스케일을 처리하기 위해, 크리틱 측 신호를 구성하기 전에 보상을 정규화합니다.
   • 학습: 타겟 에이전트는 원래의 타겟 도메인 입력($o_t, s_t$)을 사용하여 학습되는 동시에, 어댑터를 통해 소스 에이전트로부터 측면 가이드를 받습니다.

학습 패러다임

본 논문은 두 가지 학습 전략을 조사합니다:

• 독립 학습 (Independent Training): 어댑터를 먼저 양쪽 도메인에서 수집된 궤적(trajectories)으로 학습시킨 후, 이를 고정하고 타겟 에이전트를 학습시킵니다.
• 결합 학습 (Joint Training): 어댑터와 타겟 에이전트를 타겟 도메인 궤적을 사용하여 동시에 최적화합니다. 저자들은 결합 학습이 전이되는 정보의 유용성을 명시적으로 극대화하는 임베딩을 유도하기 때문에 샘플 효율성이 더 높다는 것을 발견했습니다.

주요 기여

1. 차원 불일치 해결: ASALT는 MARL에서 관측 및 글로벌 상태 공간의 차원 불일치를 명시적으로 수용하는 최초의 방법으로, 동일한 네트워크 아키텍처 요구 사항을 제거했습니다.
2. 이중 어댑터 아키텍처: 관측 및 상태 어댑터의 도입은 정책(액터)과 가치(크리틱) 지식 모두의 전이를 가능하게 하여, 보다 효과적인 협업 전이를 촉진합니다.
3. 부정적 전이 완화: 타겟 입력을 공유 잠재 공간(latent space)으로 매핑함으로써, 원시 관측값(raw observations) 대신 과업 관련 정보를 선택적으로 전이하여 ASALT는 특히 이질적인 도메인에서의 부정적 전이 위험을 줄입니다.
4. 샘플 효율성: 이 프레임워크는 샘플 효율성을 크게 향상시켜, 타겟 에이전트가 처음부터 학습하거나 기존 베이스라인을 사용하는 것보다 더 빠르게 수렴하도록 합니다.

실험 결과

저자들은 세 가지 벤치마크 환경인 StarCraft II Multi-Agent Challenge (SMAC), Google Research Football (GRF), **Multi-Particle Environments (MPE)**에서 ASALT를 평가했습니다.

• 베이스라인 대비 성능: ASALT는 도메인 적응 방법(DANN, CORAL, CycleGAN) 및 최신 전이 학습 베이스라인(LA-QTransformer, MALT, PSMARL)보다 일관되게 우수한 성능을 보였습니다.
• 샘플 효율성: 관측 공간 불일치가 발생하는 시나리오(예: SMAC에서 3개 에이전트에서 8개 에이전트로 전이)에서, ASALT는 모든 베이스라인에 비해 점근적 보상(asymptotic reward)의 80%에 도달하기 위해 훨씬 적은 환경 스텝을 필요로 했습니다. 예를 들어, 3m에서 8m로의 전이에서 ASALT는 베이스라인의 $5.1 \times 10^5$ 스텝 대비 $0.54 \times 10^5$ 스텝만을 필요로 했습니다.
• 부정적 전이: 상충하는 협업 요구사항을 가진 시나리오(예: 3m 맵 대 3s5zvs3s6z)에서, ASALT는 부정적 전이에 취약한 방법들보다 더 빠르게 수렴하고 더 높은 최종 승률을 달성하며 탁월한 견고성을 입증했습니다.
• 어블레이션 연구 (Ablation Studies):
  • 결합 vs. 독립: 어댑터와 타겟 에이전트의 결합 학습이 독립 학습보다 훨씬 빠른 수렴을 가져왔습니다.
  • 액터 vs. 액터-크리틱: 액터와 크리틱 정보를 모두 전이하는 것이 일반적으로 안정성과 초기 학습을 개선했지만, 상태 공간 확장이 매우 큰 경우에는 액터 전이만으로도 유사한 점근적 성능을 달리는 경우가 있었습니다.
  • 어텐션 메커니즘: 어텐션 기반 관측 어댑터는 특히 업스케일링(up-scaling) 시나리오에서 단순 FCN 기반 어댑터보다 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 ASALT가 실세계 MARL 배포의 결정적인 병목 구간, 즉 에이전트의 수나 환경의 복잡성이 변할 때 정책을 전이할 수 없는 문제를 해결한다고 주장합니다. 적응형 임베딩을 통해 타겟 입력 차원을 소스 정책 아키텍처로부터 분리함으로써, ASALT는 이질적인 환경에서도 **측면 전이(lateral transfer)**를 가능하게 합니다.

저자들은 다음과 같은 점을 강조합니다:

• 부정적 전이 감소: 타겟 상태를 공유 표현으로 매핑하는 방법을 통해, 도메인 간 전이 시 흔히 발생하는 실패 모드인 무관하거나 상충하는 정보를 필터링합니다.
• 협업 강화: 상태 어댑터와 크리틱 전이의 포함은 시스템이 단순한 행동 정책뿐만 아니라 가치 기반의 협업 패턴을 활용할 수 있게 합니다.
• 계산 효율성 유지: 어댑터 모듈 추가로 인해 약간의 계산 오버헤드(실험에서 훈련 시간 약 21% 증가)가 발생하지만, 이는 수렴에 필요한 환경 상호작용 횟수의 실질적인 감소로 상쇄됩니다.

결론적으로, ASALT는 매우 효과적이지만 그 성능는 도메인 간 불일치 정도에 따라 달라질 수 있으며, 향후 연구는 계산 비용을 더욱 줄이기 위한 계층적 전이 및 이론적 분석을 탐구해야 한다고 밝히고 있습니다.