Zero Shot Coordination for Sparse Reward Tasks with Diverse Reward Shapings

"다양한 보상 형상화를 통한 희소 보상 작업의 제로 샷 조정"에 대한 상세한 기술 요약입니다.

1. 문제 정의

본 논문은 **다중 에이전트 강화 학습 (MARL)**의 중요한 한계인 **제로 샷 조정 (ZSC)**을 다룹니다.

• 핵심 이슈: 자기 대결 (Self-Play) 을 통해 훈련된 전통적인 MARL 에이전트들은 종종 특정 관습이나 전략을 개발하는데, 이는 동일한 목적 함수로 훈련되었더라도 다른 무작위 시드, 알고리즘, 또는 훈련 이력을 가진 에이전트와 짝을 이루면 실패합니다.
• 격차: 기존 ZSC 솔루션 (예: Other-Play, TrajeDi, MAZE) 은 모든 에이전트가 동일한 보상 함수를 공유한다고 가정합니다. 그러나 실제 시나리오 (예: 서로 다른 제조사의 자율 주행 차량) 에서 에이전트들은 희소 목표 (예: "목적지에 도달") 를 공유할 수 있지만, 희소 보상을 밀집시키기 위해 환경 특성에 할당하는 가중치가 다른 **서로 다른 보상 형상화 (reward shapings)**를 사용할 수 있습니다.
• 과제: 특정 파트너에 대한 추가 훈련 없이, 동일한 희소 목표를 가지지만 내부 보상 구조가 다른 알려지지 않은 파트너와 효과적으로 협력할 수 있도록 에이전트를 훈련시키는 방법입니다.

2. 방법론

저자들은 다양한 보상 형상화를 사용하여 앙상블 에이전트를 훈련함으로써 일반화 능력을 향상시키는 프레임워크를 제안합니다.

A. 보상 형상화 공식화

저자들은 보상 형상화를 기본 희소 보상에 추가되는 환경 특성의 가중 조합으로 정의합니다:
$$R(s_t, a_t) = \text{sparse}(s_t, a_t) + \sum_{k=1}^{F} w_k f_k$$
여기서 $w_k$는 특정 특징 $f_k$(예: 냄비까지의 거리, 접시 줍기) 에 대해 선택된 가중치입니다.

B. 네 가지 선택 알고리즘

다양한 보상 형상화 집합 ($P$) 을 생성하기 위해 논문은 네 가지 선택 방법을 소개합니다:

1. LLM 기반: 보상 형상화와 그 성능에 대한 예시를 프롬프트로 사용하여 새로운 가중치 집합을 생성하는 LLM(Claude Sonnet 4.5) 을 활용합니다. 이는 성능과 정책 다양성을 균형 있게 유지합니다.
2. 대리 네트워크 (Surrogate Network): 주어진 보상 형상화를 기반으로 총 희소 보상을 예측하도록 다층 퍼셉트론 (MLP) 을 훈련시킵니다. 그런 다음 1,000 개의 무작위 형상화를 샘플링하고 대리 네트워크의 예측에 기반하여 최상위 성능을 보이는 것들을 선택합니다.
3. 층화 그리드 (Stratified Grid): **라틴 초입체 샘플링 (Latin Hypercube Sampling)**을 사용하여 선택된 가중치가 가능한 전체 범위 (0–10) 를 고르게 커버하도록 합니다. 이는 보상 공간의 통계적 대표성을 보장합니다.
4. 무작위: 제약 없이 가능한 범위에서 가중치를 균일하게 샘플링합니다.

C. 앙상블 훈련 프레임워크

TrajeDi(Trajectory Diversity) 알고리즘을 기반으로 합니다:

1. 집단 생성: 선택된 각 보상 형상화에 대해, 집단 내 정책 다양성을 장려하기 위해 제너슨 - 샤논 발산 (Jensen-Shannon Divergence) 항을 포함하는 TrajeDi 를 사용하여 에이전트 집단을 훈련합니다.
2. 앙상블 구성: 최종 에이전트는 각 $P$개 훈련 집단으로부터의 "최적 응답 (Best Response, BR)" 에이전트들로 구성된 앙상블 모델입니다.
3. 행동 선택: 앙상블은 앙상블 내의 모든 BR 에이전트 간의 **최빈값 (가장 빈번한 선택)**인 행동을 선택합니다.

3. 주요 기여

1. 새로운 문제 공식화: 이전 문헌이 가정했던 것보다 더 현실적인 제약인, 파트너가 동일한 희소 목표를 가지지만 서로 다른 보상 형상화를 갖는 시나리오로 ZSC 를 확장합니다.
2. 네 가지 선택 방법: 다양한 보상 형상화를 생성하기 위한 네 가지 고유한 알고리즘 (LLM, 대리 네트워크, 층화 그리드, 무작위) 을 도입하고 평가합니다.
3. 앙상블 프레임워크: 서로 다른 보상 형상화로 훈련된 모델들을 단일 강력한 정책으로 결합하는 방법을 제안합니다.
4. 실증적 검증: ZSC 에서 일반화를 위해 정책 다양성뿐만 아니라 보상 형상화의 다양성도 중요함을 입증합니다.

4. 실험 결과

실험은 표준 MAPPO 를 사용하여 알려지지 않은 보상 형상화로 훈련된 파트너에 대해 Overcooked 환경 (특히 Random0_Medium, Random3, Unident_S) 에서 수행되었습니다.

• 성능 향상:

  • 제안된 방법은 기존 ZSC 알고리즘 (표준 TrajeDi 및 Hidden-Utility Self-Play 포함) 보다 현저히 우수한 성과를 보였습니다.
  • 향상 범위: 희소 보상 개선은 기존 알고리즘 대비 **62.2% 에서 119.2%**까지 향상되었습니다.
  • 최상위 수행자: **층화 그리드 (Stratified Grid)**와 **대리 네트워크 (Surrogate Network)**가 일관되게 최상의 결과를 달성했습니다.
    • 층화 그리드: 보상 공간의 고른 커버리지로 인해 가장 높은 일반화 능력을 달성했습니다.
    • 대리 네트워크: 낮은 다양성에도 불구하고 매우 우수한 성능을 보였으며, 이는 순수한 무작위성보다 고성능 형상화를 선택하는 것이 더 중요함을 시사합니다.
  • 앙상블 효과: 앙상블 접근법 자체는 비앙상블 기준 대비 40–70% 의 개선을 제공했습니다.
  • LLM 기반: 강력한 성능을 보였으나 층화 그리드보다 일관성은 약간 떨어졌습니다.
  • 무작위: 기준 대비 (+27% 에서 +51%) 를 상회했으나 제안된 방법 중 가장 약했으며, 방향성이 없는 다양성만으로는 부족함을 강조합니다.

• 다양성 vs 성능:

  • 층화 그리드는 가장 높은 범위 커버리지 (96.7%) 와 높은 표준 편차를 보였습니다.
  • 대리 네트워크는 가장 낮은 표준 편차와 범위 커버리지를 보였으나 일부 환경에서 가장 높은 성능을 달성했습니다. 이는 순수한 통계적 다양성보다 보상 형상화의 품질(고성능 가중치 찾기) 이 때로는 더 중요할 수 있음을 나타냅니다.

5. 의의 및 결론

• 현실성: 본 논문은 이론적 ZSC 와 실제 배포 간의 격차를 해소하며, 서로 다른 출처의 에이전트가 동일한 목표를 다르게 최적화할 가능성이 있음을 인정합니다.
• 견고성: 앙상블 접근법은 "관습 불일치" 문제에 강인한 에이전트를 만들어 알려지지 않은 파트너와 즉시 협력할 수 있게 합니다.
• 향후 방향: 저자들은 향후 연구가 방법론의 하이브리드화 (예: 층화 그리드의 다양성 제약과 대리 네트워크의 성능 초점 결합) 와 더 복잡한 환경으로의 확장에 초점을 맞춰야 한다고 제안합니다.

요약하자면, 본 논문은 다양한 보상 형상화 집합으로 에이전트를 훈련시키고 이를 앙상블을 통해 결합하는 것이 희소 보상 환경에서 견고한 제로 샷 조정을 달성하는 매우 효과적인 전략임을 증명합니다.