기술 요약: 상태 차단을 통한 제로샷 조정 형성

문제 정의

제로샷 조정 (ZSC) 은 사전 공동 상호작용 없이 독립적으로 훈련된 파트너 (인간 포함) 와 다중 에이전트 시스템이 협력할 수 있도록 하는 것을 목표로 합니다. 자기 플레이 (SP) 와 같은 기존 방법은 함께 훈련된 에이전트에게는 효과적이지만, 종종 단일 조정 관습으로 수렴하여 서로 다른 무작위 시드나 방법 (교차 플레이, XP) 하에서 훈련된 파트너와 짝을 이룰 때 심각한 성능 저하를 초래합니다.

이전 접근법들은 인구 집단, 무작위화 정책, 또는 환경 수정을 통해 파트너 다양성을 증가시킴으로써 이를 완화하려 했습니다. 그러나 이러한 전략들은 종종 구조화된 하위 최적 조정 모드의 다양한 집합을 포착하지 못합니다. 그들은 최적 관습과 너무 유사한 행동을 생성하거나, 잘 일반화되지 않는 비구조적 변이성을 도입합니다. 또한, 환경 다양성 접근법은 종종 환경에 대한 명시적 접근이나 수정을 요구하여 적용 범위를 제한합니다. 핵심 과제는 여전히 다음과 같습니다: 기본 환경을 수정하거나 외부 인간 데이터를 요구하지 않고도, 자아 에이전트를 체계적으로 다양한 구조화된 하위 최적 파트너 행동에 노출시키는 방법.

방법론: 상태 차단 조정 (SBC)

저자들은 **상태 차단 조정 (SBC)**을 제안합니다. 이는 상태 차단을 통해 가상 환경 변이를 생성함으로써 파트너 행동에 구조화된 다양성을 유도하는 프레임워크입니다.

1. 상태 차단 MDP (SB-MDP)

SBC 는 특정 상태를 "페널티 상태"로 지정하는 수정된 마르코프 결정 과정을 정의합니다.

• 메커니즘: 재생 버퍼에서 페널티 상태 집합 $\tilde{S}$가 선택됩니다. 보상 함수는 이러한 상태로의 전이를 처벌하도록 수정됩니다:
  $$\tilde{R}(s_t, a_t, s_{t+1}; \tilde{S}) = R(s_t, a_t, s_{t+1}) - \alpha \sum_{\tilde{s} \in \tilde{S}} \frac{1}{\|s_{t+1} - \tilde{s}\|^2 + \epsilon}$$
  여기서 $\alpha$는 페널티 계수입니다.
• 효과: 파트너에게 특정 상태를 피하면서도 작업을 완료하도록 강제함으로써, SB-MDP 는 고유한 지역 최적 조정 전략을 유도합니다. 이러한 전략들은 전역 최적과 다르지만 작업 유효성을 유지하는 구조화된 하위 최적 행동을 나타냅니다.

2. 훈련 절차

SBC 는 차단 인식 정책과 일반 자아 정책을 포함하는 2 단계 훈련 과정을 사용합니다:

• 차단 인식 정책 ($\tilde{\pi}$): 이 정책은 SB-MDP 에서 훈련됩니다. 특정 차단 상태 집합 $\tilde{S}$를 입력으로 조건화합니다. 훈련 중 다양한 페널티 상태 집합을 샘플링함으로써, 시스템은 각각 특정 차단 상태에 의해 규정된 서로 다른 조정 관습을 준수하는 차단 인식 파트너의 계열을 생성합니다.
• 일반 자아 정책 ($\pi_e$): 테스트 시 사용되는 최종 정책은 원래 MDP(페널티 상태 입력 없이) 에서 훈련됩니다. 이는 다음 혼합물에 노출됩니다:
  1. 표준 자기 플레이 파트너 (자기 복사본).
  2. 차단 인식 파트너 (SB-MDP 에서 훈련되었으나 자아 훈련 중 원래 MDP 에서 행동).
     이러한 노출을 통해 자아 에이전트는 단일 관습에 과적합되지 않고 다양한 구조화된 행동과 조정하는 법을 학습할 수 있습니다.

3. 가치 기반 페널티 상태 스케줄링

작업 완료에 중요한 페널티 상태 (파트너 성능을 너무 심각하게 저하시킬 수 있음) 의 선택을 방지하기 위해, SBC 는 스케줄링 메커니즘을 도입합니다:

• 중요도 지표: 가치 간격 $\Delta V(\tilde{s}) = V^{\pi}(s_0) - \tilde{V}^{\tilde{\pi}}(s_0, \tilde{s})$는 상태 차단이 반환을 얼마나 저하시키는지를 정량화합니다.
• 샘플링 전략: 페널티 상태는 확률 $P(\tilde{s}) \propto \exp(-\beta \Delta V(\tilde{s}))$로 샘플링됩니다.
• 어닐링: 온도 $\beta$는 0 에서 1 로 어닐링됩니다. 훈련 초기에는 다양성을 극대화하기 위해 샘플링이 거의 균일합니다. 이후 스케줄러는 점진적으로 매우 중요한 상태의 가중치를 낮추어, 의미 있지만 치명적이지 않은 하위 최적 행동을 유도하는 차단 구성에 집중합니다.

4. 추가 구성 요소

견고성을 더욱 향상시키기 위해 SBC 는 다음을 통합합니다:

• 파트너 행동 예측: 보조 모델이 파트너 행동을 예측하여 자아 정책에 입력되어 적응을 돕습니다.
• 무작위 행동 주입: 파트너가 때때로 무작위 행동을 실행하여 편차에 대한 견고성을 향상시킵니다.

주요 기여

1. 프레임워크: 환경의 전이 역학을 수정하거나 외부 데이터를 요구하지 않고 상태 차단을 통해 구조화된 파트너 다양성을 생성하는 SBC 방법의 도입.
2. 메커니즘: 다양성과 작업 실현 가능성 사이의 균형을 맞추기 위한 상태 차단 MDP 의 공식화 및 가치 기반 스케줄링 전략.
3. 성능: SBC 가 여러 벤치마크에서 우수한 제로샷 조정 성능을 달성하며, 자기 플레이와 교차 플레이 점수 간의 격차를 크게 줄였음을 입증.
4. 인간-AI 조정: SBC 가 인간 프록시와 실제 인간 참여자 모두와 효과적으로 조정하며, 작업 반환, 충돌 감소, 그리고 지각된 조정 유창성 측면에서 기존 베이스라인을 능가함을 검증.

실험 결과

저자들은 Multi-Destination Spread와 Overcooked v1(다섯 가지 레이아웃) 에서 SBC 를 평가했으며, IPPO, FCP, MEP, E3T, GAMMA, CEC 를 포함한 베이스라인과 비교했습니다.

• Multi-Destination Spread: SBC 는 IPPO 의 77.4 에 비해 957.2의 XP 점수를 달성했으며, 격차는 IPPO 의 912.6 에 비해 24.8이었습니다. SP 와 XP 모두에서 높은 성능을 유지한 유일한 방법입니다.
• Overcooked v1: SBC 는 모든 레이아웃에서 교차 플레이에서 일관되게 베이스라인을 능가했습니다. 예를 들어, Coordination Ring 레이아웃에서 SBC 는 316의 XP(격차 17) 를 달성한 반면, IPPO 는 41(격차 246) 을 기록했습니다. SBC 는 또한 다른 방법들에 비해 자기 플레이 성능을 유지하거나 향상시켰습니다.
• 홀드아웃 XP: SBC 는 다른 시드뿐만 아니라 다른 ZSC 방법으로 훈련된 파트너에 대한 견고한 일반화를 보여주었습니다.
• 인간-AI 평가: 40 명의 실제 인간 참여자를 이용한 실험에서 SBC 는 다섯 가지 레이아웃 모두에서 가장 높은 점수를 기록했습니다. 이는 배달당 가장 낮은 충돌 수를 초래했으며, 7 점 리커트 척도에서 가장 높은 참여자 평가를 받아 조정 유창성을 보여주었습니다.

중요성 및 주장

이 논문은 SBC 가 기존 ZSC 방법의 근본적인 한계, 즉 다양하면서도 구조화된 하위 최적 파트너 행동을 구성하지 못한다는 문제를 해결한다고 주장합니다. "차단 인식" 파트너를 유도함으로써 SBC 는 자아 에이전트를 광범위한 조정 관습에 노출시켜, 보이지 않는 파트너에 대한 견고한 일반화를 가능하게 합니다.

저자들은 다음과 같이 강조합니다:

• SBC 는 명시적 환경 수정 (CEC 와 달리) 이나 대규모 인간 데이터 수집을 요구하지 않습니다.
• 이 방법은 인간 파트너와의 조정을 개선하며, 이는 다양한 지역 최적 전략에 대한 노출이 에이전트가 인간의 고유한 특성에 적응하는 데 도움이 됨을 시사합니다.
• SBC 는 하이퍼파라미터 ($\alpha$ 및 $K$) 를 도입하지만, 가치 기반 스케줄링은 방법을 중간 정도의 변이에 대해 견고하게 만들며, 계산 오버헤드는 성능 향상과 GAMMA 나 CEC 와 같은 무거운 베이스라인에 비해 modest 합니다.

이 연구는 SBC 를 실세계 시나리오에서 독립적으로 훈련된 시스템 및 인간 협력자와 원활하게 통합할 수 있는 협력형 AI 에이전트 배포를 위한 실질적인 단계로 위치시킵니다.