기술 요약: 견고한 인간-AI 협업을 위한 파트너 인식 계층적 기술 발견

문제 제기

효과적인 다중 에이전트 협업, 특히 인간-AI 팀워크는 다양하고 역동적인 행동을 보이는 새로운 파트너에 적응할 수 있는 에이전트를 요구합니다. 기존의 심층 계층적 강화학습 (DHRL) 방법은 일반적으로 에이전트 중심 보상에 초점을 맞추어 파트너의 영향을 명시적으로 고려하지 않은 채 다양성을 최적화합니다. 이러한 한계는 에이전트가 파트너 상호작용과 관련된 정보를 포착하는 대신 상태 특징의 우연한 상관관계를 이용하는 '단순화 학습 (shortcut learning)'으로 이어집니다. 그 결과, 학습된 기술은 종종 새로운 파트너에게서 일반화되지 못해 조정 실패와 행동 불일치를 초래합니다. 기술과 상태 간의 상호 정보량 (MI) 을 최대화하는 기존 접근법들은 기술의 엔트로피에 의해 제한받고 파트너 행동에 대한 민감성을 보장하지 못하기 때문에 종종 이러한 문제에 시달리며, 이로 인해 적응력이 제한된 정적인 기술이 생성됩니다.

방법론

저자들은 파트너 행동에 조건부인 기술을 학습하도록 설계된 DHRL 프레임워크인 **파트너 인식 기술 발견 (PASD)**을 제안합니다. 핵심 혁신은 유사한 행동을 보이는 파트너 간에는 일관되게 유지되면서 다양한 전략 간에는 구별력을 유지하도록 기술 표현을 형성하는 대비적 내재 보상입니다.

프레임워크 개요

PASD 는 잠재 기술 ($z$) 을 선택하는 고수준 관리자 ($\pi_{hi}$) 와 현재 상태 및 활성 기술에 조건부인 기본 행동을 실행하는 저수준 제어기 ($\pi_{lo}$) 로 구성된 계층적 구조 내에서 작동합니다. 이 프레임워크는 훈련 중 분포에서 샘플링된 파트너 군집 ($\mathcal{D}_p$) 을 활용합니다.

주요 메커니즘

1. 대비적 내재 보상:
   기술과 상태 간의 표준 상호 정보량을 최대화하는 대신, PASD 는 기술과 부분 궤적 간의 상호 정보량에 대한 변분 하한을 최대화합니다. 이는 InfoNCE 스타일의 대비적 목적 함수를 통해 달성됩니다.

   • 양적 쌍: 다른 파트너와 상호작용하는 동일한 기술에 의해 생성된 부분 궤적.
   • 음적 쌍: 서로 다른 기술에 의해 생성된 부분 궤적.
   • 목적: 내재 보상 ($r_{int}$) 은 유사한 행동을 보이는 파트너 간에 일관된 상태 임베딩을 생성하는 기술을 정책이 선택하도록 유도하여 (기술 내 일관성) 동시에 서로 다른 기술에 대해서는 구별되는 임베딩을 보장합니다 (기술 간 구별력).

2. 훈련 목적 함수:
   고수준 및 저수준 정책 모두에 대한 총 보상은 외재 팀 보상 ($r$) 과 대비적 내재 보상 ($r_{int}$) 의 가중치 조합입니다:
   $$\tilde{r} = (1 - \lambda)r + \lambda r_{int}$$
   훈련 초기에는 $\lambda$가 높아 다양한 파트너 조건부 패턴의 탐색을 촉진합니다. 훈련이 진행됨에 따라 $\lambda$는 학습된 행동 일관성을 유지하면서 작업 수행을 우선시하도록 감쇠됩니다.

3. 최적화:
   고수준 관리자, 저수준 제어기, 종료 함수는 근접 정책 최적화 (PPO) 알고리즘을 사용하여 엔드 투 엔드로 최적화됩니다.

주요 기여

1. PASD 프레임워크: 파트너 행동에 조건부인 기술 발견을 가능하게 하는 DHRL 프레임워크를 도입하여 새로운 파트너와의 견고한 조정을 가능하게 합니다.
2. 새로운 내재 보상: InfoNCE 손실에서 유도된 대비적 내재 보상을 제안합니다. 이 보상은 다양한 파트너를 통한 병렬 롤아웃에서 공유된 패턴을 포착하여 우연한 상태 정보로 인한 단순화 학습을 완화하고 파트너 관련 정보를 직접 활용합니다.
3. 종합 평가: 다양한 파트너 군집 (다양한 기술 수준 및 플레이 스타일) 과 인간 프록시 모델을 대상으로 한 Overcooked-AI 벤치마크에서 광범위한 평가를 수행했습니다. 연구 결과, PASD 는 다양한 파트너 행동 전반에 걸쳐 효과적으로 일반화되는 전이 가능한 기술을 학습함을 보여주었습니다.

실험 결과

저자들은 Overcooked-AI 환경에서 Fictitious Co-Play (FCP), DIAYN, Hierarchical Population Training (HiPT) 을 포함한 기준 모델에 대해 PASD 를 평가했습니다.

• AI 파트너와의 성능: PASD 는 다섯 가지 표준 레이아웃 (Cramped Room, Asymmetric Advantages, Coordination Ring, Counter Circuit, Forced Coordination) 에서 모든 기준 모델보다 일관되게 우수한 성과를 거두었습니다. 예를 들어, Cramped Room 레이아웃에서 PASD 는 평균 보상 165.8을 달성하여 FCP(137.7) 와 HiPT(117.9) 보다 현저히 높았습니다.
• 인간 프록시 모델과의 성능: 인간 - 인간 궤적으로 훈련된 행동 복제 (BC) 모델과 짝을 이룰 때, PASD 는 우수한 성능을 유지하며 모든 레이아웃에서 가장 높은 수익을 달성했습니다 (예: Cramped Room 에서 150.00 대 FCP 의 118.75).
• 인간 대상 연구: 19 명의 인간 참가자를 대상으로 한 통제된 연구에서 PASD 는 모든 레이아웃에서 HiPT 보다 높은 공동 보상을 달성하여 인간-AI 협업을 **22% 에서 47%**까지 개선했습니다.
• 정성적 분석: 학습된 기술 임베딩에 대한 분석 (코사인 유사도 히트맵 및 UMAP 투영을 통해) 은 PASD 가 기술을 성공적으로 분리함을 보여주었습니다. 동일한 기술에 대한 임베딩은 파트너와 관계없이 조밀한 클러스터를 형성하는 반면, 서로 다른 기술은 구별된 상태를 유지하여 모델이 에이전트 중심의 노이즈가 아닌 파트너 조건부 역학을 포착할 수 있음을 확인시켰습니다.

중요성 및 주장

이 논문은 PASD 가 다중 에이전트 강화학습의 중요한 격차, 즉 표준 계층적 방법들이 새로운 파트너의 역동적인 행동에 적응하지 못하는 문제를 해결한다고 주장합니다. 에이전트 중심의 다양성에서 파트너 인식 일관성으로 초점을 전환함으로써, 이 방법은 단순화 학습을 완화하고 행동의 견고성을 촉진합니다.

저자들은 PASD 가 인간-AI 상호작용의 맥락에서 다양할 뿐만 아니라 의미 있는 기술을 학습함으로써 더 적응적이고 효율적인 협업 에이전트의 기반을 제공한다고 주장합니다. 결과는 파트너 행동에 조건부인 기술 발견이 인간과 유사한 플레이 스타일을 가진 파트너를 포함한 보이지 않는 파트너에게도 에이전트가 효과적으로 일반화할 수 있음을 시사하며, 이는 광범위한 인간 데이터 훈련 없이도 가능합니다. 이 연구는 견고한 조정이 협력자의 특정 전략에 민감한 시간적으로 확장된 행동에 대한 추론을 필요로 함을 강조합니다.