기술 요약: 계층적 행동 분리를 통한 적응형 인간-AI 협업

문제 제기

인간 파트너와 효과적으로 협업할 수 있는 지능형 에이전트를 개발하는 것은 다중 에이전트 강화학습 (MARL) 에서 여전히 중요한 과제로 남아 있습니다. 상대를 능가하는 것을 성공으로 정의하는 적대적 환경과 달리, 협업은 에이전트가 다양하고 예측 불가능한 행동, 다양한 숙련도, 그리고 개별적인 선호도를 가진 파트너들에게 적응할 것을 요구합니다.

기존 접근법들은 다음과 같은 치명적인 한계에 직면해 있습니다:

• 행동 복제 (BC): 특정 시연에는 효과적이지만, 이러한 방법들은 데이터 비용이 많이 들고 훈련 데이터를 넘어선 일반화에 어려움을 겪습니다.
• 심층 계층적 강화학습 (DHRL): DHRL 은 작업을 고수준 기술과 저수준 행동으로 분해함으로써 시간적 추상화를 제공하지만, 현재의 기술 발견 방법들은 종종 기술 붕괴(여러 기술이 유사한 행동으로 수렴하는 현상) 에 시달리거나 의미 있는 파트너 관련 패턴 대신 노이즈를 포착하는 중복된 기술을 학습합니다.
• 파트너 인식 부재: 많은 내재적 보상 메커니즘은 에이전트 자신의 탐험이나 상태 분포에 기반하여 다양성을 장려하지만, 상호작용 역학이나 파트너 의존적 행동을 명시적으로 모델링하지 못합니다. 그 결과, 에이전트들은 종종 훈련 파트너에 과적합되어 다른 협업 스타일을 가진 새로운 파트너들에게 일반화하지 못합니다.

방법론: 내재적 행동 분리 (IAD)

저자들은 고수준 잠재 기술에 조건부인 고유한 파트너 인식 저수준 행동 시퀀스를 학습하도록 설계된 이이 레벨 심층 계층적 강화학습 프레임워크인 내재적 행동 분리 (IAD) 를 제안합니다.

프레임워크 아키텍처

시스템은 계층적 정책 $\pi_\theta = (\pi_{hi}, \pi_{lo}, \beta)$로 작동합니다:

1. 고수준 관리자 ($\pi_{hi}$): 파트너 행동의 시간적으로 확장된 패턴을 관찰하고 잠재 기술 $z \in \mathcal{Z}$를 선택합니다. 순차적 의존성을 포착하기 위해 순환 신경망으로 구현됩니다.
2. 저수준 제어기 ($\pi_{lo}$): 선택된 기술 $z$에 조건부인 원자 행동 시퀀스를 실행합니다.
3. 종료 함수 ($\beta$): 현재 기술이 언제 종료되어야 하는지를 결정하는 확률적 함수로, 협업 컨텍스트에 기반한 적응형 전환을 가능하게 합니다.

핵심 혁신: 내재적 행동 분리

IAD 의 중심 기여는 서로 다른 기술 간 행동 분포의 분리를 명시적으로 장려하기 위해 저수준 정책에 적용되는 새로운 내재적 보상입니다.

• 목적: 저수준 정책은 각 잠재 기술 $z$가 에이전트 중심의 변이가 아닌 파트너의 협업 패턴을 반영하는 고유하고 예측 가능한 행동 시퀀스를 생성하도록 정규화됩니다.
• 내재적 보상 공식화: 내재적 보상 $r^{IAD}$는 기술 조건부 행동 분포와 주변 행동 분포 간의 Kullback–Leibler (KL) 발산으로 정의됩니다:
  $$r^{IAD}(s_t, a_t, z_k) = \text{KL}(\pi_{lo}(\cdot | s_t, z_k) \parallel \pi_{lo}(\cdot | s_t))$$
  여기서 $\pi_{lo}(a | s) = \sum_{z \in \mathcal{Z}} \pi_{hi}(z | s) \pi_{lo}(a | s, z)$입니다.
• 훈련 역학:
  • 저수준 목적: 외부 팀 보상과 내재적 분리 보상의 조합을 최대화합니다. 이는 기술이 재사용 가능한 파트너별 협업 패턴을 학습하도록 보장합니다.
  • 고수준 목적: 현재 파트너 역학에 가장 효과적인 기술을 선택하기 위해 구조화된 저수준 행동을 활용하여 기술 구간 전체에 걸친 누적 외부 팀 보상을 최대화합니다.
  • 최적화: 전체 계층은 근접 정책 최적화 (PPO) 를 사용하여 엔드 투 엔드로 훈련됩니다. 종료 함수 $\beta$는 기술이 성능을 극대화하기 위해 적절히 종료되도록 보장하기 위해 동일한 고수준 이득 신호를 사용하여 최적화됩니다.

주요 기여

1. IAD 프레임워크: 다양한 협업 스타일과 숙련도를 가진 이전에 보지 못한 파트너들에게 적응하여 협업 작업에서 견고한 협업을 달성하는 새로운 이이 레벨 DHRL 프레임워크.
2. 내재적 분리 보상: 기술 간 원자 행동 시퀀스의 분리를 명시적으로 장려하는 저수준 정책을 위한 특정 보상 메커니즘. 이는 기술 붕괴를 방지하고 각 고수준 기술을 고유한 파트너 관련 행동 패턴과 정렬시킵니다.
3. 종합적 평가: 다섯 가지 레이아웃에서 Overcooked-AI 환경에 대한 광범위한 실험으로, 다음에 대한 일반화를 테스트했습니다:
   • 다양한 숙련도를 가진 대규모 자기 플레이 파트너 군집.
   • 실제 인간 - 인간 궤적으로 훈련된 행동 복제 인간 프록시 모델.
   • 통제된 사용자 연구에서의 실제 인간 파트너.

실험 결과

저자들은 IAD 를 강력한 베이스라인인 가상 공동 플레이 (FCP), DIAYN, 그리고 계층적 군집 훈련 (HiPT) 과 비교 평가했습니다.

• 자기 플레이 파트너: IAD 는 모든 레이아웃에서 일관되게 가장 높은 평균 수익을 달성했습니다 (예: Cramped Room에서 172.96, FCP 는 137.7, HiPT 는 117.9). 이는 더 빠른 수렴과 안정적인 성능을 보여주었으며, 반면 DIAYN 은 관련 없는 상태 변화에 대한 민감도로 인해 어려움을 겪었고, HiPT/FCP 는 구조화된 저수준 기술의 부재로 인해 일관되지 않은 성능을 보였습니다.
• 인간 프록시 파트너: BC 로 훈련된 인간 프록시와 짝을 이룰 때, IAD 는 다시 모든 베이스라인을 능가했습니다 (예: Cramped Room에서 148.76, FCP 는 118.75). 이는 유한한 인간 데이터의 한계에도 불구하고 인간과 유사한 행동에 일반화할 수 있음을 보여주었습니다.
• 실제 인간 파트너: 24 명의 유효한 참가자를 대상으로 한 사용자 연구에서 IAD 는 모든 레이아웃에서 HiPT 보다 유의하게 높은 공동 보상을 달성했으며, 개선 폭은 **22% 에서 47%**까지 다양했습니다.
• 정성적 분석: 시퀀스 임베딩의 UMAP 투영은 IAD 가 서로 다른 기술을 위해 컴팩트하고 잘 분리된 클러스터를 생성함을 보여주었는데, 이는 강한 기술 내 일관성과 명확한 기술 간 분리를 나타냅니다. 궤적 시각화는 특정 기술이 일관되게 고유한 인간 부분 궤적 (예: 다른 접시 집기 전략 또는 시계 방향 대 반시계 방향 협업) 과 정렬됨을 확인시켜 주었습니다.

중요성과 주장

이 논문은 IAD 가 에이전트 중심의 다양성 촉진뿐만 아니라 상호작용 역학을 명시적으로 모델링함으로써 기존 계층적 방법의 중요한 격차를 해소한다고 주장합니다. 파트너 행동에 기반하여 행동 분리를 분리함으로써 IAD 는 에이전트가 다음을 수행할 수 있게 합니다:

• 분포 변화에 견고한 재사용 가능한 구조화된 기술 조건부 행동을 학습합니다.
• 특정 훈련 사례에 과적합하지 않고 이질적인 파트너들에게 효과적으로 적응합니다.
• 시뮬레이션된 인간 프록시와 실제 인간 참가자 모두와의 우수한 성능으로 입증된 대로, 실제 세계 인간-AI 시나리오에서 신뢰할 수 있는 협업을 달성합니다.

저자들은 그들의 접근 방식이 고수준 결정이 고유한 파트너 인식 저수준 실행 패턴에 기반하도록 보장함으로써 인간-AI 협업의 시간적 복잡성을 처리하는 원칙적인 방법을 제공한다고 결론지었습니다.