기술 요약: 영향 기반 팀 조종 (IBTS)

1. 문제 제기

본 논문은 Zero-Shot Coordination (ZSC) 환경에서 **Human-Machine Teaming (HMT)**의 확장성 한계를 다룹니다. 데이터 기반 HMT 방법은 비용이 많이 드는 인간 상호작용 데이터에 의존하는 반면, ZSC 는 다양한 파트너 집단을 시뮬레이션하여 에이전트가 보지 못한 파트너와 협력하도록 훈련하려 합니다. 그러나 저자들은 팀 규모가 커짐에 따라 (예: 2 인 팀에서 3 인 팀으로 이동) 그리고 의사소통이 저하됨에 따라 파트너 다양성만으로는 부족하다고 주장합니다.

표준 집단 기반 방법들 (예: FCP, MEP, GAMMA) 은 종종 견고하지만 정적인 일반화 정책으로 수렴합니다. 이러한 정책들은 중간 단계가 즉시 보상을 받지 않는 희소 보상 환경과 긴 상호작용 체인에서 효과적이고 고성능의 조정 패턴을 유지하지 못합니다. 핵심적인 과제는 포괄적인 인간 데이터 커버리지 없이 생산적인 조정 구조를 식별하고 강화하는 것입니다.

2. 방법론: 영향 기반 팀 조종 (IBTS)

저자들은 파트너 다양성에 학습된 조정 지침을 더하는 3 단계 프레임워크인 IBTS를 제안합니다. 이 프레임워크는 Decentralized Partially Observable Markov Decision Process (Dec-POMDP) 공식 내에서 작동합니다.

1 단계: 다양한 팀 풀 구축

목표는 다양하고 고성능인 팀 풀을 생성하는 것입니다. 이는 중앙 집중식 훈련과 분산 실행 (CTDE) 목적 함수 (특히 PPO/MAPPO 사용) 를 두 가지 내재적 보상 항으로 수정함으로써 달성됩니다.

1. 영향 형성 (Influence Shaping): 지원적 행동을 장려하기 위해,该方法은 팀원들이 "주목할 만한" 후속 행동을 수행할 가능성을 높이는 행동을 보상합니다.
   • 주목할 만한 행동 $a^*_t$는 협력 상태 특징 (위치, 물체 소유) 에 가장 큰 변화를 유발하는 행동으로 정의됩니다.
   • 지향적 영향 보상 ($r^{inf}_{i,t}$) 은 관찰만으로 팀원의 후속 행동을 예측하는 기준 예측기와 에이전트 $i$의 행동에 조건부인 영향 조건 예측기를 비교하여 계산됩니다.
   • 보상은 음이 아닌 차이로, 에이전트 $i$가 효과가 지연되더라도 (짧은 시간 범위 이벤트 레이블 $K$를 통해 포착됨) 팀원 후속 행동을 더 확률적으로 만들 행동을 취하도록 장려합니다.
2. 행동 다양성: 집단이 단일 관습으로 붕괴되는 것을 방지하기 위해 다양성 항 ($r^{div}_{i,t}$) 이 추가됩니다. 이는 현재 집단의 평균 행동 분포 하에서 확률이 낮은 행동을 보상하여 팀 풀 전반에 걸쳐 독특한 조정 스타일을 장려합니다.

2 단계: 궤적 조건부 팀 예측기

구축된 팀 풀에서 롤아웃 기록을 기반으로 트랜스포머 기반 예측기가 훈련됩니다.

• 입력: 궤적 기록 $h_t$ (에이전트 위치, 방향, 들고 있는 물체, 행동).
• 출력: 조정 임베딩 $c_t$와 풀 내 $M$개 팀에 대한 분포 $p_t$.
• 목적: 예측기는 최근 상호작용 궤적을 이를 생성한 특정 조정 스타일 (팀 정체성) 로 매핑하는 법을 학습합니다. 이를 통해 시스템은 실시간으로 현재 상호작용의 "모드"를 인식할 수 있습니다.

3 단계: 팀 조종

이 단계는 학습된 조정 구조를 사용하여 배포 가능한 최적 대응 정책을 훈련합니다.

1. 궤적 품질 조종: 역사적 팀 풀을 평가하여 각 팀에 품질 점수 $S(m)$을 할당합니다. 조종 보상 ($r^{steer}_t$) 은 현재 궤적이 더 높은 품질의 역사적 모드로 이동하는지에 따라 정의됩니다.
   • $r^{steer}_t = \max(Q(h_{t+\Delta}) - Q(h_t), 0)$, 여기서 $Q$는 현재 궤적의 품질 가중 점수입니다.
   • 이 보상은 정책이 ongoing 상호작용을 이전에 학습된 더 강력한 조정 패턴으로 조종하도록 안내합니다.
2. 공유 학생 증류: 조종 과정은 각 에이전트 인덱스를 고정된 파트너에 대해 훈련한 전문화된 "교사" 정책을 생성하므로, 오프라인 증류 단계를 통해 이를 단일 공유 학생 정책으로 통합합니다. 학생은 교사 행동의 풀링된 데이터셋에 대한 행동 복제 (behavior cloning) 를 통해 훈련되어, 팀 내 어떤 위치에서도 일반적인 최적 대응 에이전트 역할을 할 수 있게 합니다.

3. 주요 기여

1. IBTS 프레임워크: 영향 형성을 통해 지원 패턴을 발견하고 예측기 기반 조종을 통해 이를 강화하는 파트너 다양성과 학습된 팀 성능 구조를 결합하는 프레임워크의 도입.
2. 확장된 HMT 로의 확장: 3 에이전트 레이아웃으로의 Overcooked-AI 평가 확장 및 파트너 스타일 변화에 대한 견고성을 테스트하기 위한 성격 조건부 합성 AI 프로토콜 개발.
3. 인간 연구 및 데이터셋: 1 인간 -1 머신 및 2 인간 -1 머신 설정 모두에서 IBTS 를 평가하는 30 명 참가자 인간 연구. 저자들은 이러한 협력에서 얻은 90 개 궤적의 데이터셋을 공개했는데, 이는 2 인간 -1 AI Overcooked-AI 연구 분야에서 최초의 사례입니다.

4. 실험 결과

평가는 Overcooked-AI의 세 가지 레이아웃 (강제 조정 (FC), 파이프라인 (PL), 비대칭 이점 (AA)) 에서 수행되었습니다.

• 분포 내 시뮬레이션 평가: IBTS 는 특히 희소 보상으로 인해 조정이 어려운 파이프라인 (PL) 레이아웃에서 강력한 베이스라인 (MAPPO-SP, FCP, MEP, GAMMA) 보다 현저히 우수한 성과를 보였습니다.
  • 2 에이전트 PL 에서 IBTS 는 MEP 보다 +16.5% 개선되었습니다.
  • 3 에이전트 PL 에서 IBTS 는 MEP 보다 +17.1% 개선되었습니다.
  • 더 밀집된 보상이 있는 환경 (예: 비대칭 이점) 에서도 IBTS 는 최상위 베이스라인과 경쟁력을 유지했습니다.
• 합성 LLM 파트너 평가: IBTS 는 Agreeable, Extraverted, Neurotic 성격으로 조건부 설정된 GPT-5-mini 파트너와 테스트되었습니다.
  • IBTS 는 테스트된 18 개 설정 모두에서 FCP 를, 18 개 중 13 개에서 MEP 를 능가했습니다.
  • 평균 점수는 186.9로, MEP(133.7) 와 FCP(110.6) 보다 현저히 높았습니다.
  • 가장 큰 개선은 파이프라인 레이아웃에서 관찰되었으며, 이는 긴 상호작용 체인에서의 효과성을 나타냅니다.
• 인간 연구:
  • 1 인간 -1 머신 조건에서 IBTS 는 파이프라인 레이아웃에서 MEP 와 GAMMA 를 현저히 능가했습니다.
  • 2 인간 -1 머신 조건에서 IBTS 는 강제 조정 레이아웃에서 두 베이스라인 모두를 현저히 능가했습니다.
  • 게임 후 설문조사에 따르면 인간 팀원들은 신뢰도에서 가장 높게 평가되었지만, IBTS 는 다른 학습된 베이스라인에 비해 전반적으로 긍정적인 평가를 받아 성능 향상이 주관적 팀원 품질의 대가를 치른 것이 아님을 시사했습니다.

5. 중요성 및 주장

본 논문은 확장 가능한 ZSC 를 위해 파트너 커버리지만으로는 불충분하다고 주장합니다. 대신, 성공적인 조정은 다양성과 이전 가능한 조정 구조를 식별하고 강화하는 메커니즘을 결합해야 합니다.

• 설계 원칙: 저자들은 기계가 단순히 다양한 파트너를 견디도록 훈련되는 것을 넘어, 생산적인 조정 패턴을 인식하고 강화하도록 학습해야 한다고 제안합니다.
• 희소 보상 처리: IBTS 는 표준 작업 보상이 학습을 안내하기에 불충분한 희소 보상 환경에서 유용한 중간 조정 단계를 발견하기 위해 영향 형성이 결정적임을 보여줍니다.
• 확장성: 이 프레임워크는 2 에이전트 (dyadic) 설정에서 3 에이전트 (group) 설정으로 성공적으로 이전되어, 기계가 개별 선호도와 인간 - 인간 역동성 모두에 적응해야 하는 더 현실적인 인간 - 그룹 협력으로 나아가는 길을 제시합니다.

저자가 인정하는 한계:

• IBTS 는 학습된 팀 성능 구조의 품질에 의존합니다. 임베딩 공간이 인간이 선호하는 행동을 포함하지 않으면 조종이 이를 복구할 수 없습니다.
• 쌍별 영향 공식은 매우 큰 팀의 경우 확장성 비용을 초래합니다.
• 인간 연구는 규모가 제한적이었으며, 성능 향상에도 불구하고 인간과 기계 팀원 간의 주관적 신뢰 격차는 지속되었습니다.