기술 요약: CooT: 조정 트랜스포머를 통한 컨텍스트 내 조정 학습

1. 문제 정의

본 논문은 다중 에이전트 시스템에서 에이전트가 이전에 접하지 않은 파트너와 효과적으로 조정해야 하는 임시 팀워크 (Ad-hoc Teamwork, AHT) 문제를 다룹니다. 기존 접근법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 자기 플레이 (Self-Play, SP): 종종 특정 관례에 수렴하여 낯선 협력자와 상호작용할 때 실패합니다.
• 집단 기반 방법: 다양성 (예: HSP, MEP) 을 통해 견고성을 향상시키지만, 훈련 분포를 넘어선 효율적인 온라인 적응 메커니즘이 부족합니다.
• 파인튜닝 (Fine-Tuning): 고비용의 상호작용과 효과적인 전략을 학습하기 위해 수천 개의 궤적이 필요하기 때문에, 소수 샷 (few-shot) 환경에서 경사 기반 적응은 비실용적입니다.
• 컨텍스트 기반 메타 강화 학습 (Meta-RL): 기존 방법들 (예: PACE, PECAN) 은 종종 파트너 행동의 압축된 잠재 표현에 의존합니다. 이러한 방법들은 풍부하고 시간적으로 구조화된 행동을 포착하는 데 어려움을 겪으며, 테스트 시 행동이 훈련 데이터와 다를 경우 실패할 수 있습니다.

핵심 과제는 매개변수 업데이트나 명시적 통신 없이 최소한의 상호작용 (소수 샷) 으로 에이전트가 실시간으로 다양한 파트너 행동에 적응할 수 있도록 하는 것입니다.

2. 방법론: 조정 트랜스포머 (CooT)

저자들은 파트너 적응을 학습 과제로 간주하기 위해 **컨텍스트 내 학습 (In-Context Learning, ICL)**을 활용하는 CooT 프레임워크를 제안합니다. CooT 는 작업 간 일반화가 아닌 다양한 파트너 행동 간 일반화를 수행합니다.

2.1 형식화: 숨겨진 효용 마르코프 게임 (Hidden-Utility Markov Game, HU-MG)

문제는 HU-MG 로 형식화됩니다. 에이전트들은 공유 환경에서 작동하지만, 오직 파트너에게만 관찰 가능한 **숨겨진 보상 함수 ($r_w$)**에 의해 구동됩니다. 이러한 숨겨진 효용은 동일한 환경 내에서도 다양한 행동 선호도 (관례) 를 유도합니다. 목표는 관찰을 통해 이러한 숨겨진 선호도를 추론하고 이에 따라 행동을 조정하는 것입니다.

2.2 훈련 데이터 생성

CooT 는 에이전트 쌍 간의 상호작용 궤적 데이터셋으로 훈련됩니다:

1. 행동 선호 에이전트 ($\pi^p_i$): 환경 사건의 선형 결합으로 정의된 특정 숨겨진 보상 함수로 훈련되어 다양한 행동 스타일을 보이는 에이전트들.
2. 최적 대응 에이전트 (Best-Response Agents, $\pi^{br}_i$): 해당 행동 선호 파트너에 대한 보상을 극대화하도록 다중 에이전트 근접 정책 최적화 (MAPPO) 를 통해 훈련된 에이전트들.
3. 데이터셋 구성: 모델은 $(s_h, C, \hat{a})$ 튜플로부터 학습합니다. 여기서:
   • $C$는 행동 선호 에이전트와 그 최적 대응 에이전트 간의 과거 상호작용 궤적의 컨텍스트 윈도우입니다.
   • $s_h$는 컨텍스트와 독립적으로 샘플링된 쿼리 상태입니다 (단순한 궤적 연장을 방지).
   • $\hat{a}$는 상태 $s_h$에서 $\pi^{br}_i$가 취한 실제 최적 대응 행동입니다.

2.3 모델 아키텍처 및 훈련

• 아키텍처: CooT 는 의사결정 사전 훈련 트랜스포머 (Decision-Pretrained Transformer, DPT) 백본 (특히 GPT-2) 을 활용합니다.
• 목적: 모델은 예측된 행동 분포 $\hat{p}_h(\cdot) = M_\theta(\cdot | s_h, C)$를 예측하도록 지도 학습으로 훈련됩니다. 손실 함수는 예측된 행동과 실제 최적 대응 행동 간의 교차 엔트로피입니다.
• 주요 차이점: 작업 목표나 보상에 조건을 두는 표준 의사결정 트랜스포머와 달리, CooT 는 파트너의 잠재적 스타일을 추론하고 최적의 협력 반응을 예측하기 위해 파트너 상호작용 역사에 조건을 둡니다.

2.4 온라인 배포

테스트 시, CooT 는 엄격한 사전 지식 없음 (strict no-prior) 프로토콜으로 작동합니다:

1. 빈 컨텍스트 버퍼로 초기화합니다.
2. 보이지 않는 파트너와 에피소드 동안 상호작용합니다.
3. 생성된 궤적은 컨텍스트 버퍼에 (FIFO 방식으로) 추가되어 가장 오래된 데이터를 밀어냅니다.
4. 모델은 현재 상태와 누적된 컨텍스트 $C$를 기반으로 행동을 예측하여, 파트너의 행동에 대한 연속적이고 경사 없는 적응을 가능하게 합니다.

3. 주요 기여

1. 새로운 프레임워크: 파트너 적응을 컨텍스트 내 학습 문제로 재정의하여 매개변수 업데이트 없이 빠른 소수 샷 조정을 가능하게 하는 CooT 도입.
2. 훈련 패러다임: 파트너 컨텍스트에 조건을 둔 "최적 대응" 궤적으로 트랜스포머를 훈련하여, 관찰된 파트너 스타일을 최적 협력 전략에 매핑하는 방법을 모델에게 효과적으로 가르치는 방법.
3. 실증적 검증: 두 가지 벤치마크에 대한 포괄적 평가:
   • Overcooked: 긴밀한 조정이 필요한 이산 격자 세계.
   • Google Research Football (GRF): 더 큰 팀 (3 대 1) 을 가진 연속적이고 고차원적인 환경.
4. 인간 평가: 50% 의 참가자가 CooT 를 최첨단 베이스라인보다 더 적응적이고 신뢰할 수 있는 협력자로 인식한다는 사용자 연구 결과.

4. 실험 결과

CooT 는 행동 클로닝 (BC), 집단 기반 방법 (HSP, MEP), 경사 기반 파인튜닝 (HSP-ft), 그리고 컨텍스트 기반 메타 강화 학습 (HSP-meta, PACE) 을 포함한 광범위한 베이스라인과 비교 평가되었습니다.

• 성능: CooT 는 다양한 Overcooked 레이아웃과 GRF 시나리오에서 모든 베이스라인을 일관되게 능가했습니다. 특히 파트너별 적응이 중요한 조정 중심 레이아웃 (예: Coord. Ring Multi-recipe) 에서 가장 높은 **최적 대응 근접성 (Best Response Proximity, BR-prox)**과 평균 보상을 달성했습니다.
• 적응 속도: CooT 는 빠른 소수 샷 적응을 보여주어, 처음 15 에피소드 내에 상당한 성능 향상을 보이며 빠르게 안정화되었습니다. 반면, 경사 기반 파인튜닝 (HSP-ft) 은 불안정성과 느린 수렴을 보였으며, 다른 컨텍스트 기반 방법들 (PACE, HSP-meta) 은 종종 성능이 낮거나 시간이 지남에 따라 개선되지 않았습니다.
• 견고성: 파트너가 작업 중간에 전략을 변경하는 비정상적 설정에서, CooT 는 평균 3.67 에피소드 내에 전략을 재조정하는 반면, 다른 방법들은 회복에 어려움을 겪었습니다.
• 인간 연구: 36 명의 참가자를 대상으로 한 연구에서 CooT 는 가장 높은 평균 보상을 달성했으며, 참가자의 50% 가 선호하는 협력자로 선정되었습니다. 정성적 분석은 인간들이 CooT 를 명시적으로 적응적이라고 인식하며, 시간이 지남에 따라 조정이 개선되는 능력을 확인했다고 입증했습니다.

5. 중요성과 주장

본 논문은 CooT 가 온라인 파인튜닝이 비현실적인 실제 인간-AI 협업에 대한 실용적인 해결책을 제공한다고 주장합니다. 파트너 적응을 컨텍스트 내 학습을 통한 학습 과제로 간주함으로써, CooT 는 다음을 달성합니다:

• 효율성: 소수의 상호작용만으로 새로운 파트너와 효과적으로 정렬.
• 안정성: 경사 업데이트와 관련된 파국적 망각이나 불안정성 위험 없이 갑작스러운 파트너 변화에 대한 견고성.
• 일반화: 훈련 중에 명시적으로 보지 않았더라도 숨겨진 효용 공간의 분포 내에 있는 다양한 파트너 행동에 대한 일반화 능력.

저자들은 이 작업을 "작업 일반화"에서 "파트너 일반화"로의 전환으로 위치시키며, 전체 상호작용 역사에 조건을 두는 것이 복잡한 다중 에이전트 환경에서 효과적인 소수 샷 적응을 지원할 수 있음을 입증합니다.

6. 한계

본 논문은 다음과 같은 몇 가지 한계를 인정합니다:

• 명시적 통신 부재: 이 방법은 행동 역사에만 의존하며 명시적 통신 채널을 활용하지 않습니다.
• 벤치마크 범위: 실험은 풍부한 지각과 제어가 포함된 구체화된 환경이 아닌 시뮬레이션 벤치마크 (Overcooked, GRF) 에서 수행되었습니다.
• 콜드 스타트 (Cold-Start): 엄격한 사전 지식 없음 프로토콜은 에이전트가 컨텍스트 없이 시작함을 의미합니다. 향후 연구는 초기 상호작용 비용을 줄이기 위해 유사한 파트너에서 미리 채워진 컨텍스트를 사용하는 것을 탐구할 수 있습니다.
• 안전성: 저자들은 적응 메커니즘이 예측 가능한 파트너를 착취하거나 안전하지 않은 습관을 강화하는 데 오용될 수 있음을 지적하며, 향후 배포 시 안전 제약의 필요성을 강조합니다.