기술 요약: 애드혹 팀워크에서의 태스크 불가지론적 적응을 위한 파트너 역량 추정

1. 문제 정식화

본 논문은 현재의 애드혹 팀워크(Ad-Hoc Teamwork, AHT) 연구가 가진 결정적인 한계점, 즉 에이전트들이 알려진 파트너 역량을 가진 단일하고 고정된 태스크에서 협업한다고 가정하는 문제를 다룹니다. 현실적인 오픈 월드 환경, 특히 인간 협력자가 포함된 환경에서는 파트너가 자신의 능력에 대한 숨겨진, 태스크 불변적 제약(역량)을 가지고 있으며, 최적이 아니거나 다양한 전략으로 행동할 수 있습니다.

저자들은 이 문제를 **숨겨진 파트너 역량 하에서의 분산 실행을 동반한 공동 계획(joint planning with decentralized execution)**으로 정식화합니다. 핵심 과제는 관찰된 공동 궤적으로부터 특정 파트너의 역량에 대한 재사용 가능한 태스크 불가지론적 모델을 학습하는 것입니다. 고정된 태스크를 위한 강건한 정책을 학습하거나 선호도(파트너가 무엇을 하고 싶어 하는가)를 추론하는 기존 방식과 달리, 본 연구는 역량(파트너가 근본적으로 무엇을 할 수 있는가)을 추론하는 데 집중합니다. 목표는 자율 에이전트($Ag_1$)가 통제 불가능한 파트너($Ag_2$)의 숨겨진 역량 벡터($c$)를 추정하고, 파트너 집단에 대한 사전 학습 없이도 향후 공동 태스크를 계획할 수 있도록 하는 것입니다.

2. 방법론

2.1. 모델링 프레임워크

저자들은 문맥적 다중 에이전트 마르코프 결정 과정(Contextual Multi-agent Markov Decision Process, CMMDP) 프레임트를 확장합니다.

• 상태 및 행동: 유한한 공동 상태($S$)와 공동 행동($A$) 집합에 대해 정의됩니다.
• 역량 ($C$): 각 비트가 특정 역량(예: 무거운 물체를 들어 올리는 능력, 특정 도구를 사용하는 능력)을 나타내는 $D$-차원 이진 벡터로 모델링됩니다.
• 전이 함수 ($T$): 역량이 전이 함수를 조절합니다. 만약 전이에 필요한 역량이 누락된 경우($c_i=0$), 해당 전이는 셀프 루프(self-loop)를 발생시켜 상태가 변하지 않게 하며, 결과적으로 해당 맥락에서 행동을 실행 불가능하게 만듭니다.
• 목표: 에이전트는 여러 태스크에 걸쳐 관찰된 궤적 $\tau_{obs}$와 $c^*$ 하에서 계획된 공동 궤적 사이의 차이를 최소화하는 역량 벡터 $c^*$를 찾고자 합니다.

2.2. CE-CM: 문맥적 모델을 통한 역량 추정

주요 방법론인 CE-CM은 "시뮬레이션 및 비교(simulate-and-compare)" 루프를 통해 작동하는 근사 베이지안 추론 방식입니다.

1. 샘플링: 에이전트는 사전 분포로부터 후보 역량 벡터($\hat{c}$)를 샘플링합니다.
2. 시뮬레이션: 각 후보에 대해, 에이전트는 파트너가 해당 역량을 보유했을 때 나타날 궤적($\tau_{\hat{c}}$)을 시뮬레이션하기 위해 공동 플래너를 사용합니다.
3. 비교: 시뮬레이션된 궤적은 유사도 메트릭(명제적 상태의 경우 자카드 거리, 실수형 벡터의 경우 코사인 유사도)을 사용하여 관찰된 궤적($\tau_{obs}$)과 비교됩니다.
4. 신념 업데이트: 유사도 임계값 $\epsilon$ 내에 들어오는 후보들이 수용됩니다. 에이전트는 사후 분포를 근사하기 위해 수용된 샘플 집합을 유지합니다.
5. 추정: 수용된 샘플의 경험적 평균을 임계값 처리하여 점 추정치 $\hat{c}^*$(예: 최대 사후 확률 추정)를 도출합니다.
6. 계획: 추정된 역량은 특정 CMMDP 인스턴스를 유도하며, 에이전트는 이를 사용하여 다음 태스크를 위한 새로운 공동 계획을 계산합니다.

2.3. CE-CM-Div: 행동 다양성 처리

저자들은 표준 CE-CM이 인간 파트너가 다양하거나 하위 최적인 행동을 보일 때 취약하다는 점을 식별했습니다. 이는 단일 역량 벡터가 여러 개의 유효한 궤적을 유도할 수 있기 때문입니다. 이를 해결하기 위해 CE-CM-Div를 제안합니다.

• 관찰 내용을 단일 최적 궤적과 비교하는 대신, CE-CM-Div는 다양성 인식 플래너(몬테카를로 트리 탐색 기반)를 사용하여 각 후보 역량 가설에 대해 다양한 궤적 집합($\Delta_{\hat{c}}$)을 생성합니다.
• 다양한 궤적 집합 중 적어도 하나가 관찰 내용과 충분히 유사하면 해당 가설은 수용됩니다.
• 이 접근 방식은 모델링되지 않은 행동적 변이나 하위 최적성으로 인해 유효한 역량 가설이 거부되는 것을 방지합니다.

3. 주요 기여

1. 역량 기반 정식화: 숨겨진, 태스크 불변적 역량 제약 하에서의 공동 계획으로서 멀티 태스크 AHT를 정식화하여 해석 가능하고 재사용 가능한 파트너 표현을 제공합니다.
2. CE-CM 알고리즘: 인구 집단에 대한 사전 학습이나 시연 데이터 없이도 소수의 상호작관으로부터 이산 역량 벡터를 추론하는 온라인, 태스크 불가지론적 적응 방법입니다.
3. CE-CM-Div 확장: 단일 최적 궤적이 아닌 다양한 플래너 롤아웃 집합을 대상으로 가설을 평가함으로써 행동 다양성을 고려하는 강건성 메커니즘을 제공합니다.
4. 실증적 검증: TidyUP 및 Overcooked라는 두 가지 도메인에서의 포괄적인 평가와 인간 피험자 연구를 통해 역량 기반 모델링의 효능과 한계를 입증했습니다.

4. 실험 결과

4.1. TidyUP (PDDL 도메인)

완전히 지정된 보상과 결정론적 전이를 가진 기호적 가사 도메인에서:

• 추론: CE-CM은 5개의 태스크 이내에 해밍 거리를 거의 0에 가깝게 줄이며 실제 역량 벡터를 빠르게 복구했습니다.
• 조정: 이 방법은 낙관적 및 비관적 베이스라인에 비해 "수정된 행동"(에이전트와 파트너의 계획 간 충돌)의 비율을 크게 줄이고 계획 중첩(IoU)을 증가시켰습니다.
• 결론: 실행 가능성이 행동을 엄격하게 규정하는 잘 정의된 환경에서는 역량 추론이 매우 효과적입니다.

4.2. Overcooked (시뮬레이션된 파트너)

보상이 불충분하게 지정된(여러 유효한 전략이 존재하는) 동적 협력 도메인에서:

• 추론: CE-CM은 역량 제약을 성공적으로 복구하여 파트너에게 할당된 실행 불가능한(생산적이지 않은) 행동의 비율을 줄였습니다.
• 조정의 한계: 정확한 역량 추정에도 불구하고, CE-CM은 조정 오류를 완전히 해결하지 못했습니다(계획 중첩이 여전히 낮음). 이는 역량이 실행 가능성을 제한하지만, 여러 유효한 전략이 존재할 때 파트너가 어떤 전략을 선택할지는 결정하지 못하기 때문입니다.
• 결론: 역량만으로는 전략적 모호성이 높은 도메인에서 행동을 예측하기에 불충분합니다.

4.3. Overcooked (인간 피험자)

15명의 참가자(225개 궤적)를 대상으로 한 연구에서 상당한 행동 가변성이 드러났습니다:

• CE-CM 실패: 표준 CE-CM은 인간의 궤적이 플래너가 생성한 단일 최적 궤적과 일치하는 경우가 드물기 때문에 신념을 업데이트하는 데 자주 실패했으며, 이로 인해 수용된 샘플이 매우 적었습니다.
• CE-CM-Div 성공: 다양성 인식 확장은 다양한 가능한 행동 중 하나와 일치하는 가설을 수용함으로써 추론 정확도(해밍 거리 감소)와 사후 크기를 실질적으로 개선했습니다.
• 결론: 현실적인 인간-AI 팀워크에서 강건한 적응을 위해서는 행동 다양성을 고려하는 메커니즘(예: CE-CM-Div)이 필수적입니다.

5. 의의 및 주장

본 논문은 역량 기반 모델링이 애드혹 팀워크에서의 적응을 위한 유망하고 해석 가능하며 태스크 불가지론적인 접근법을 제공한다고 주장합니다. 파트너가 무엇을 할 수 있는지(역량)와 무엇을 선택하는지(선호도/전략)를 구분함으로써, 에이전트는 서로 다른 태스크에 걸쳐 개인에 대한 재사용 가능한 지식을 축적할 수 있습니다.

그러나 저자들은 이 솔루션의 범위에 대해 겸허한 입장을 취합니다. 그들은 명시적으로 다음과 같이 언급합니다:

• 역량은 필요조건이지만 충분조건은 아니다: (Overcooked와 같이) 여러 유효한 전략이 있는 도메인에서는 파트너의 역량을 아는 것이 행동을 유일하게 예측하지는 못합니다.
• 다양성이 중요하다: 인간-AI 팀에서의 강건한 적응을 위해서는 최적의 계획을 가정하는 대신, 행동적 변동성과 하위 최적성을 고려하는 메커니즘(예: CE-CM-Div)이 필요합니다.
• 확장성: 현재 방식은 공동 계획에 의존하므로 에이전트 수가 늘어남에 따라 지수적으로 확장되어, 추가적인 근사 없이는 대규모 팀에 즉각 적용하는 데 한계가 있습니다.

이 연구는 역량 추정을 일반화 가능한 인간-AI 팀워크를 위한 기초적인 단계로 위치시키는 동시에, 행동적 모호성을 완전히 해결하기 위해서는 역량과 선호도를 함께 모델링해야 할 필요성을 강조합니다.