기술 요약: 계층적 강화 학습 정책의 XAI 지원에 대한 평가: 인간-에이전트 협업을 중심으로

문제 정의

AI 시스템이 단순한 도구에서 협력적 파트너로 전환됨에 따라, AI는 효과적일 뿐만 아니라 인간 팀원에게 이해 가능해야 합니다. 설명 가능한 AI(XAI)가 잠재적인 해결책을 제시하지만, 협업 맥락에서의 체계적인 평가는 여전히 제한적입니다. 기존 연구는 주로 맞춤형 환경(예: 마인크래프트)에서 수작업으로 제작된 정책에 의존하며, 이는 Overcooked-AI와 같은 확립된 벤치마크를 활용하는 최첨단 팀 구성 연구로의 일반화를 제한합니다. 또한, 현재 문헌에는 고성능 벤치마크 내에서 **사후적 설명(post-hoc explanations)**이나 수작업 규칙이 아닌, 본질적으로 설명 가능한 학습된 정책으로부터 생성된 XAI 지원에 대한 체계적인 평가가 부족합니다. 또한, 시각적 요구도가 높고 속도가 빠른 작업에서 설명 양식(modality)(텍text vs. 오디오)이 협업에 어떤 영향을 미치는지에 대한 이해에도 공백이 존재합니다.

방법론

저자들은 Overcooked-AI 벤치마크 환경, 특히 Counter-Circuit 레이아웃을 사용하여 피험자 간 실험($n=38$)을 수행했습니다.

• 에이전트 아키텍처: 본 연구는 Hierarchical Ad Hoc Agents (HA2) 아키텍처를 활용했습니다. 이 시스템은 매니저-워커(Manager-Worker) 구조를 채택하여, 고수준의 매니저 정책($\pi_H$)이 12개의 도메인 특화 목표 세트에서 의미 있는 하위 작업(예: "양파 집기", "냄비에 양파 넣기")을 선택합니다. 이후 저수준의 워커 정책($\pi_W$)이 선택된 하위 작업을 완료하기 위해 원시 동작(primitive actions)을 실행합니다. 이러한 계층 구조는 고수준의 결정이 인간이 해석 가능한 형태를 띠므로 **본질적 설명 가능성(intrinsic explainability)**을 제공합니다.
• 설명 생성: 실시간 설명은 매니저의 하위 작업 선택으로부터 직접 생성되었습니다. 정보 과부하를 방지하기 위해, 협업과 관련된 순간에만 설명을 전달하는 새로운 트리거 기반 시스템이 구현되었습니다. 트리거에는 다음이 포함됩니다:
  • 차단(Blocking): 인간이 에이전트의 경로를 가로막을 때.
  • 임계 경로(Critical Path): 에이전트가 작업 진행에 필수적인 하위 작업을 선택할 때.
  • 거리 임계값(Distance Threshold): 장기간 이동 중 주기적인 업데이트.
  • 하위 작업 변경(Subtask Change): 매니저가 목표를 전환할 때의 공지.
• 실험 조건: 참가자들은 무작로 다음 세 가지 조건 중 하나에 배정되었습니다:
  1. 대조군(Control): 설명 없음.
  2. 텍스트(Text): 화면 하단에 반투명 바 형태로 설명 표시.
  3. 오디오(Audio): 동일한 내용을 브라우저 네이티브 텍s-to-speech를 통해 전달.
• 절차: 참가자들은 네 번의 80초 게임 세션을 완료했습니다. 측정 지표로는 게임 점수, 학습률(세션 간 선형 기울기), NASA-TLX 작업 부하 평가, 그리고 Godspeed 설문지와 수정된 Human-Robot Fluency Assessment를 이용한 주관적 평가가 포함되었습니다. 표본은 게임 경험이 있는 성인들로 구성되었습니다(평균 친숙도 점수 8.1/10).

주요 기여

1. 벤치마크 내 최초의 체계적 평가: 본 연구는 최첨단 학습 정책(HA2)으로부터 생성된 XAI 지원을 확립된 인간-에이전트 팀 구성 벤치마크(Overcooked-AI) 내에서 체계적으로 평가한 첫 사례를 제공하며, 본질적으로 설명 가능한 강화 학습 아키텍처가 성능 저하 없이 진정한 실시간 설명을 생성할 수 있음을 입증했습니다.
2. 양식 비교: 실시간 인간-에이전트 협업 작업에서 설명 양식(텍스트 vs. 오디오)을 비교한 첫 연구로서, 전달 모드가 성능과 주관적 경험에 미치는 영향을 분리하여 제시했습니다.
3. 베이스라인 방법론: 저자들은 계층적 정책 설명을 위한 베이스라인 트리거 기반 전달 시스템을 구축하여, 벤치마크 환경에서 본질적으로 설명 가능한 RL 아키텍처를 평가하기 위한 방법론을 제안합니다.

결과

• 성능 (H1): 대조군과 결합된 설명 조건들 사이에 유의미한 차이는 없었습니다 ($p=0.136$). 그러나 설명을 받는 참가자들(특히 오디오 조건)이 대조군에 비해 더 빠른 학습률(세션에 따른 개선)을 보이는 경향이 관찰되었으나($d=0.59$), 통계적 유의성에는 도달하지 못했습니다 ($p=0.087$).
• 인지 부하 (H2): 텍스트와 오디오 양식 간에 인지적 작업 부하(NASA-TLX)의 유의미한 차이는 발견되지 않았습니다.
• 주관적 경험 (H3): **작업 동맹 결속력(Working-Alliance Bond)**에 관한 유의미하고 강력한 결과가 나타났습니다. 오디오 조건의 참가자들은 텍스트 또는 대조군 조건보다 에이전트와의 결속력을 유의미하게 낮게 평가했습니다 ($p=0.003$). 텍스트 설명은 대조군과 비교했을 때 결속력에 부정적인 영향을 미치지 않았습니다.
  • 의인화(Anthropomorphism): 오디오 참가자들이 에이전트를 덜 의인화되었다고 평가하는 경향이 있었으나, 이는 본페로니 교정(Bonferroni correction)을 통과하지 못했습니다.
  • 메커니즘: 저자들은 오디오 조건에서의 결속력 감소를 "주장 대 현실(claim-versus-reality)"의 간극으로 해석합니다. 구어체 설명은 에이전트를 의사소통을 통해 약속을 이행하는 파트너로 프레이밍하지만, 밑바탕이 되는 모델 프리(model-free) 반응형 정책은 이러한 약속을 유지할 수 없습니다(예: 말을 한 직도 즉시 하위 작업을 변경할 수 있음). 이 간극은 무시할 수 있는 텍스트나 침묵 상태일 때보다 더 두드러집니다.

의의 및 주장

본 논문은 언제, 어떻게 XAI가 작동하는지에 대한 이해를 진전시킨다고 주장합니다. 핵심 통찰은 설명 양식을 밑바탕이 되는 정책의 역량과 일치시키는 것이 중요하다는 점입니다.

• 아키텍처 불일치: 본 연구는 구어체 설명이 반응형 모델 프리 정책이 충족할 수 없는 파트너십 기대를 활성화하여 작업 동맹의 균열을 초래한다는 점을 시사합니다. "결속 비용(bond cost)"은 오디오 전달 자체에 대한 비판이 아니라, 언어화된 의도를 뒷받침할 수 있는 계획 수립 능력이나 인간 모델링 능력이 부족한 정책에 대한 결과입니다.
• 적응 vs. 실행: 결과는 XAI 지원이 즉각적인 작업 실행보다는, 에이전트의 행동 패턴에 대한 인간의 적응(학습 가속화)을 향상시킬 수 있음을 시사합니다. 이는 특히 효율적인 협업 전략을 이미 보유한 전문가 사용자에게 해당됩니다.
• 미래 방향: 저자들은 효과적인 협업형 XAI를 위한 길은 아키텍처적이라고 주장합니다. 구어체 설명을 통한 파트너십을 유지하기 위해서는, 단순히 반응적인 출력을 서술하는 것을 넘어, 더 긴 약속 범위(binding plans)와 인간 팀원에 대한 명시적 모델을 통합하여 양방향의 마음 이론(theory-of-mind) 기반 의사소통을 가능하게 하는 미래 시스템이 필요합니다.

결론적으로, 본 논문은 계층적 RL이 설명 가능한 AI를 위한 유망한 토대를 제공하지만, XAI의 효용은 실제 행동을 전달 방식(특히 음성)이 만들어내는 관계적 기대와 일치시키는 정책의 능력에 의해 제약된다고 밝히고 있습니다.