An Explanation-oriented Inquiry Dialogue Game for Expert Collaborative Recommendations

기술 요약: 전문가 협업 권고를 위한 설명 지향적 탐구 대화 게임

문제 정의
본 논문은 의료와 같이 이해관계가 큰 도메인에서 인간과 인공 전문가가 공동으로 권고안을 생성해야 하는 협력적 다중 에이전트 시스템(MAS) 설계의 과제를 다룹니다. 기존 문헌은 주로 의사결정이 내려진 후에 인간 사용자에게 시스템 출력을 설명하는 것(사후 설명 가능성)에 집중해 왔습니다. 그러나 저자들은 에이전트 자체의 추론 과정 안에 설명 가능성을 통합하는 프레임워크의 부재를 지적합니다. 저자들은 서로 다른 지식 기반을 가진 전문가들이 갈등을 해결하고, 지식을 전달하며, 풍부하고 추적 가능한 추론 이력이 동반된 권고안을 생성할 수 있도록 하는 대화 프로토콜의 필요성을 식별했습니다. 의료 분야의 기존 통신 도구(예: 메시징 플랫폼)는 정당화와 설명을 교환하도록 강제하는 구조화된 프로토콜이 부족하여, 잠재적인 통신 실패와 불투명한 의사결정을 초래할 수 있습니다.

방법론
저자들은 **전문가 대화 게임(Experts' Dialogue Game, EDG)**이라는 새로운 상호작용 프로토콜을 제안합니다. 방법론은 사용자 중심의 소프트웨어 공학 접근 방식을 따릅니다:

1. 요구사항 분석: 저자들은 효과적인 전문가 협업을 위한 14가지 요구사항을 식별하기 위해 의학 문헌에 대한 체계적 검토와 의료 전문가들과의 비공식적 논의를 수행했습니다. 이들은 네 가지 클래스로 분류되었습니다:

   • 에이전트 지향(Agent-Oriented): 개인의 통신 제약 완화.
   • 협력 지향(Cooperation-Oriented): 개방적인 토론, 지식 전달 및 품질 관리 촉진.
   • 프로토콜 지향(Protocol-Oriented): 이력, 핵심 지점, 설명 및 갈등 해결 메커니즘의 명시적 통신 보장.
   • 구현 지향(Implementation-Oriented): 조정, 기록 및 개인정보 보호 처리.

2. 정식 프로토콜 설계 (EDG):

   • 유형: EDG는 **설명적 화행(explanatory illocutionary forces)**이 풍부하게 더해진 탐구 대화(inquiry dialogue)(증거/증명을 찾는 것이 목표인 대화)로 정의됩니다.
   • 언어 행위(Locutions): 프로토콜은 네 가지 하위 집합의 언어 행위를 정의합니다:
     • 정보 제공: observation(관찰), verdict(판결), advise(조언), concern(우려), assert(주장).
     • 요청: wh-explain(상세 내용 요청), wh-justify(입장에 대한 근거 요청), wh-clarify(용어 정의 요청).
     • 응답: explain(설명), justify(정당화), clarify(명료화), agree(동의), retract(철회).
     • 관리: prompt(유도), end(종료), pass(넘기기).
   • 메커니즘: assert 행위에 크게 의존하는 표준 탐구 대화와 달리, EDG는 참가자들이 주장을 반박하거나 지지할 때 설명 기반의 언어 행위를 사용하도록 강제합니다. 이는 추론 과정의 "더 풍부한 흔적"을 생성합니다.
   • 약속 저장소(Commitment Stores): 시스템은 각 에이전트를 위한 개별 약속 저장소와 공동의 **합의 저장소(Agreement Store, AS)**를 유지합니다. AS는 비판적 토론을 견뎌내고 명시적인 동의(또는 이의 제기 없음)를 받은 진술만을 축적하여, 최종 권고안이 견고함을 보장합니다.
   • 공손성 규칙: 일관성 결여를 방방지하기 위해, 프로토콜은 wh-requests가 다른 행위가 이루어지기 전에 반드시 수신자에 의해 답변되어야 함을 규정하며, 미결 문제를 관리하기 위해 prompt를 사용합니다.

3. 구현 및 평가:

   • EDG 프로토콜을 강제하기 위해 프로토타입 웹 애플리케이션이 개발되었으며, 정식 언어 행위를 자연어 인터페이스(예: wh-justify를 위해 "정당화할 수 있습니까?"라고 표현)로 변환하였습니다.
   • 6명의 의대생이 전문가 역할을 맡아 수행한 **형성적 사용자 연구(formative user study)**가 실시되었습니다. 이들은 지식 전이를 테스트하기 위해 환자 데이터가 불균등하게 배분된 상태에서 갑상선 질환 환자를 공동 진단하기 위해 플랫폼을 사용했습니다.
   • 연구는 초기 요구사항에 따라 시스템을 평가하고 사용성, 효과성 및 설명 요청의 유용성에 대한 질적 피드백을 수집했습니다.

주요 기여

1. 요구사항 명세: 본 논문은 의학을 넘어 항공 및 엔지니어링 분야에도 적용 가능한, 도메인에 기반하면서도 추상적인 전문가 협업 요구사항 명세를 제공합니다.
2. 설명 지향적 탐구 대화: 저자들은 탐구 대화에 설명적 화행(wh-explain, wh-justify, wh-clarify)을 직접 내재시킨 대화 게임을 도입했습니다. 이는 단순히 사실을 교환하는 것을 넘어 사실 뒤에 숨겨진 이유를 교환하는 것으로 초점을 전환하여, 에이전트의 추론 과정 자체를 설명 가능하게 만듭니다.
3. 방법론적 통합: 이 연구는 사용자 중심의 소프트웨어 공학 관행(요구사항 수집, 프로토타이핑, 형성적 평가)을 정식 대화 게임 설계에 도입하는 방법론을 보여줍니다.
4. 경험적 검증: 본 논문은 대화 게임이 전문가의 협업 요구를 충족하며, 설명의 구조화된 교환이 신뢰와 명확성을 구축하는 데 유용하다는 것을 입증하는 사용자 연구를 제시합니다.

결과

• 요구사항 충족: 평가(표 8)에 따르면 EDG 프로토콜과 그 구현은 식별된 요구사항의 대부분을 충족합니다. 특히, 프로토콜은 협력(RC1)을 성공적으로 강제하고, 상세한 토론(RC3)을 허용하며, 지식 전이(RC4)를 용이하게 합니다.
• 사용자 피드백:
  • 참가자들은 플랫폼이 전문적인 의사소통에 가치가 있다고 느꼈으며, 정당화를 위한 구조화된 요청이 사회적 장벽(예: 명확성을 묻는 것이 무례해 보일 수 있다는 두려움)을 극복하는 데 도움이 되었다고 언급했습니다.
  • 설명 요청의 분류는 일반적으로 유용했으나, 일부 참가자는 "정당화(justify)"라는 용어가 "설명(explain)"에 비해 다소 공격적이라고 느꼈습니다.
  • 턴 테이킹(turn-taking) 메커니즘은 조정에는 도움이 되지만 때때로 제한적이라는 의견이 있어, 더 역동적인 턴 관리에 대한 제안이 있었습니다.
  • 대화 주제(이력, 진단, 조언)의 분리는 효율성 측면에서 높은 점수를 받았습니다.
• 흔적 생성: 연구는 프로토콜이 단순히 이의 제기 없는 주장들의 목록이 아니라, 명시적 추론을 통해 도달한 합의를 반영하는 공동 합의 저장소를 성공적으로 생성함을 확인했습니다.

의의 및 주장
본 논문은 EDG가 다중 에이전트 시스템에서 **설명 가능한 인공지능(XAI)**을 향한 중요한 단계라고 주장합니다. 설명을 단순히 출력 단계가 아닌 추론 단계에 통합함으로써, 시스템은 권고안이 어떻게 도출되었는지에 대한 투명한 감사 추적(audit trail)을 생성합니다. 저자들은 EDG가 정식으로 기초를 두고 있지만, 진정한 참신함은 사용자 요구사항에 대한 경험적 근거와 실제 전문가 협업 시나리오에 대한 적용에 있다고 겸허히 밝히고 있습니다.

이 연구는 모든 다중 에이전트 조정 문제(예: 런타임 종료 보장 및 비협조적 에이전트에 대한 전략 등 미결 과제 언급)를 해결한다고 주장하지 않습니다. 대신, EDG를 하이브리드 인간-인공 시스템으로 확장할 수 있는 기초적인 프로토콜로 포지셔닝하며, 과정의 무결성과 설명 가능성을 유지하면서 학제 간 의사결정의 복잡성을 다루는 구조화된 방법을 제공합니다. 저자들은 이러한 대화 기반 도구가 의료계에 실질적인 가치를 지니며, 잠재적으로 공동 진단의 질과 투명성을 향상시킬 수 있다고 결론짓습니다.