Persona-Based Requirements Engineering for Explainable Multi-Agent Educational Systems: A Scenario Simulator for Clinical Reasoning Training

1. 문제 정의 (Problem Statement)

• 배경: 의료 및 교육과 같은 고위험 분야에서 인공지능 (AI) 및 에이전트 기반 AI 의 통합이 가속화되고 있으며, 특히 다중 에이전트 시스템 (MAS) 은 복잡한 시뮬레이션과 의사결정 지원에 활용됩니다.
• 핵심 문제:
  • 블랙박스 (Black-box) 행동: AI 에이전트의 자율성과 복잡성이 증가함에 따라, 에이전트가 내린 결정의 근거가 사용자에게 불투명해집니다.
  • 신뢰와 학습의 저해: 의료 교육에서 학생과 교육자는 AI 의 논리를 검증하거나 이해할 수 없어 시스템에 대한 신뢰가 떨어지고 학습 효과가 감소합니다.
  • 요구사항 공학 (RE) 의 부재: 기존 요구사항 공학 프로세스는 데이터 기반 AI 시스템의 고유한 요구사항 (누가, 무엇을, 어떻게 설명해야 하는지) 을 체계적으로 다루기에 부적합합니다. XAI(설명 가능한 AI) 기능은 종종 임시방편 (ad-hoc) 으로 개발되어 다양한 이해관계자의 세밀한 요구를 충족하지 못합니다.

2. 제안된 방법론 (Methodology)

이 논문은 인간 중심의 페르소나 기반 설명 가능한 다중 에이전트 교육 시스템 (MAES) 요구사항 공학 프레임워크를 제안합니다. 이 방법론은 6 단계로 구성됩니다 (그림 1 참조):

1. AI 페르소나 개발 (AI Personas Development):
   • 기존 HCI 의 '사용자 페르소나' 개념을 확장하여 AI 에이전트 자체를 페르소나로 재정의합니다.
   • 각 AI 에이전트 (예: 환자, 진단 에이전트) 에 대해 역할, 목표, 기반 모델 아키텍처, 지식 베이스, 의사결정 트리거, 설명 가능성 프로필 (Explainability Profile) 등을 포함한 상세한 페르소나를 생성합니다.
2. 시나리오 탐색 (Scenarios Exploration):
   • 인간 페르소나 (학생, 교육자) 와 AI 에이전트 페르소나 간의 상호작용 시나리오를 탐색하여 설명 가능성이 가장 중요한 맥락을 식별합니다.
3. XAI 사용자 스토리 도출 및 우선순위 결정 (XAI User Stories Derivation):
   • "나는 [인간 페르소나] 로서, [AI 페르소나] 가 [어떤 결정] 을 내린 이유를 이해하고 싶으므로, [목표 달성/신뢰 구축] 할 수 있다"는 형식의 XAI 특화 사용자 스토리를 생성합니다.
   • 임상적 위험, 학습 목표, 구현 복잡도 등을 기준으로 우선순위를 매깁니다.
4. RE 정제 및 구조화 (RE Refinement & Structuring):
   • 우선순위가 매겨진 사용자 스토리를 공식적인 기능적 및 비기능적 요구사항으로 변환합니다. (예: "시스템은 배제된 진단에 기여한 주요 특징을 500ms 내에 표시해야 함")
5. 페르소나 및 시나리오를 통한 RE 검증 (RE Validation):
   • 인간 이해관계자 (학생, 교육자) 와 함께 AI 페르소나 및 시나리오를 검토하여 도출된 요구사항이 실제 필요와 일치하는지 검증합니다.
6. 반복 및 업데이트 (Iteration & Updates):
   • 시스템 개발 및 테스트 과정에서 새로운 통찰이 나타나면 페르소나, 시나리오, 요구사항을 지속적으로 업데이트합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 XAI 요구사항 공학 방법론: AI 에이전트의 설명 가능성 특성을 모델링하기 위해 AI 페르소나를 활용한 새로운 방법론을 제시했습니다.
2. 실용적인 AI 페르소나 프레임워크: 이해관계자의 목표를 MAES 의 내부 행동과 연결하는 XAI 특화 사용자 스토리 작성 프레임워크를 개발했습니다.
3. 검증된 사례 연구: 임상 시나리오 시뮬레이터 (CSS) 를 위한 MAES 개발에 이 방법론을 적용하여, 설명 가능하고 신뢰할 수 있으며 해석 가능한 시스템을 성공적으로 구축했음을 입증했습니다.

4. 연구 결과 (Results)

• 시스템 구성: 임상 추론 훈련을 위한 MAES 는 감독자 에이전트 (Supervisor) 가 총괄하며, 환자 (Alex), 신체 검사 (Dr. Eva), 진단 (Brian), 임상 중재 (Clair), 평가 (Dr. Eval) 에이전트 등으로 구성됩니다. 각 에이전트는 고유의 페르소나를 기반으로 설계되었습니다.
• 설문 조사 결과:
  • 임상 추론 능력 향상: 사용 후 설문조사 (의대생 42 명, 교육자 2 명) 에서 **78.57%**의 학생이 이 앱이 임상 추론 학습 목표와 부합한다고 응답했습니다.
  • 가장 가치 있는 기능: 임상 추론 개발 (26 응답), 실시간 피드백 (17 응답), 병력 청취 연습 (16 응답) 순으로 높게 평가받았습니다.
  • 신뢰와 투명성: 에이전트별 설명 가능성 기능 (즉각적인 검사 결과, 피드백 등) 이 학습 경험에 매우 유용하다는 의견이 지배적이었습니다.
• 요구사항 품질: AI 페르소나를 사용한 결과, 초기 전문가 중심 브레인스토밍보다 더 구체적이고 포괄적인 설명 가능성 요구사항이 도출되었습니다.

5. 의의 및 시사점 (Significance)

• 기술적 요구사항과 비기술적 사용자의 연결: 페르소나 기반 접근법은 기술적 요구사항을 비기술적인 의료 학생 및 교육자의 관점에서 효과적으로 연결하여, 초기 단계부터 인간 중심의 설계가 가능하게 합니다.
• 신뢰할 수 있는 XAI 시스템 구축: AI 에이전트를 1 순위 이해관계자로 간주함으로써, 시스템의 투명성과 해석 가능성을 체계적으로 확보하고, 교육적 목표 달성에 효과적인 시스템을 구축할 수 있음을 입증했습니다.
• 확장성: 이 방법론은 의료 교육뿐만 아니라 K-12 교육, 문헌 검토 등 다른 고위험 분야와 다양한 유형의 AI 시스템에도 적용 가능한 일반화된 프레임워크로 발전할 잠재력을 가집니다.

결론적으로, 이 논문은 다중 에이전트 교육 시스템의 개발 초기 단계에서 페르소나와 사용자 스토리를 활용하여 설명 가능성 (Explainability) 요구사항을 체계적으로 도출하는 새로운 패러다임을 제시하며, 이를 통해 신뢰할 수 있는 AI 기반 교육 도구의 실현 가능성을 높였습니다.