PADTHAI-MM: Principles-based Approach for Designing Trustworthy, Human-centered AI using MAST Methodology

1. 연구 배경 및 문제 정의 (Problem)

• 고위험 도메인에서의 AI 신뢰성 부족: 의료, 국가 안보, 금융 등 고위험 (High-stakes) 의사결정 분야에서 AI 기반 의사결정 지원 시스템 (AI-DSS) 의 도입이 증가하고 있으나, 시스템 오류에 대한 허용도가 낮아 신뢰 구축이 핵심 과제로 남아있습니다.
• 블랙박스 문제와 투명성 부족: 최신 AI-DSS 는 종종 해석 불가능한 '블랙박스' 딥러닝 모델을 사용하여, 사용자에게 시스템의 작동 원리, 결정 근거, 한계를 명확히 설명하지 못합니다.
• 실행 가능한 설계 도구의 부재: 기존 신뢰 기반 설계 프레임워크는 추상적인 개념에 의존하여 구체적인 시스템 요구사항으로 전환하기 어렵거나, 특정 도메인의 맥락 (Context) 과 업무 표준 (Tradecraft) 을 반영하지 못해 실제 설계 과정에 적용하기 어렵다는 한계가 있습니다.
• 연구 목적: 이론적 신뢰 원칙과 실제 도메인의 업무 표준을 연결하여, 구체적인 설계 가이드라인과 평가 도구를 제공하는 프레임워크를 개발하고 검증하는 것입니다.

2. 방법론 (Methodology)

이 연구는 PADTHAI-MM(Principles-based Approach for Designing Trustworthy, Human-centered AI using MAST Methodology) 이라는 반복적 설계 프레임워크를 제안하고 이를 검증했습니다.

A. PADTHAI-MM 프레임워크 (9 단계)

이 프레임워크는 MAST(Multisource AI Scorecard Table) 기준을 기반으로 하며, 제품 개발의 반복적 설계 프로세스를 차용했습니다.

1. 기회 인식 (Opportunity Recognition): 이해관계자 인터뷰 및 조사를 통해 AI-DSS 도입 필요성과 현재 워크플로우의 비효율성을 파악.
2. 시스템 기능 목표 설정 (Goal Setting): AI-DSS 가 해결할 업무 프로세스 식별 및 신뢰성 기대치 설정.
3. MAST 기준 목표 결정 (MAST Criteria Goals): MAST 의 9 가지 기준 (소싱, 불확실성, 구별, 대안 분석, 고객 관련성, 논리적 논증, 일관성, 정확성, 시각화) 에 대한 목표 점수 설정.
4. MAST 기반 기능 개념 생성 (Feature Concepts): MAST 기준을 충족하는 구체적인 기능 아이디어 도출.
5. MAST 기반 시스템 목업 생성 (System Mockups): 기능들을 결합하여 전체 시스템 목업 (스케치, 스토리보드) 제작.
6. MAST 기반 목업 평가 및 반복 (Evaluation & Iteration): 이해관계자 피드백을 통해 기능 및 시스템 개념 수정.
7. MAST 기반 작동 프로토타입 구축 (Working Prototypes): 실제 작동 가능한 프로토타입 개발.
8. MAST 기반 프로토타입 평가 (Evaluation of Prototypes): 실제 사용자 (전문가) 를 대상으로 한 실험을 통해 기능성 및 신뢰도 평가.
9. 반복 및 구현 결정 (Iteration & Implementation): 최종 평가 결과를 바탕으로 시스템 구현 여부 또는 추가 개선 결정.

B. 사례 연구: READIT 시스템

PADTHAI-MM 의 유효성을 검증하기 위해 READIT(Reporting Assistant for Defense and Intelligence Tasks) 라는 AI 텍스트 요약 시스템을 개발했습니다.

• 실험 설계: 두 가지 버전의 READIT 를 비교 평가했습니다.
  • High-MAST 버전: MAST 기준 (투명성, 설명, 맥락 정보 등) 을 모두 충족하도록 설계된 버전.
  • Low-MAST 버전: 작업 수행에 필수적인 기능만 포함된 '블랙박스' 스타일의 최소 기능 제품 (MVP).
• 데이터 및 시나리오: VAST Challenge 2011 MC3 의 테러 활동 조사 데이터를 활용하여, 분석가들이 가상의 테러 위협 패턴을 식별하는 시나리오로 실험을 진행했습니다.
• 평가 도구:
  • MAST 점수: 시스템의 신뢰성을 9 가지 기준으로 평가 (1~4 점 척도).
  • 신뢰 설문지: Lee & See (2004) 의 3 가지 신뢰 구성 요소 (Process, Purpose, Performance) 를 측정하는 Chancey et al. (2017) 및 Jian et al. (2000) 설문지 사용.
  • 주요 변수: 사용성, 참여도, 의사결정 시간, MAST 점수, 신뢰도 점수.

3. 주요 기여 (Key Contributions)

1. PADTHAI-MM 프레임워크 제안: 추상적인 AI 신뢰 원칙을 구체적인 도메인 (정보 분석) 에 적용 가능한 실행 가능한 설계 가이드라인으로 변환하는 체계적인 9 단계 방법론을 제시했습니다.
2. MAST 기반 설계의 실증적 검증: 정보 커뮤니티 (Intelligence Community) 의 업무 표준 (Tradecraft) 을 AI 설계에 통합하는 것이 사용자의 신뢰 인식에 유의미한 영향을 미친다는 것을 실험을 통해 입증했습니다.
3. 신뢰 구성 요소와의 상관관계 분석: MAST 기반 기능들이 사용자의 신뢰 (과정, 목적, 성능) 에 어떻게 기여하는지를 통계적으로 분석하여, 어떤 설계 요소가 어떤 신뢰 차원을 강화하는지 규명했습니다.

4. 연구 결과 (Results)

• MAST 점수 차이: High-MAST 버전은 Low-MAST 버전보다 9 가지 MAST 기준 중 8 가지 (고객 관련성 제외) 에서 통계적으로 유의미하게 높은 점수를 받았습니다.
• 신뢰도 향상: High-MAST 버전 사용자들은 시스템의 목적 (Purpose) 에 대한 신뢰도가 Low-MAST 그룹보다 유의미하게 높았습니다.
• 사용성과 참여도: 두 그룹 간 사용성 (Usability) 과 참여도 (Engagement) 에는 유의미한 차이가 없었으며, 이는 투명성 정보가 시스템의 기본 사용성을 해치지 않음을 시사합니다.
• 작업 시간: High-MAST 그룹은 추가 정보를 탐색하는 데 평균 10 분 더 소요되었으나, 이는 신뢰 구축을 위한 정보 탐색 비용으로 해석될 수 있습니다.
• 통계적 분석 (PCA 및 회귀 분석):
  • MAST 기반 기능들은 '과정 (Process)', '목적 (Purpose)', '성능 (Performance)' 세 가지 신뢰 차원과 모두 양의 상관관계를 보였습니다.
  • 특히 'About Tab(시스템 정보 탭)' 은 목적 (Purpose) 인식에 가장 큰 영향을 미쳤으며, 'Topic Clusters', 'Similarity Matrix', 'Timeline' 등의 시각화 기능은 성능 (Performance) 인식 향상에 시너지 효과를 발휘했습니다.

5. 의의 및 결론 (Significance)

• 이론과 실무의 연결: AI 신뢰성 이론과 실제 도메인의 업무 표준 (Tradecraft) 을 연결하여, 고위험 분야에서 신뢰할 수 있는 AI 시스템을 설계하는 구체적인 방법론을 제공했습니다.
• 맥락 중심 설계의 중요성: 일반적인 AI 설계 가이드라인이 아닌, 특정 도메인 (정보 분석) 의 요구사항과 가치에 부합하는 설계가 사용자의 신뢰 형성에 필수적임을 강조했습니다.
• 실용적 적용 가능성: PADTHAI-MM 는 AI 엔지니어와 인간 시스템 엔지니어가 협력하여, 시스템 기능 목표와 도메인 특화 신뢰 요구사항을 동시에 충족시키는 데 유용한 도구로 작용할 수 있습니다.
• 향후 과제: MAST 기준 간의 상충 관계 (예: 정확성 vs 불확실성) 해결, 다양한 AI 도메인에서의 일반화 가능성 검증, 그리고 데이터 품질 평가 방법론의 고도화 등이 향후 연구 과제로 제시되었습니다.

결론적으로, 이 연구는 PADTHAI-MM가 신뢰할 수 있고 인간 중심적인 AI 시스템을 설계하기 위한 유효하고 검증된 방법론임을 입증하였으며, 특히 고위험 의사결정 분야에서 투명성과 신뢰성을 확보하는 데 중요한 기여를 했습니다.