CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

다음은 "CoAX: AI 설명에 대한 인간의 이해를 위한 인지 지향적 귀속 설명 사용자 모델" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

설명 가능한 인공지능 (XAI) 의 상당한 발전에도 불구하고, 중요한 간극이 존재합니다. 많은 XAI 기법이 실제 사용자의 이해나 의사결정을 개선하지 못합니다. 이전 연구들은 설명이 때로는 사용자를 혼란스럽게 하거나, 과도한 의존을 초래하거나, 사용자가 모델 오류를 감지하는 데 도움이 되지 않을 수 있음을 보여주었습니다.

• 핵심 쟁점: 기존 연구는 종종 사용자가 왜 어려움을 겪는지를 설명하기 위해 표면적인 행동 지표 (예: 정확도) 나 추측에 의존합니다. 사용자가 XAI 를 해석할 때 활용하는 인지 과정과 추론 전략을 설명하는 엄격한 기계적 모델이 부족합니다.
• 결과: 근본적인 인지 메커니즘 (예: 사용자가 특징 중요도와 특징 귀속을 어떻게 처리하는지) 을 이해하지 못하면 효과적인 설명을 설계하거나 특정 XAI 방법이 실패하는 이유를 디버깅하기 어렵습니다.

2. 방법론

저자들은 인간의 XAI 추론을 시뮬레이션하기 위해 인스턴스 기반 학습 (IBL) 이론과 인지 제약 (기억 감쇠, 주의 한계) 을 통합한 CoAX라는 인지 모델을 제안합니다. 연구는 사용자 중심의 5 단계 설계 과정을 따릅니다.

A. 형성적 사용자 연구 (전략 도출)

• 목표: 인간이 실제로 XAI 를 사용할 때 어떻게 추론하는지 파악합니다.
• 참가자: 20 명의 학부생.
• 과제: "전진 시뮬레이션" (입력 인스턴스와 설명을 기반으로 AI 의 출력 예측).
• 조건: XAI 없음, 특징 중요도 (음수가 아닌 점수), 특징 귀속 (부호가 있는 점수, 예: SHAP/LIME).
• 방법: 근거 이론을 통해 분석한 사고 말하기 프로토콜.
• 결과: 네 가지 구별되는 추론 전략 식별:
  1. 민감한 특징 분류: 중요하다고 믿는 고정된 속성 하위 집합에 집중하고 나머지는 무시합니다.
  2. 주목할 만한 특징 분류: 가장 높은 중요도 점수를 가진 상위 $k$개의 특징을 동적으로 선택하고 유사한 과거 인스턴스를 회상합니다.
  3. 귀속 합계: 부호가 있는 귀속 점수를 합산 (또는 추정) 하여 레이블에 대한 증거를 가중치로 평가합니다.
  4. 중요도 분류: 중요도 점수를 패턴 매칭을 위한 직접적인 속성 값으로 오해합니다 (결함 있는 전략).

B. CoAX 인지 모델 구현

모델은 IBL 을 사용하여 인간의 의사결정을 시뮬레이션합니다.

• 기억: 최근성과 빈도에 기반한 활성화 수준을 가진 과거 예시 (인스턴스) 를 저장합니다.
• 검색: 활성화로 가중치를 둔 유클리드 거리를 기반으로 유사한 과거 인스턴스를 검색합니다.
• 전략 확장: 식별된 네 가지 전략을 구현하기 위해 기본 IBL 모델을 확장합니다.
  • 민감한/주목할 만한: 특정 특징 하위 집합에만 초점을 맞추도록 거리 척도를 수정합니다.
  • 귀속 합계: 가중치 부여된 특징 기여도를 합산하여 로그 오즈 점수를 계산합니다.
  • 중요도 분류: 특징 가중치가 아닌 특징 값으로 중요도 점수를 처리합니다.
• 매개변수: 거리 민감도 ($\alpha$), 검색 임계값 ($\rho$), 주시하는 특징 수 ($k$), 특징 - 클래스 민감도 ($\zeta$) 를 포함합니다.

C. 총괄적 사용자 연구 (검증)

• 참가자: 335 명 (Prolific).
• 설계: XAI 유형 (없음, 중요도, 귀속) 에 대해서는 피험자 간, 테스트 조건 (XAI 유무) 에 대해서는 피험자 내 설계.
• 데이터셋: 와인 품질, 산림 피복 유형, 성인 소득 (이진 분류, 5 개 속성).
• 목표: CoAX 를 인간 의사결정 데이터에 적합시키고 표준 머신러닝 (ML) 프록시 (의사결정나무, KNN, MLP) 에 대한 예측력과 비교하여 CoAX 를 검증합니다.

D. 가상 가설 테스트

• 목표: 검증된 CoAX 모델을 사용하여 실제 인간을 대상으로 수행하기에는 비용이 너무 많이 들거나 느린 "가상 실험"을 수행합니다.
• 변수: 훈련 인스턴스 수, 속성 수, 다양한 XAI 알고리즘 (SHAP, LIME, 통합 기울기, 입력 기울기).

3. 주요 기여

1. 추론 전략 분류체계: 귀속 기반 XAI 를 해석할 때 사용자가 활용하는 네 가지 구별되는 인지 전략과 특정 실패 모드 (예: 중요도 점수 오해) 를 경험적으로 도출하고 분류했습니다.
2. CoAX 인지 모델: 통계적 상관관계가 아닌 인간 추론의 절차적 논리를 포착하는 인스턴스 기반 학습을 사용하여 이러한 전략을 시뮬레이션하는 형식적 인지 모델을 개발했습니다.
3. ML 프록시 대비 우월성: CoAX 가 표준 ML 프록시 (DT, KNN, MLP) 보다 인간 의사결정 데이터에 훨씬 더 잘 적합함을 입증하여, XAI 맥락에서의 인간 추론이 데이터 패턴뿐만 아니라 특정 인지 휴리스틱에 의해 주도됨을 증명했습니다.
4. 가상 실험 프레임워크: 초기 프로토타이핑 단계에서 비싼 인간 대상 연구에 대한 의존을 줄이고 가설 생성 및 XAI 사용성 디버깅을 위해 CoAX 를 사용하는 파이프라인을 확립했습니다.

4. 주요 결과

• 모델 적합도: CoAX 는 ML 베이스라인에 비해 훨씬 낮은 음의 로그 가능도 (NLL) 와 베이지안 정보 기준 (BIC) 을 달성하여, 인간 의사결정 과정을 더 정확하게 포착함을 나타냅니다.
• 전략 효과성:
  • 귀속 합계 (부호가 있는 점수 사용) 가 가장 효과적인 전략으로, 가장 높은 예측 정확도를 보였습니다.
  • 중요도 XAI (음수가 아닌 점수) 는 종종 결함이 있는 "중요도 분류"를 포함한 다양하고 종종 최적이지 않은 전략으로 이어졌습니다.
  • 학습 전이: 귀속 XAI 로 훈련된 참가자는 XAI 가 제거되었을 때도 "귀속 합계" 전략을 유지한 반면, 중요도 XAI 로 훈련된 참가자들은 종종 "민감한 특징" 전략으로 되돌아갔습니다.
• XAI 유형의 영향:
  • 귀속 XAI는 일관되게 중요도 XAI 와 XAI 없음보다 우월했습니다.
  • 특징 수: 속성 수를 늘리는 것은 "XAI 없음"과 "중요도 XAI"의 성능을 저하시켰으나 (정보 과부하), "귀속 XAI"는 이를 완화했습니다.
• 가상 실험: 모델은 훈련 인스턴스 증가가 이해도를 어떻게 향상시키는지 (포화 효과) 그리고 다양한 XAI 알고리즘 (예: LIME 대 SHAP) 이 사용자 성능에 미치는 영향을 성공적으로 시뮬레이션하여 확장 가능한 테스트를 위한 모델의 유용성을 검증했습니다.

5. 중요성과 함의

• XAI 디버깅: CoAX 는 설명이 실패하는 이유 (예: 결함이 있는 "중요도 분류" 전략을 유발하는가?) 를 식별하는 진단 도구를 제공합니다.
• 설계 권장사항:
  • UI 설계: 설계자는 "귀속 합계" 전략을 장려하고 (예: 부호가 있는 값 표시) "중요도 분류"를 억제해야 합니다 (예: 중요도 점수를 원시 값으로 제시하지 않음).
  • 교육: 튜토리얼은 단순히 "가장 중요한" 특징을 보는 것이 아니라 부호가 있는 귀속을 어떻게 집계하는지 사용자에게 명시적으로 가르쳐야 합니다.
• 비용 절감: 대규모 사용자 연구를 수행하기 전에 가상 인간 (CoAX) 으로 가설을 검증함으로써 연구자들은 XAI 설계를 더 빠르고 비용 효율적으로 반복할 수 있습니다.
• 향후 방향: 이 프레임워크는 다른 모달리티 (이미지, 텍스트), 다양한 의사결정 과제 (신뢰, 의존), 다양한 사용자 집단에 적용되어 "일률적"인 XAI 를 넘어설 수 있습니다.

요약하자면, CoAX 는 인지 과학과 XAI 간의 간극을 메우며, "작동하는가?"를 넘어 "사용자는 어떻게 생각하는가?"로 나아가는 인간-AI 상호작용에 대한 기계적 이해를 제공합니다.