기술 요약: SketchXplain

문제 정의

이미지 분류를 위한 기존의 설명 가능한 AI(XAI) 방법들, 특히 살리언시 맵(saliency maps)은 "해석 가능성의 간극(interpretability gap)" 문제를 겪고 있다. 살리언시 맵은 관련 픽셀이나 뉴런을 충실하게 강조하지만, 의미론적 맥락이 부족하여 종종 직관적이지 않은 "모호한 덩어리(nebulous blobs)"처럼 보이며, 왜 특정 영역이 관련이 있는지에 대한 이유를 전달하지 못한다. 이는 사용자가 모델의 동작을 해석하기 위해 상당한 인지적 노력을 소모하게 만들어, 신속하고 정확한 의사결정을 방해한다. 기존의 개념 기반 설명(concept-based explanations)은 의미론적 정렬을 개선하지만 특정 이미지 인스턴스와의 시각적 일관성이 부족한 경우가 많으며, 단순한 선화(line drawings)나 에지 검출(edge detection)은 필요한 설명적 단서들을 포착하지 못한다. 저자들은 AI 설명이 **직관적(intuitive)**이어야 한다고 주장하며, 이를 세 가지 요구 사항으로 정의한다: 단순성(Simplicity) (명확하고 간결함), 일관성(Coherence) (사용자의 지식 및 증거와 일치함), 그리고 빠른 해석(Quick Interpretation) (신속한 동화를 가능하게 함).

방법론: SketchXplain

저자들은 스케치 기반의 시각적 설명을 생성하는 딥 뉴럴 네트워크 프레임워크인 SketchXplain을 제안한다. 단순히 사진을 스케치로 변환하거나 픽셀을 강조하는 방식과 달리, SketchXplain은 살리언시, 개념 병목(concept bottlenecks), 그리고 스케치 최적화를 통합하여 추상적이고 단서 중심적인(cue-aware) 드로잉을 생성한다.

아키텍처는 세 가지 주요 모듈로 구성된다:

1. 기본 예측 (Base Prediction): 이미지 인코더($M$)가 입력 이미지($x$)로부터 클래스 레이블($\hat{y}$)을 예측한다.
2. 개념 설명 (Concept Explanations):
   • 개념 병목 (Concept Bottleneck): 모델은 중간 단계의 인간 이해 가능한 개념들(예: 얼굴의 Action Units 또는 피부 병변의 ABCD 기준)을 다중 레이블 이진 분류를 통해 예측한다($\hat{\gamma}$). 이후 이 개념들은 최종 클래스 레이블을 예측하는 데 사용된다.
   • 단서 국소화 (Cue Localization): 트랜스포머에 적응된 Grad-CAM을 사용하여 각 예측된 개념에 대한 살리언시 맵을 생성한다. 이 맵들은 최종 예측에 대한 각 개념의 중요도($\hat{w}_\gamma$)에 따라 가중치가 부여되어, 통합된 개념 가중 살리언시 맵($\hat{\epsilon}$)을 생성한다.
3. 스케치 합리화 (Sketch Rationalization): 이 모듈은 두 단계를 통해 최종 스케치를 생성한다.
   • 획 초기화 (Stroke Initialization): 사전 훈련된 이미지-투-이미지 생성기가 사진으로부터 상세한 선(에지, 주름, 질감)을 추출한다. 이 선들은 가장 설명력이 높은 획만을 유지하기 위해 개념 가중 살리언시 맵에 의해 마스킹된다.
   • 획 최적화 (Stroke Optimization): 시스템은 마스킹된 선을 기반으로 파라미터화된 획(2차 베지에 곡선) 세트를 초기화한다. 이 획들은 합성 손실 함수($L$)를 최소화하도록 경사 하강법을 통해 반복적으로 최적화된다:
     $$L = -\cos(\hat{z}_s, \hat{z}_x) - \lambda_t \cos(\hat{z}_s, \hat{z}_y) + \lambda_\kappa \kappa(\hat{s}_x)$$
     여기서:
     • $\hat{z}_s, \hat{z}_x, \hat{z}_y$는 각각 스케치, 입력 사진, 예측된 레이블의 CLIP 임베딩이다.
     • 첫 번째 항은 사진 정렬(Photo Alignment) (이미지에 대한 충실도)을 보장한다.
     • 두 번째 항은 의미론적 정렬(Semantic Alignment) (예측 레이블에 대한 충실도)을 보장한다.
     • 세 번째 항($\kappa$)은 높은 곡률을 페널티로 부여함으로써 매끄러움(Smoothness) (단순성)을 강제한다.

주요 기여

1. 새로운 모달리티: 본 연구는 단순한 속성 맵이나 언어적 개념 기술을 넘어, 직관적인 설명 모달리티로서 스케치를 활용한 최초의 작업이다.
2. SketchXplain 프레임워크: 개념 병목, 살리언시 국소화, 미분 가능한 스케치 렌더링을 결합하여 단순성, 일관성, 빠른 해석이라는 요구 사항을 충족하는 기술적 방법을 제공한다.
3. 경험적 검증: 두 가지 서로 다른 도메인에 대한 포괄적인 평가를 수행하였다:
   • 얼굴 표정 인식: Action Units(AUs)를 개념으로 사용.
   • 피부 병변 진단: ABCD 기준(비대칭성, 경계, 색조, 직경)을 개념으로 사용.

결과

모델링 및 대리 지표 (Proxy Metrics)

• 단순성: SketchXplain 스케치는 살리언시 맵 및 "Salient Photos"와 비교했을 때 유의미하게 낮은 시각적 복잡도(로컬 엔트로피 및 JPEG XL 파일 크기로 측정)를 보여주었으나, 단순 외곽선(outlines)보다는 더 많은 정보를 유지하였다.
• 일관성: SketchXplain은 CLIPasso 및 살리언시 맵과 같은 베이스라인 모델들과 비교하여 AI 예측 레이블 및 설명적 개념(AUs/ABCDs) 모두와 가장 높은 정렬도를 달면 달성하였다. 이는 노이즈를 줄이면서도 과업 관련 단서들을 성공적으로 보존했음을 보여준다.

사용자 연구 (얼굴 표정)

• 질적 평가: 참가자들은 SketchXplain이 살리언시 맵(의미론적 맥락이 부족함)이나 단순 외곽선(상세 정보가 부족함)보다 더 직관적이라고 평가했다. 사용자들은 SketchXplain이 "살리한 선"(Saliency의 특징)을 강조하면서도, 인식 가능한 얼굴 특징(Outlines의 특징)과 표현적 단서(CLIPasso의 특징)를 잘 유지한다고 보고했다.
• 양적 평가 (시간 제한 조건): 급속 인지 테스트(33.3ms – 500ms 디스플레이 지속 시간)에서, SketchXplain은 살리언시 맵, CLIPasso, 심지어 매우 짧은 시간의 원본 사진과 비교했을 때도 유의미하게 높은 AI 정렬도(예측된 감정을 올바르게 식별)와 개념 회상력(특정 AU를 식별)을 가능하게 했다. 살리맵은 특징적 맥락의 부재로 인해 가장 낮은 성능을 보였다.

사용자 연구 (피부 병변)

• 질적 평가: 비임상 참여자를 대상으로 한 연구에서, SketchXplain은 사용자가 ABCD 기준을 식별하고 흑색종 위험을 진단하는 데 있어 다른 시각화 방식보다 우수한 성능을 보였다. 참가자들은 SketchXplain의 "끊어진 선"과 "강조된 낙서 형태"가 매끄러운 외곽선이나 흐릿한 살리언시 마스크보다 경계의 불규칙성과 비대칭성을 확인하는 데 더 효과적이라고 언급했다.
• 트레이드오프: SketchXplain은 해석 가능성을 향상시켰지만, 단순 외곽선보다는 약간 더 높은 인지 부하를 유발했다. 그러나 사용자들은 임상적 개념과의 일관성 증가를 고려할 때 이러한 트레이드오프가 가치가 있다고 판단했다.

의의 및 주장

본 논문은 SketchXplain이 순수한 분석적 감사(auditing)에서 **직관적 해석(intuitive interpretation)**으로 전환함으로써 해석 가능성의 간극을 해결한다고 주장한다. 추상적 스케치를 처리하는 인간의 능력(System 1 사고)을 활용함으로써, 이 방법은 다음을 지원한다:

• 더 빠른 해석: 사용자는 전통적인 살리언시 맵보다 관련 단서를 더 빠르게 흡수하고 예측을 추론할 수 있다.
• 향상된 일관성: 스케치는 공간적 기하학과 의미론적 개념 사이의 간극을 메워, AI의 논리를 인간의 관찰과 일치시킨다.
• 개인정보 보호: 부수적인 효과로서, 스케치에 내재된 추상화 특성은 진단적 유용성을 유지하면서도 식별 가능한 정보(예: 신원, 성별)를 보호할 수 있다.

저자들은 SketchXplain을 모든 XAI 방법을 대체하기 위한 것이 아니라, 시각적 추상화를 활용하여 AI의 결정을 일반 사용자에게 더 접근 가능하게 만드는 보완적 접근 방식으로 정의한다. 특히 빠른 직관적 이해가 중요한 도메인에서 그 가치가 크다.