ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI

기술 요약: ConceptSMILE – 개념 기반 설명 가능한 AI(XAI)의 신뢰성 감사

문제 정의
개념 기반 설명 가능한 AI(C-XAI)는 모델의 추론을 고수준 개념(예: 임상적 바이오마커, 객체 또는 의미론적 속성)을 통해 표현함으로써 인간이 이해할 수 있도록 만드는 것을 목표로 하지만, 이러한 개념의 존재가 자동으로 신뢰할 수 있는 설명을 보장하는 것은 아닙니다. 모델은 그럴듯해 보이는 개념적 출력을 생성하면서도 실제로는 가짜 상관관계(spurious correlations), 불안정한 특징, 레이블 누수(label leakage) 또는 비인과적 지름길(non-causal shortcuts)에 의존할 수 있습니다. 의료 영상과 같은 고위험 도메인에서 개념 설명은 인간이 읽기에는 용이할 수 있으나, 모델의 실제 동작에는 충실하지 않을 수 있습니다. 기존의 평가 관행은 제어된 섭동(perturbation) 하에서 개념 기반 설명이 정확성, 충실성, 안정성 및 일관성을 유지하는지 독립적으로 감사하기 위한 통합된 프레임워크가 부족합니다.

방법론: ConceptSMILE 프레임워크
본 논문은 개념 기반 설명의 신뢰성을 평가하기 위해 설계된 모델 불가지론적(model-agnostic), 섭동 기반 감사 프레임워크인 ConceptSMILE(Concept-level Statistical Model-agnostic Interpretability with Local Explanations)을 소개합니다. ConceptSMILE는 기존의 설명 방법론을 대체하는 것이 아니라, 특징 또는 영역 수준의 속성 부여에서 개념 기반 설명의 감사를 위해 SMILE(Statistical Model-agnostic Interpretability with Local Explanations)의 섭동 기반 로직을 확장한 것입니다.

프레임워크는 다음 파이프라인을 통해 작동합니다:

1. 개념 추출(Concept Extraction): 대상 모델 또는 설명 경로로부터 개념 수준의 출력을 추출합니다. 본 연구에서는 두 가지 서로 다른 경로를 감사했습니다:
   • MedSAM 기반 시각적 경로(MedSAM-based Visual Pathway): Medical Segment Anything Model을 사용하여 세그멘테이션 가이드 시각 개념(병변, 혈관, 시신경 유두)을 생성합니다.
   • VLM 기반 의미론적 경로(VLM-based Semantic Pathway): 동일한 망막 개념에 대해 구조화된 프롬프트를 사용하는 시각-언어 모델(Qwen2.5-VL)을 사용하여 의미론적 개념 응답을 생성합니다.
2. 제어된 섭동(Controlled Perturbation): 입력 이미지를 슈퍼픽셀(superpixel)로 나눕니다. 특정 슈퍼픽셀 영역을 마스킹(검은색으로 설정)하여 제어된 섭동을 생성함으로써, 섭동된 샘플들의 국소 이웃(local neighborhood)을 형성합니다.
3. 응답 변화 측정(Response Shift Measurement): 원본 입력과 섭동된 입력 사이의 개념 응답 변화($\Delta y$)를 측정합니다.
4. 국소 가중치 부여(Locality Weighting): 임베딩 공간(DINOv2 사용)에서 원본 입력과의 거리(Cosine 또는 Wasserstein)를 기준으로 섭동된 샘플에 국소 가중치를 할당합니다. 원본에 가까운 섭동일수록 높은 가중치를 받습니다.
5. 대리 모델링(Surrogate Modeling): 섭동 패턴과 개념 응답 변화 사이의 관계를 근사하기 위해 국소 XGBoost 대리 모델을 적합시킵니다. 이 대리 모델은 입력 수정과 개념 확신도 사이의 비선형 관계를 포착합니다.
6. 다차원 신뢰성 평가(Multi-Dimensional Reliability Evaluation): 프레임워크는 다음 다섯 가지 차원에서 신뢰성을 평가합니다:
   • 속성 정확도(Attribution Accuracy): 식별된 중요 영역이 임상적으로 의미 있는 증거와 일치하는지 여부(ACC, F1, AUROC로 측정).
   • 충실도(Fidelity): 대리 모델이 관찰된 개념 응답 변화를 얼마나 잘 근사하는지 여부(WMSE, WMAE, $R^2$, $R^2_w$로 측정).
   • 충실성(Faithfulness): 개념 관련 영역을 섭동했을 때 개념 응답이 유의미하게 변하는지 여부(Pearson 상관계수로 측정).
   • 안정성(Stability): 비임상적 아티팩트(예: 추가된 날짜 또는 로고)에 대한 견고성(Jaccard 지수 중첩으로 측정).
   • **일관성(Consistency):^ 동일한 설정 하에서 반복 실행 시 설명의 재현성(분산 및 표준 편차로 측정).

주요 기여

• 개념 수준 감사(Concept-Level Auditing): 시각적 그럴듯함을 넘어 측정 가능한 신뢰성으로 나아가기 위해, 개념 기반 설명의 신뢰성을 감사하도록 특별히 설계된 섭동 기반 프레임워크인 ConceptSMILE을 도입했습니다.
• SMILE의 확장: 제어된 섭동, 국소 가중치 및 대리 모델링을 사용하여 슈퍼픽셀 수준의 속성 부여에서 개념 수준의 신뢰성 테스트로 SMILE 로직을 재구성했습니다.
• 모델 불가지론적 검증: 두 가지 서로 다른 개념 추출 경로(MedSAM 및 VLM)를 사용하여 망막 안저 영상을 대상으로 프레임워크를 검증하고, 시각적 개념과 의미론적 개념의 신뢰성에 대한 비교 분석을 제공했습니다.

실험 결과
프레임워크는 세 가지 개념(병변, 혈관, 시신경 유두)에 초점을 맞추어 네 개의 공개 데이터셋(HRF, APTOS, ODIR, IDRiD)의 망막 안저 영상을 통해 평가되었습니다.

• 대리 충실도(Surrogate Fidelity): MedSAM 경로는 VLM 경로에 비해 현저히 강력한 대리 충실도($R^2 = 0.8503$, Wasserstein 가중치 적용 XGBoost의 경우 $R^2_w = 0.8465$)를 달성했습니다. 이는 세그멘테이션 가이드 시각 개념이 슈퍼픽셀 섭동 하에서 더 국소적으로 예측 가능한 응답을 제공함을 시사합니다.
• 속성 정확도(Attribution Accuracy): MedSAM은 혈관 및 시신경 유두와 같이 잘 정의된 구조에 대해 더 강력한 공간적 속성 정확도를 보여주었습니다. VLM 기반 의미론적 설명은 더 가변적이며 공간적 정밀도가 낮았습니다.
• 충실성(Faithfulness): VLM 경로는 모든 데이터셋에서 혈관 개념에 대해 더 강력하고 통계적으로 유의미한 충실성($r \approx 0.58-0.71$)을 보인 반면, MedSAM은 여러 데이터셋에서 병변 개념에 대해 더 강한 충실성을 보였습니다. 이는 신뢰성이 경로보다는 개념에 따라 달라짐을 나타냅니다.
• 안정성(Stability): 안정성은 개념과 아티팩트 유형에 따라 달랐습니다. MedSAM의 시신경 유두 설명은 날짜 추가 아티팩트에 대해 매우 높은 안정성을 보였으나($J_D \approx 0.96-0.98$), VLM 병변 설명은 날짜 및 로고 아티팩트 모두에서 높은 안정성을 보였습니다.
• 일관성(Consistency): 재현성은 경로 간에 균일하지 않았습니다. MedSAM 시신경 유두 설명은 HRF 및 ODIR에서 매우 일관적이었던 반면, VLM 병변 설명은 ODIR 및 IDRiD에서 가장 일관되었습니다.
• 견고성(Robustness): 획득 아티팩트(대조도 변화 및 시뮬레이션된 눈 깜빡임 폐쇄) 하에서 혈관 및 병변 설명은 일반적으로 양의 대리 충실도를 유지했으나, 시신경 유두 설명은 더 높은 가변성과 간헐적인 음의 테스트 $R^2$ 값을 보였습니다.

의의 및 주장
본 논문은 ConceptSMILE이 개념 기반 XAI의 신뢰성을 평가하기 위한 독립적인 감사 계층을 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

1. 해석 가능성 $\neq$ 신뢰성: 인간이 이해할 수 있는 개념이 반드시 신뢰할 수 있는 것은 아니며, 정확성, 충실성, 안정성 및 일관성에 대해 반드시 감사를 받아야 합니다.
2. 신뢰성은 맥락 의존적임: 단일 경로가 보편적으로 우월한 것은 아닙니다. MedSAM은 구조화된 해부학적 구조에 대해 공간적 속성 및 대리 충실도에서 뛰어나며, VLM은 특정 의미론적 개념(예: 혈관)에 대해 강한 충실성과 특정 아티팩트에 대한 안정성을 보일 수 있습니다.
3. 감사의 필요성: 고위험 환경에서 개념 기반 설명은 테스트 가능한 주장으로 취급되어야 합니다. ConceptSMILE은 중요한 의사결정에 의존하기 전에 취약하거나, 근거가 부족하거나, 일관성이 없는 설명을 식별할 수 있는 프로토콜을 제공합니다.

저자들은 ConceptSMILE이 임상적 인증이나 인과적 증명을 제공하는 것이 아니라, 연구자와 임상의가 외견상의 해석 가능성과 근거 있는 신뢰성을 구분할 수 있도록 돕는 정량적 감사 증거를 제공한다고 명시하고 있습니다.