Trustworthiness Assessment with Explainable AI: A Comparative Study of LIME, Parzen, and Greedy Explanation Methods on Religious Text and Image Classification

기술 요약: 설명 가능한 AI를 통한 신뢰성 평가

문제 정의
종교적 담론 분류와 같은 민감한 영역에 머신러닝 모델이 배치됨에 따라, 예측 성능과 해석 가능성 사이의 긴장이 심화되고 있습니다. 현대의 시스템들은 종종 "블랙박스"로 기능하며, 이는 결정이 진정한 의미론적 이해에 기반하는지 아니면 부적절한 상관관계(예: 저자 이름이나 헤더 아티팩트)에 의존하는지 확인하는 것을 어렵게 만듭니다. 설명 가능한 인공지능(XAI)은 모델의 추론 과정을 밝히는 것을 목표로 하지만, 어떤 설명 방법이 신뢰할 수 없는 특징에 의존하는 예측을 안정적으로 식별할 수 있는지 검증하기 위한 엄격하고 통제된 프로토콜이 필요합니다. 본 연구는 종교 텍스트라는 특정 맥락에서 LIME(Local Interpretable Model-agnostic Explanations)의 원래 신뢰성 평가를 검증하는 공백을 메우고, 이를 이미지 분류로 확장하여 분석합니다.

방법론
본 연구는 20 Newsgroups 데이터셋의 "Religion" 서브셋을 사용하여 Ribeiro 등(2016)이 확립한 실험 프레임워크를 복제 및 확장합니다.

• 데이터셋 및 전처리: 이 이진 분류 작업은 alt.atheism과 soc.religion.christian을 구분하는 것을 포함합니다 (훈련 데이터 1,310개, 테스트 인스턴스 328개). 텍스트는 고차원(98,022 차원) 이진 Bag-of-Words(BOW) 표현으로 벡터화되었습니다. 전처리 과정에서는 메타데이터 누출을 최소화하기 위해 구조적 아티팩트(헤더, 라우팅 라인)를 제거하였으나, 레거시 설정을 맞추기 위해 어휘적 대소문자는 유지하였습니다.
• 분류기: 네 가지 모델을 학습시켰습니다: L2 규제가 적용된 로지스틱 회귀(LR), RBF 커널을 사용하는 서포트 벡터 머신(SVM), 랜덤 포레스트(RF), 그리고 K-최근접 이웃(K-NN)입니다.
• 설명 방법: 세 가지 모델 불가지론적(model-agnostic) 설명 전략을 Random 베이스라인과 비교하여 평가했습니다:
  1. LIME: 단어를 제거함으로써 입력을 섭동(perturbation)시키고, 주변 영역에 희소 선형 모델을 적합시킵니 다.
  2. Parzen Windows: 커널 밀도 추정을 사용하여 블랙박스를 전역적으로 근사하고 그래디언트 속성을 사용합니다.
  3. Greedy: 예측이 변할 때까지 가장 영향력이 큰 특징을 반복적으로 제거합니다 (대조적 접근 방식).
• 데이터 신뢰 프로토콜: 통제된 실험을 통해 어휘 특징의 25%를 무작위로 "신뢰할 수 없는 특징"으로 지정했습니다. 해당 특징들을 0으로 만들었을 때 모델의 출력이 변하면 해당 예측은 "신뢰할 수 없는 것"으로 표시되었습니다. 각 설명기의 성능은 상위-K 설명 내에서 이러한 신뢰할 수 없는 특징을 식별하는 능력에 따라 측정되었으며, 분산을 줄이기 위해 더 큰 평가 세트(200개 인스턴스)를 사용하여 5회의 독립적인 라운드에 걸쳐 정밀도(Precision), 재현율(Recall), F1 점수를 평균 냈습니다.
• 이미지 확장: LIME을 InceptionV3 및 ResNet18을 이용한 이미지 분류에 적용한 집중 사례 연구를 수행하였으며, 슈퍼픽셀 섭동을 사용하여 샘플 크기(num_samples)와 특징 수(num_features)가 설명 안정성에 미치는 영향을 분석했습니다.

주요 결과

• 분류 성능: 본 연구는 원래의 정확도 벤치마크를 성공적으로 재현했습니다. 로지스틱 회귀가 가장 높은 정확도(95.73%)와 F1 점수(95.81%)를 달 기록했으며, 그 뒤를 SVM RBF(94.82%), 랜덤 포레스트(85.67%), K-NN(74.70%)이 이었습니다. SVM 학습은 고차원 공간에서의 RBF 커널 계산 비용으로 인해 LR(0.60초)에 비해 현저히 느렸습니다(27.86초).
• 신뢰성 식별:
  • LIME: RF, LR, SVM에 대해 0.993–1.000의 완벽에 가까운 F1 점수를 달성하며 우수한 성능을 입증했습니다. 이는 섭동된 주변 영역 내의 상관관계가 있는 단서들을 효과적으로 포착했습니다.
  • Parzen: 경쟁력 있는 성능(F1 0.958–1.000)을 보였으나, LR 및 SVM에서는 LIME에 비해 약간 뒤처졌습니다.
  • Greedy: 역설적인 실패 모드를 보였습니다. 비록 완벽한 정밀도(진정으로 중요한 특징만을 식별함)를 달성했으나, LR 및 SVM에 대해 재현율이 매우 낮아(0.06–0.07), 결과적으로 낮은 F1 점수(0.112–0.124)를 기록했습니다. 이는 이 방식의 최소주의적 특성 때문이며, 하나의 결정적인 특징을 찾은 후 멈추기 때문에 희소한 텍스트 공간에서 흔히 나타나는 여러 약한 신뢰할 수 없는 특징들의 집합적 가중치를 놓치게 됩니다.
  • Random: 높은 정밀도를 보였으나 재현율이 거의 제로에 가까웠는데, 이는 실제 값이 바뀌는 경우가 드문 높은 모델 확신도의 결과로, 무작위 추측이 정밀해 보이지만 실제로는 무용하게 만드는 아티팩트입니다.
• 이미지 안정성: 이미지 실험에서 설명의 안정성은 샘플 크기에 크게 의존하는 것으로 나타났습니다. 10개의 샘플을 사용한 설명은 불안정하고 흩어져 있었던 반면, 1,000개의 샘플은 일관되고 의미론적으로 집중된 영역을 생성했습니다. 실행 시간과 안정성 사이의 트레이드오프가 관찰되었는데, 1,000개의 샘플은 10개 샘플보다 약 68배 더 오래 걸렸습니다.

의의 및 주장
본 논문은 LIME의 신뢰성 평가에 대한 충실한 재현을 제공한다고 주장하며, 종교적 담론를 포함한 희소한 고차원 텍스트 분류 작업에서 신뢰할 수 없는 특징을 식별하는 데 있어 LIME이 강력한 실용적 옵션임을 확인했습니다. 본 연구는 특정 맥락에서 Greedy 방식의 "실패"에 대한 기술적 설명을 제공하며, 최소한의 대조적 설명이 개별적으로는 약하지만 집합적으로 결정적인 특징들이 존재하는 환경에서는 재현율이 부족할 수 있음을 강조합니다.

저자들은 본 연구의 범위를 겸허하게 유지하며, 결과가 데이터셋의 이진 특성, 문맥적 임베딩이 아닌 희소한 BOW 특징의 사용, 그리고 제한된 범위의 이미지 분석에 의해 제한된다는 점을 명시합니다. 본 연구는 모든 도메인이나 모델 제품군에 대한 LIME의 보편적 우월성을 주장하지 않으며, 특정 실험 프로토콜과 데이터셋 제약 조건 내에서의 효용성을 검증합니다. 이 작업은 K-NN이라는 네 번째 분류기를 추가하고, 반복 실행에 따른 안정성을 분석하며, 심층 이미지 분류에서 LIME의 동작에 대한 예비적 조망을 제공함으로써 기존 2016년 연구를 기술적으로 확장합니다.