Beyond Attribution: Unified Concept-Level Explanations

이 논문은 기존 모델-중립적 설명 기법을 대규모 사전 학습 모델 교란을 통해 통합하여, 속성 할당뿐만 아니라 충분 조건과 반사실적 설명까지 포괄하는 더 충실하고 다양한 개념 기반 설명 프레임워크인 UnCLE 을 제안합니다.

핵심

🎬 비유: "요리 레시피 설명" vs "재료 설명"

지금까지 AI 를 설명하는 방법들은 마치 **"이 요리의 맛을 결정짓는 건 소금 1g, 후추 0.5g 이다"**라고 설명하는 것과 비슷했습니다. (이걸 '속성 기반 설명'이라고 해요). 하지만 일반인에게는 소금 1g 이 왜 중요한지, 후추 0.5g 이 어떤 역할을 했는지 직관적으로 와닿지 않을 수 있죠.

이 논문이 제안하는 UnCLE은 그 대신 **"이 요리의 맛을 결정짓는 건 '신선한 고기'와 '적절한 양념'이라는 개념이다"**라고 설명합니다. 이렇게 하면 누구나 "아, 고기가 신선해야 맛있겠구나!"라고 바로 이해할 수 있죠.

🚀 UnCLE 이 해결하려는 문제

기존의 AI 설명 기술들은 두 가지 큰 한계가 있었습니다.

1. 너무 단순한 설명만 해줌: "이 단어가 긍정적 점수를 높였다" (속성 설명) 정도만 알려주었습니다. 하지만 사용자는 "이 영화가 나쁜 이유는 배경음악이 너무 시끄러워서야" (충분 조건) 나 "만약 배경음악이 조용했다면 이 영화는 좋았을 거야" (반대 조건/Counterfactual) 같은 다양한 설명을 원합니다.
2. 개념을 무시함: AI 가 이미지를 볼 때 '개념' (예: '강아지', '비행기') 으로 이해하는 게 아니라 '픽셀 덩어리'로 이해한다고 설명하면, 사용자는 혼란을 느낍니다.

💡 UnCLE 의 핵심 아이디어: "AI 의 눈과 입"을 바꿔주다

UnCLE 은 기존에 있던 설명 도구들 (LIME, Anchors 등) 을 버리고 새로 만드는 게 아니라, 거의 똑같은 도구 위에 '개념'이라는 렌즈를 끼워주는 것입니다.

1. 개념 추출 (렌즈 끼우기): AI 가 입력한 데이터 (이미지나 글) 를 보고, 사람이 이해할 수 있는 '개념' (예: '강아지', '행복한 표정', '비극적인 결말') 을 찾아냅니다.
2. 개념 조작 (요리사 역할): 여기서 가장 혁신적인 부분입니다. 기존 방법은 픽셀을 지우거나 단어를 가리는 식으로 실험을 했지만, UnCLE 은 거대 AI(대규모 사전 학습 모델) 를 고용해서 "이 사진에서 '강아지' 개념을 지워줘"라고 시킵니다. 그러면 AI 가 강아지가 없는 새로운 사진을 만들어냅니다.
3. 결과 확인: 이렇게 만들어진 새로운 사진이나 글로 AI 에게 다시 물어보고, "강아지가 없으니 '강아지'라고 분류하지 않았구나!"라고 결론을 내립니다.

이 과정을 통해 LIME, Anchors, LORE 같은 기존 도구들이 개념 단위로 설명을 할 수 있게 됩니다.

🌟 UnCLE 이 제공하는 3 가지 설명 방식

UnCLE 은 사용자의 필요에 따라 세 가지 방식으로 설명을 바꿔줍니다.

1. 공헌도 설명 (Attribution): "이 영화가 '나쁨'으로 분류된 이유는 배경음악과 연기 때문이야." (기존 방식의 개념 버전)
2. 충분 조건 (Sufficient Conditions): "이 사진에 **'강아지'와 '공원'**만 있다면, AI 는 무조건 '강아지'라고 답할 거야." (어떤 조건이 충족되면 결과가 보장되는지 알려줌)
3. 반대 조건 (Counterfactuals): "만약 이 사진에서 '강아지'를 지우고 '고양이'를 넣었다면, AI 는 '고양이'라고 답했을 거야." (어떻게 바꾸면 결과가 달라지는지 알려줌)

📊 실제 효과는 어떨까?

연구진은 UnCLE 을 다양한 AI 모델 (이미지 인식, 텍스트 분석, 멀티모달 등) 에 적용해 보았습니다.

• 더 정확한 설명: 기존 개념 기반 설명 방법들보다 AI 의 실제 판단을 훨씬 더 정확하게 반영했습니다. (약 57% 더 정확해짐)
• 사람이 더 잘 이해함: 실험 결과, 사용자들이 UnCLE 의 설명을 보고 AI 가 다음에 어떤 결정을 내릴지 예측하는 데 훨씬 성공적이었습니다.
• 유연함: 이미지, 텍스트, 심지어 이미지와 글을 섞은 복잡한 모델까지 모두 적용 가능했습니다.

🏁 결론: "AI 설명의 새로운 표준"

이 논문은 **"AI 설명을 위해 완전히 새로운 복잡한 시스템을 만들 필요는 없다"**는 메시지를 줍니다. 이미 있는 설명 도구들에 거대 AI 를 활용하여 '개념'을 조작하는 기능만 추가하면, 훨씬 더 신뢰할 수 있고 다양한 형태의 설명을 얻을 수 있다는 것입니다.

마치 레고 블록처럼, 기존 도구 (LIME 등) 를 가져와서 개념이라는 새로운 블록을 끼워주기만 하면, 누구나 이해하기 쉬운 AI 설명을 만들 수 있다는 것이 이 연구의 핵심입니다.

기술 요약

1. 문제 정의 (Problem Statement)

머신러닝 모델의 설명 가능성 (Explainability) 분야에서 두 가지 주요 접근 방식이 존재합니다.

1. 모델-중립적 (Model-Agnostic) 방법: LIME, SHAP, Anchors 등 다양한 아키텍처에 적용 가능하지만, 주로 저수준의 특징 (픽셀, 단어) 기반의 설명에 그쳐 해석성이 낮음.
2. 개념 기반 (Concept-Based) 방법: 고수준의 의미 있는 개념 (객체, 주제 등) 을 사용하여 사용자에게 직관적인 설명을 제공하지만, 기존 방법들은 귀속 (Attribution) 형태의 설명에 국한되어 있음.

핵심 문제:
기존의 개념 기반 모델-중립적 설명 방법들은 설명의 형태가 귀속 (Attribution) 에만 집중되어 있어, **충분 조건 (Sufficient Conditions)**이나 **반사실적 (Counterfactuals)**과 같은 다양한 설명 형태를 지원하지 못함. 이로 인해 사용자의 다양한 요구를 충족시키지 못하고 모델의 동작을 포괄적으로 이해하는 데 한계가 있음.

2. 방법론 (Methodology: UnCLE Framework)

저자들은 **UnCLE(Unified Concept-Level Explanations)**이라는 일반적이고 경량화된 프레임워크를 제안하여, 기존 특징 (Feature) 수준의 모델-중립적 설명 기법을 개념 (Concept) 수준으로 승격시킵니다.

핵심 아이디어

기존 로컬 모델-중립적 방법의 핵심 알고리즘을 변경하지 않고, **대규모 사전 훈련된 모델 (Large Pre-trained Models)**을 활용하여 개념 수준의 섭동 (Perturbation) 을 수행함으로써 개념 기반 설명을 가능하게 합니다.

UnCLE 의 3 단계 워크플로우

1. 개념 수준 술어 생성 (Concept-Level Predicate Producing):
   • 입력 데이터 (이미지, 텍스트) 에서 고수준 개념을 추출하는 모델 (Concept Extracting Model) 을 사용합니다.
   • 추출된 개념을 기반으로 이진 함수 형태의 '개념 술어 (Concept Predicates)'를 정의합니다. (예: "이미지에 '아기'가 있는가?", "문장에 '부정적' 감정이 있는가?")
2. 개념 수준 섭동 (Concept-Level Perturbation):
   • 기존 방법들이 특징 (픽셀/단어) 을 마스킹하거나 변경하는 대신, **대규모 생성 모델 (LLM, Diffusion Model 등)**을 '개념 - 특징 매핑 모델'로 활용합니다.
   • 생성 모델에게 특정 개념이 포함되거나 배제되도록 프롬프트를 주어, 의미 있는 새로운 샘플을 생성합니다.
   • 예: 이미지에서 '아기' 개념을 제거하려면, 생성 모델이 아기 없이 유사한 배경을 가진 이미지를 생성하도록 유도합니다.
3. 설명 생성 (Explanation Generation):
   • 생성된 개념 기반 샘플과 그 출력 값을 사용하여 기존 학습 알고리즘 (선형 회귀, 결정 트리 등) 을 적용합니다.
   • 이를 통해 귀속 (Attributions), 충분 조건 (Sufficient Conditions), 반사실적 (Counterfactuals) 등 다양한 형태의 개념 기반 설명을 통합적으로 생성합니다.

3. 주요 기여 (Key Contributions)

1. UnCLE 프레임워크 제안: 기존 로컬 모델-중립적 설명 방법 (LIME, Kernel SHAP, Anchors, LORE) 을 최소한의 노력으로 개념 수준으로 확장하는 일반화된 프레임워크를 제시했습니다.
2. 생성 모델 기반 섭동: 대규모 사전 훈련된 모델을 활용하여 개념 수준의 섭동을 수행하는 방식을 도입하고, 이 섭동의 충실도 (Fidelity) 를 실험적으로 검증했습니다.
3. 통합 설명 제공: 단일 프레임워크 내에서 귀속, 충분 조건, 반사실적 등 다양한 설명 형태를 제공하며, 기존 방법들보다 더 풍부한 설명을 가능하게 합니다.
4. SOTA 성능 달성: 텍스트, 이미지, 멀티모달 모델에 대한 광범위한 실험을 통해 UnCLE 이 기존 개념 기반 방법들보다 높은 충실도와 인간 평가에서 더 나은 성능을 보임을 입증했습니다.

4. 실험 결과 (Results)

저자들은 텍스트 (BERT, DeepSeek-V3), 이미지 (YOLOv8, ViT, ResNet-50), 멀티모달 (Qwen2.5-VL) 모델에 대해 실험을 수행했습니다.

• 섭동 충실도 (Perturbation Fidelity):
  • 생성 모델이 의도한 개념을 정확히 반영하여 샘플을 생성하는지 평가했습니다. DeepSeek-V3(텍스트) 와 Blended Latent Diffusion(이미지) 을 사용하여 평균 **96.8%**의 정확도를 달성했습니다.
• 설명 충실도 (Explanation Fidelity):
  • Anchors, LORE: UnCLE 적용 시 평균 커버리지 (Coverage) 는 11.2% 와 9.5% 증가, 정밀도 (Precision) 는 13.0% 와 10.6% 증가했습니다.
  • LIME, Kernel SHAP: UnCLE 적용 시 평균 AOPC(삭제 실험 지표) 가 크게 향상되었고, 정확도 감소 (Accuracya) 는 14.8% 감소하여 더 정확한 설명임을 보였습니다.
  • 기존 개념 기반 방법 대비: UnCLE 은 텍스트용 (TBM, LACOAT) 및 이미지용 (EAC, ConceptLIME) 최신 개념 기반 방법들보다 모든 작업에서 더 높은 충실도를 보였습니다. 특히 UnCLE 통합 설명은 UnCLE 증강 KSHAP 보다 4.52% 더 높은 충실도를 기록했습니다.
• 인간 평가 (Human Evaluation):
  • 18 명의 사용자를 대상으로 충분 조건과 반사실적 설명의 유용성을 평가했습니다. UnCLE 기반 설명은 EAC(기존 개념 기반 방법) 대비 충분 조건 작업에서 정확도 8.1% 향상, 반사실적 작업에서 정확도 14.2% 향상을 보여주어, 사용자가 모델 행동을 추론하고 의사결정에 활용하는 데 더 효과적이었습니다.
• 효율성 및 강건성:
  • 생성 모델 호출로 인한 추가 계산 시간은 발생하지만, 실제 적용 가능한 수준이며, 다양한 생성 모델 (Qwen2.5, LCM 등) 에 대해 강건한 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

이 논문은 설명 가능한 AI (XAI) 분야에서 중요한 전환점을 제시합니다.

• 범용성: 별도의 복잡한 개념 기반 모델 설계 없이, 기존에 널리 쓰이는 모델-중립적 설명 도구들을 개념 수준으로 쉽게 업그레이드할 수 있음을 증명했습니다.
• 다양한 설명 형태: 단순한 "어떤 특징이 중요한가 (귀속)"를 넘어, "어떤 조건이면 결과가 보장되는가 (충분 조건)" 또는 "무엇을 바꾸면 결과가 달라지는가 (반사실적)"와 같은 다양한 사용자 요구를 충족시킵니다.
• 실용성: 대규모 생성 모델의 능력을 활용하여 의미 있는 개념 조작을 가능하게 함으로써, 블랙박스 모델의 동작을 고수준의 인간 친화적 언어로 설명하는 새로운 패러다임을 제시했습니다.

결론적으로 UnCLE은 모델의 내부 구조를 알지 못하면서도, 고수준의 개념을 기반으로 정확하고 다양한 형태의 설명을 제공하는 강력한 프레임워크로, 복잡한 AI 모델의 신뢰성과 투명성을 높이는 데 기여할 것으로 기대됩니다.