A Survey on Interpretability in Visual Recognition

이 논문은 인간 중심의 관점에서 시각 인식 모델의 해석 가능성 (XAI) 을 체계적으로 분류하고 평가 기준을 제시하며, 멀티모달 대형 언어 모델의 해석 가능성과 실제 응용 분야를 탐구하여 향후 연구 방향을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 이 눈을 가진 것처럼 사물을 인식할 때, 그 AI 가 왜 그런 결론을 내렸는지 우리가 이해할 수 있게 해주는 방법"**에 대한 종합적인 지도 (서베이) 를 제시합니다.

쉽게 말해, **"AI 의 두뇌를 해부해서 그 작동 원리를 인간이 이해할 수 있는 언어로 번역하는 방법"**을 정리한 보고서입니다.

이 복잡한 내용을 일상적인 언어와 비유로 설명해 드릴게요.

---

🕵️‍♂️ 핵심 비유: "검은 상자 (Black Box) 와 투명 유리"

지금까지의 AI 는 **'검은 상자'**였습니다.

• 입력: 고양이 사진
• 출력: "고양이입니다 (99% 확신)"
• 중간 과정: ??? (우리는 알 수 없음)

이 논문은 이 검은 상자를 **'투명한 유리로 만든 상자'**로 바꾸거나, 적어도 **"상자 안에서 무슨 일이 일어났는지 설명해 주는 가이드"**를 만드는 방법을 연구합니다.

---

🗺️ 이 논문의 핵심: 4 가지 질문으로 AI 를 분류하다

저자들은 수백 가지의 복잡한 AI 해석 기술을 정리하기 위해, 우리가 AI 를 설명할 때 던져야 할 4 가지 핵심 질문을 만들었습니다. 마치 옷가게에서 옷을 고를 때 "누구에게, 무엇을, 어떻게, 왜" 입힐지 고민하는 것과 같습니다.

1. 목적 (Intent): "왜 설명이 필요한가?"

• 수동형 (Passive): 이미 완성된 AI(검은 상자) 를 뒤에서 관찰하며 "아, 이 부분이 중요했구나"라고 추측하는 방식입니다. (예: 경찰이 범인 사진에 하이라이트를 찍는 것)
• 능동형 (Active): 처음부터 AI 를 설계할 때 "내 생각 과정을 투명하게 보여줄 거야"라고 만들어버리는 방식입니다. (예: 처음부터 창문이 큰 집을 지어서 안이 다 보이는 것)

2. 대상 (Object): "무엇을 설명할 것인가?"

• 개별 (Local): "이 particular 한 사진에서 왜 고양이라고 봤지?" (특정 사례 설명)
• 반-개별 (Semi-local): "고양이 종류 전체를 볼 때 어떤 특징을 보지?" (범주별 공통점 설명)
• 전체 (Global): "이 AI 시스템 전체가 어떻게 작동하는지?" (시스템 전체의 논리 설명)

3. 표현 (Presentation): "어떻게 보여줄 것인가?"

• 점수 (Scalar): "이 부분이 0.93 점, 저 부분이 0.2 점" 같은 숫자로 설명.
• 주목 (Attention): 사진의 특정 부분을 빨간색으로 칠해서 "여기가 중요해!"라고 보여주는 것 (히트맵).
• 구조 (Structured): "A 라면 B, B 라면 C" 같은 나무 구조나 그래프로 논리를 보여줌.
• 개념 (Semantic Unit): "귀가 뾰족하고, 줄무늬가 있고, 털이 많으니까 고양이"라고 단어로 설명.
• 예시 (Exemplar): "이 사진이 고양이와 가장 비슷하니까 고양이로 봤어"라고 비슷한 사진을 보여줌.

4. 방법론 (Methodology): "어떻게 찾아냈는가?"

• 연관 (Association): "A 가 나오면 B 가 자주 나오네"라는 통계적 패턴을 찾는 것.
• 개입 (Intervention): "이 부분을 지우면 결과가 어떻게 변할까?"라고 실제로 건드려서 확인하는 것.
• 반사실 (Counterfactual): "만약 이 고양이가 강아지였다면 어떻게 됐을까?"라고 가상의 상황을 만들어 비교하는 것.

---

📊 왜 이 논문이 중요한가? (현실적인 필요성)

이 논문은 단순히 이론을 나열하는 게 아니라, 실제 생활에서 왜 필요한지 강조합니다.

• 병원 (의료): AI 가 "이 환자는 암입니다"라고 할 때, "어떤 부위가 암이라고 판단했는지" 보여줘야 의사가 믿고 수술할 수 있습니다. (투명성)
• 자율주행 (안전): AI 가 "앞차에 브레이크를 밟아"라고 할 때, "왜 그렇게 봤는지 (사람이 튀어나온 걸 봤나, 신호등이 빨간색이었나)" 설명해야 사고를 막을 수 있습니다. (신뢰)

---

⚖️ 현실적인 딜레마: "정확함 vs 이해하기 쉬움"

이 논문은 흥미로운 사실을 지적합니다.

• 정확한 AI는 너무 복잡해서 우리가 이해하기 어렵습니다. (고급 요리사지만 레시피를 말해주지 않음)
• 이해하기 쉬운 AI는 정확도가 떨어질 수 있습니다. (레시피는 말해주지만 맛은 그다지 안 좋음)

그래서 이 논문은 "어떤 상황에 어떤 해석 방법이 가장 좋은지" 선택할 수 있는 나침반을 제공합니다.

• "정확성이 가장 중요하다면?" → 복잡한 방법 사용
• "의사나 일반인이 이해해야 한다면?" → 시각적 하이라이트나 단어 설명 사용

---

🚀 미래는 어디로 가는가?

최근에는 멀티모달 AI(이미지와 언어를 동시에 이해하는 AI) 가 대세입니다.
예를 들어, "이 사진에서 고양이의 귀가 왜 중요한지 설명해 줘"라고 물어보면, AI 가 **"귀가 뾰족하니까 고양이로 봤어요"**라고 말로 설명해 주는 시대가 왔습니다.

이 논문은 이런 새로운 기술들이 어떻게 발전해야 할지, 그리고 우리가 어떻게 그 기술을 평가해야 할지에 대한 미래 로드맵을 제시합니다.

💡 한 줄 요약

"AI 가 '왜' 그렇게 판단했는지, 인간이 이해할 수 있는 언어 (사진, 단어, 논리) 로 번역해 주는 다양한 방법들을 정리하고, 우리가 상황에 맞게 가장 좋은 번역기를 고르는 법을 알려주는 지도입니다."

기술 요약

1. 문제 정의 (Problem)

시각 인식 (Visual Recognition) 모델은 자율 주행, 의료 진단, 감시 시스템 등 안전이 중요한 분야에서 혁신적인 성과를 거두고 있습니다. 그러나 이러한 딥러닝 모델의 '블랙박스 (Black-box)' 성향은 입력과 출력 간의 관계를 불투명하게 만들어, 모델의 의사결정 과정을 이해하기 어렵게 합니다.

• 핵심 문제: 모델의 투명성 부재로 인한 윤리적 위험과 안전 문제.
• 필요성: 단순한 성능 향상을 넘어, 인간의 신뢰를 얻고 인간 - 컴퓨터 상호작용 (HCI) 을 원활하게 하기 위해 모델의 내부 작동 원리를 설명할 수 있는 해석 가능성 (Interpretability) 이 필수적입니다.
• 현황: 기존 연구들은 범용 XAI(Explainable AI) 에 집중하거나 특정 기술/아키텍처에 국한되어 있어, 시각 인식이라는 구체적인 도메인의 복잡성과 인간 중심의 요구사항을 포괄적으로 다루는 체계적인 프레임워크가 부족했습니다.

2. 방법론 (Methodology)

이 논문은 시각 인식 분야의 해석 가능성 연구들을 체계적으로 분석하기 위해 4 차원 인간 중심 분류 체계 (Multi-dimensional Taxonomy) 를 제안했습니다. 이 분류 체계는 기존 방법들을 단순 나열이 아닌, 인간의 관점에서 재구성합니다.

제안된 4 가지 차원 (Dimensions):

1. 의도 (Intent): 해석 가능성을 도입하는 목적이 무엇인가?
   • 수동적 (Passive/Post-hoc): 훈련된 모델을 변경하지 않고 사후 분석 (예: Grad-CAM).
   • 능동적 (Active/Intrinsic): 모델 설계 단계부터 해석 가능성을 내장 (예: Concept Bottleneck Models).
2. 대상 (Object): 생성된 설명이 어떤 대상을 중심으로 하는가?
   • 국소적 (Local): 단일 샘플 (이미지, 패치, 특징) 에 대한 설명.
   • 준국소적 (Semi-local): 특정 클래스나 개념을 공유하는 샘플 그룹에 대한 설명.
   • 전역적 (Global): 전체 모델의 작동 원리나 결정 규칙에 대한 설명.
3. 표현 (Presentation): 설명이 사용자에게 어떻게 제시되는가?
   • 시각적/구조적: 스칼라 점수, 주의도 히트맵 (Heatmap), 세그멘테이션 마스크, 그래프/트리 구조.
   • 의미론적: 속성/개념 (Concept), 자연어 설명, 예시 (Exemplar/Prototype), 생성된 이미지.
4. 방법론 (Methodology): 설명이 어떻게 도출되는가? (인과 사다리에 기반)
   • 연관성 (Association): 통계적 상관관계 분석 (예: Attribution).
   • 개입 (Intervention): 내부 표현이나 학습 목표에 직접 개입하여 인과성 확인 (예: Feature Rectification).
   • 반사실 (Counterfactual): "만약 ~했다면?" 시나리오를 통해 입력을 변경하고 결과 변화 관찰 (예: Perturbation, Generative Counterfactual).

3. 주요 기여 (Key Contributions)

1. 체계적인 분류 체계 (Taxonomy) 제안: 시각 인식 특성에 맞춰 의도, 대상, 표현, 방법론의 4 차원 프레임워크를 구축하여, 수백 개의 기존 연구들을 인간 중심의 관점에서 통합적으로 분류했습니다. 이는 기존 범용 XAI 조사나 특정 아키텍처 중심 조사와 구별되는 본 논문의 핵심 기여입니다.
2. 평가 지표 및 요구사항 (Desiderata) 종합: 해석 가능성 평가의 핵심 요소인 이해 가능성 (Understandability), 충실도 (Fidelity), 연속성 (Continuity), 효율성 (Efficiency) 을 정의하고, 이를 검증하는 기존 정량적 지표 (Localization Metrics, Semantic Metrics) 를 체계화했습니다.
3. 다중 모달 모델 (Multimodal Models) 탐구: 최근 주목받는 멀티모달 대형 언어 모델 (MLLMs) 의 해석 가능성과 이를 시각 인식 해석에 활용하는 도구들을 조사하여 미래 트렌드를 제시했습니다.
4. 실무 적용 및 로드맵: 의료, 산업, 사이버 보안 등 실제 응용 사례를 분석하고, 현재 기술적 한계와 미래 연구 방향 (트렌드, 도전 과제, 기회) 을 제시했습니다.

4. 결과 및 분석 (Results & Analysis)

• 정성적/정량적 비교: 제안된 분류 체계 하에서 다양한 방법론들을 비교 분석했습니다.
  • 수동적 방법 (Passive): 구현이 쉽고 범용성이 높으나, 모델의 실제 추론 과정과 불일치 (낮은 충실도) 할 수 있음.
  • 능동적 방법 (Active): 높은 충실도와 이해 가능성을 제공하지만, 모델 설계의 복잡성과 성능 저하 (Trade-off) 가 발생할 수 있음.
  • 표현 방식: 히트맵 (Attention) 은 직관적이지만, 구조적 (Tree/Graph) 또는 의미론적 (Concept) 표현은 인간의 추론 과정과 더 잘 부합함.
• 벤치마크 실험: CUB 데이터셋을 사용하여 국소적 (Localization) 및 의미론적 (Semantic) 해석 방법들의 성능을 정량적으로 평가했습니다.
  • 결과: 단일 지표나 방법이 모든 요구사항 (이해 가능성 vs 충실도 등) 을 동시에 만족시키지 못함을 확인했습니다. 예를 들어, 매우 간결한 설명 (높은 이해 가능성) 은 중요한 세부 정보를 누락하여 충실도를 떨어뜨릴 수 있습니다.
• 멀티모달 XAI: CLIP 등의 모델을 활용한 자동 개념 발견 및 생성형 모델 (GAN, Diffusion) 을 이용한 반사실 데이터 생성이 해석 가능성 연구의 새로운 도구로 부상하고 있음을 확인했습니다.

5. 의의 (Significance)

• 연구 방향성 제시: 시각 인식 분야의 해석 가능성 연구가 산발적으로 진행되던 상황에서, 연구자와 개발자가 특정 응용 시나리오에 맞는 최적의 해석 방법을 선택할 수 있는 명확한 로드맵을 제공합니다.
• 신뢰성 있는 AI 구축: 안전이 중요한 분야 (의료, 자율 주행) 에서 AI 모델의 투명성을 확보하여 사회적 수용성과 신뢰를 높이는 데 기여합니다.
• 미래 지향성: 단순한 시각적 설명을 넘어, 의미론적 이해와 멀티모달 통합을 통한 차세대 해석 가능성 기술의 발전 방향을 제시하며, 향후 더 복잡하고 정교한 XAI 프레임워크 개발의 기초를 마련합니다.

이 논문은 시각 인식 모델의 '블랙박스' 문제를 해결하기 위한 포괄적인 가이드로서, 학술적 분류 체계의 정립과 실제 적용 가능한 평가 기준의 마련이라는 두 가지 측면에서 중요한 의의를 가집니다.