🤖 AI

Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification

이 논문은 입력 이미지 내의 개념을 위치시키기 위해 클래스 불가지론적(class-agnostic) 살리언시 맵을 생성하고, Integrated Gradients의 일반화를 사용하여 특정 클래스 예측에 대한 해당 개념의 기여도를 추정함으로써, 살리언시 기반 방법과 개념 기반 방법 사이의 간극을 메우는 새로운 설명 가능성 프레임워크인 Visual-TCAV를 소개한다.

원저자: Antonio De Santis, Riccardo Campi, Matteo Bianchi, Marco Brambilla

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Antonio De Santis, Riccardo Campi, Matteo Bianchi, Marco Brambilla

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 사진을 보고 그 안에 무엇이 있는지 정확히 말할 수 있는 아주 똑똑한 로봇이 있다고 상상해 보세요. 예를 들어, 로봇은 얼룩말을 보고 "저건 얼룩말이야!"라고 말할 수 있습니다. 하지만 여기 문제가 있습니다. 이 로봇은 블랙박스입니다. 당신은 로봇이 무엇을 먹는지(사진)와 무엇을 내뱉는지(정답)는 볼 수 있지만, 로봇이 어떻게 결론을 내렸는지는 알 수 없습니다. 로봇이 줄무늬를 보고 있는 것인지, 아니면 그냥 배경에 있는 풀을 보고 있는 것인지 알 수 없는 것이죠.

오랫동안 과학자들은 이 블랙박스 내부를 들여다보기 위해 두 가지 서로 다른 도구를 사용해 왔지만, 두 도구 모두 결정적인 약점이 있었습니다.

"스포트라이트" 도구 (Saliency Maps): 이 도구는 로봇이 사진의 어느 부분을 보고 있는지 밝은 빛을 비춰줍니다. "로봇이 줄무늬를 보고 있구나!"라고 말하는 데는 훌륭합니다. 하지만 줄무늬가 왜 중요한지는 말해주지 못합니다. 줄무늬가 검은색이라서일까요? 흰색이라서일까요? 아니면 곡선 형태라서일까요? 이 도구는 그 '개념'을 알지 못합니다.
"민감도" 도구 (TCAV): 이 도구는 "로봇이 '줄무늬'라는 개념을 신경 쓰는가?"라고 묻습니다. 이 도구는 "네, 로봇은 줄무늬라는 개념에 매우 민감합니다"라고 말할 수 있습니다. 하지만 로봇이 사진의 어디에서 줄무늬를 보았는지, 그리고 그 줄무늬가 로봇의 특정 결정을 내리는 데 실제로 얼마나 도움이 되었는지는 알려주지 못합니다.

Visual-TCAV의 등장: 탐정의 돋보기

저자들은 Visual-TCAV라는 새로운 도구를 만들었습니다. 이것은 두 세계의 장점을 결합한 탐정이라고 생각하면 됩니다. 이 도구는 단순히 로봇이 무엇을 생각하는지 또는 어디를 보고 있는지만 알려주는 것이 아니라, 특정 아이디어를 어디에서 발견했는지, 그리고 그 아이디어가 최종 답변에 얼려나만큼 기여했는지를 알려줍니다.

이것이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 로봇에게 새로운 단어 가르치기 (CAV)

먼저, 로봇에게 특정 개념이 어떻게 생겼는지 가르쳐야 합니다. 예를 들어, "딤플"(골프공의 홈)을 이해하는지 알고 싶다고 합시다. 당신은 로봇에게 골프공 사진 30장(긍정적 예시)과 골프공이 아닌 무작위 사진 500장(부정적 예시)을 보여줍니다.

이 도구는 "딤플"에 대한 "정신적 지문"을 만듭니다. 이는 마치 로봇에게 딤플만을 강조해서 보여주는 특정한 안경을 씌워주는 것과 같습니다.

2. "어디"를 나타내는 지도 (Concept Map)

일단 로봇이 "딤플 안경"을 갖게 되면, Visual-TCAV는 로봇에게 그 안경을 씌우고 새로운 사진을 보라고 요청합니다. 그런 다음 사진 위에 히트맵(heat map)을 그립니다.

빨간 영역: "여기서 로봇은 명확하게 딤플을 보고 있습니다."
파란 영역: "여기서 로봇은 딤플과 관련된 것을 아무것도 발견하지 못했습니다."

이것으로 "민감도" 도구가 해결하지 못했던 문제, 즉 개념이 어디에 있는지 보여주지 못했던 문제를 해결합니다. 이제 우리는 로봇이 골프공의 정확히 어느 부분을 분석하고 있는지 볼 수 있습니다.

3. "얼마나 많이"에 대한 점수 (Concept Attribution)

이것이 마법 같은 부분입니다. 이 도구는 단순히 "로봇이 딤플을 보았다"라고 말하지 않습니다. 대신 다음과 같은 질문에 답하기 위해 점수를 계산합니다: "그 딤플을 보는 것이 로봇이 이것을 골프공이라고 결정하는 데 얼마나 도움이 되었는가?"

로봇이 사건을 판결하는 판사라고 상상해 보세요.

기존 도구들은 "판사가 증거를 보았다"(Saliely) 혹은 "판사는 이런 종류의 증거를 중요하게 여긴다"(TCAV)라고 말할 수 있습니다.
Visual-TCAV는 "판사가 오른쪽 상단에 있는 증거(딤플)를 보았으며, 그 특정 증거가 최종 판결에 40% 기여했다"라고 말합니다.

이것은 "Integrated Gradients"라는 수학적 기법을 사용하여 수행됩니다. 이는 본질적으로 빈 화면에서 최종 사진에 이르기까지 로봇의 의사 결정 경로를 추적하여, 각 단계가 로봇의 생각을 얼마나 변화시켰는지 측정하는 방식입니다.

이것이 왜 중요한가요? ("함정 테스트")

저자들은 이를 검증하기 위해 영리한 실험을 진행했습니다. 그들은 로봇들이 세 가지(오이, 택시, 얼룩말)를 인식하도록 훈련시켰습니다. 하지만 사진 속에 색칠된 사각형 안에 무작위 글자(예: "Z")를 넣는 속임수를 썼습니다.

설정: 어떤 로봇들은 글자가 없는 사진으로 훈련받았습니다. 다른 로봇들은 글자가 있는 사진으로 훈련받았습니다.
함정: 그들은 글자가 동물과 일치하지 않는 사진(예: "C"가 적힌 얼룩말)으로 로봇들을 테스트했습니다.
결과:
- "글자가 많은" 이미지로 훈련된 로봇들은 실제 동물을 보는 것을 멈췄습니다. 그들은 그냥 글자를 찾았습니다. 만약 "C"를 보면, 설령 얼룩말일지라도 "오이"라고 추측했습니다.
- Visual-TCAV는 이를 즉시 잡아냈습니다. 이 도구는 "글자가 많은" 로봇들의 경우, "얼룩말"이라는 개념의 중요성은 거의 제로에 가까운 반면, "글자 C"라는 개념의 중요성 점수는 매우 높다는 것을 보여주었습니다.
- 기존 도구(TCAV)는 혼란스러워했습니다. 그것들은 "로봇이 얼룩말과 글자 모두에 민감하다!"라고 말했지만, 로봇이 실제로 얼룩말을 무시하고 글자에만 집중하고 있다는 사실은 알려주지 못했습니다. Visual-TCAV는 단순한 방향성이 아니라 크기(얼마나 중요한지)의 차이를 포착했습니다.

핵심 요약

Visual-TCAV는 AI와 대화하는 새로운 방법입니다. 이를 통해 당신은 다음과 같이 물을 수 있습니다.

"줄무늬를 어디서 보았니?" (지도를 그려줍니다).
"그 줄무늬가 네가 결정하는 데 얼마나 도움이 되었니?" (점수를 줍니다).

이는 인간이 AI를 더 신뢰할 수 있게 해줍니다. 왜냐하면 로봇이 정말로 올바른 것(예: 얼룩말의 줄무늬)을 보고 있는지, 아니면 배경이나 무작위 글자를 보고 속임수를 쓰고 있는지를 확인할 수 있기 때문입니다. 이 도구는 "당신이 무엇을 보고 있는지 본다"와 "당신이 왜 그런 선택을 했는지 이해한다" 사이의 간극을 메워줍니다.

기술 요약: Visual-TCAV

문제 정의

합성곱 신경망(CNN)은 이미지 분류에서 놀라운 성능을 달 achievement 했으나, 의료나 자율 주행과 같은 중요한 도메인에서 신뢰와 디버깅을 저해하는 "블랙박스" 모델로 남아 있습니다. 기존의 설명 가능한 AI(XAI) 방법론들은 다음과 같은 상호 보완적인 한계를 가집니다:

Saliency 방법 (예: Grad-CAM, Integrated Gradients): 클래스가 식별되는 '어디(where)'를 보여주는 국소적이고 픽셀 단위의 설명을 제공하지만, 어떤 고수준의 의미론적 개념(예: "줄무늬", "보조개")이 예측을 유도했는지에 대한 '어떻게(how)'는 설명하지 못합니다.
개념 기반 방법 (예: TCAV): 인간이 정의한 개념에 네트워크가 전역적으로 얼마나 민래되어 있는지 설명할 수 있지만, 특정 예측 인스턴스에 대해 개념의 중요도를 귀속시키거나 입력 이미지 내에서 해당 개념의 공간적 위치를 시각화할 수는 없습니다.

결과적으로, 공간적 근거 제시(개념의 국소화), 인스스턴스별 귀속(특정 예측에 대한 개념 중요도 정량화), 그리고 집계 가능성(전역적 통찰 생성)을 동시에 제공할 수 있는 방법론의 공백이 존재합니다.

방법론: Visual-TCAV

Visual-TCAV는 saliency 방법과 개념 기반 방법 사이의 간극을 메우기 위해 설계된 프레임워크입니다. 이 방법은 특징 맵(feature maps)을 생성하는 모든 CNN 레이어에서 작동하며, 두 가지 주요 출력물인 개념 맵(공간적 국소화)과 개념 귀속(수치적 중요도)을 생성합니다.

1. CAV 생성 및 공간 풀링 (Spatial Pooling)

TCAV 패러다임을 따라, 이 방법은 먼저 **차이 평균 방식(Difference of Means)**을 사용하여 **개념 활성화 벡터(CAV)**를 계산합니다. 이는 다음 과정을 포함합니다:

사용자가 정의한 양(+)의 개념 예시와 음(-)의 예시(무작위 예시)로부터 특징 맵을 수집합니다.
두 집합에 대한 산술 평균(중심점)을 계산합니다.
개념 중심점과 무작위 중심점의 차이를 통해 CAV를 도출합니다.
**전역 평균 풀링(Global Average Pooling, GAP)**을 CAV에 적용하여 pooled-CAV를 생성합니다. 이 벡터는 공간적 위치와 독립적으로 각 특징 맵 채널과 개념 사이의 상관관계를 나타냅니다.

2. 개념 맵 (공간적 근거 제시)

입력 이미지에서 개념 $c$ 가 인식되는 위치를 국소화하기 위해, Visual-TCAV는 개념 맵 $M^c$ 를 생성합니다:

입력 이미지의 특징 맵( $F$ )에 pooled-CAV의 요소들인 가중치( $p^c_i$ )를 곱한 가중 합을 계산합니다.
개념과 양의 상관관계가 있는 영역만 유지하기 위해 ReLU 함수를 적용합니다.
정규화(Normalization): 이미지 간 비교 가능성을 보장하기 위해 커스텀 min-max 스케일링을 사용하여 맵을 정규화합니다. 경계값( $\ell_c, u_c$ )은 양의 예시 집합과 음의 예시 집합에서 생성된 개념 맵의 중앙 반조화 평균(median contraharmonic means)으로부터 휴리스틱하게 도출됩니다.
결과물은 네트워크가 개념을 인식하는 공간적 영역을 강조하는 클래스 독립적인 시각화를 제공합니다.

3. 개념 귀속 (인스턴스별 중요도)

특정 클래스 예측에 대한 개념의 기여도를 추정하기 위해, 이 방법은 **Integrated Gradients (IG)**를 확장합니다:

특징 맵 IG (Feature-Map IG): 입력 픽셀에서 그래디언트를 적분하는 대신, 선택된 레이어의 특징 맵 공간에서 IG를 계산합니다. 이는 베이스라인(zero tensor) 대비 타겟 클래스 로짓에 대한 특징 맵 활성화의 귀속도를 측정합니다.
개념 정렬에 의한 가중치 부여: 정규화된 IG 귀속도는 정규화된 pooled-CAV( $\hat{p}^c$ )에 의해 가중치가 부여됩니다. 이는 개념과 강하게 정렬된 특징 맵을 강조하고 그렇지 않은 맵의 비중을 낮춥니다.
공간 마스킹 (Spatial Masking): 가중치가 부여된 귀속값은 정규화된 개념 맵( $\hat{M}^c$ )과 요소별로 곱해지며, 이는 개념 관련 영역을 격리하는 공간 마스크 역할을 합니다.
집계 (Aggregation): 모든 공간 위치에 대해 합산함으로써, 특정 입력에 대한 클래스 $k$ 의 개념 $c$ 에 대한 기여도를 정량화하는 스칼라 값인 개념 귀속(concept attribution, $a_{c,k}$ )을 얻습니다.

4. 전역적 설명 (Global Explanations)

선택된 클래스에 대해 일련의 입력 이미지들에 대한 인스턴스별 개념 귀속을 평균함으로써 전역적 통찰을 도출하며, 이를 통해 해당 클래스에 대한 개념의 전반적인 중요도를 정량화합니다.

핵심 기여

통합 프레 framework: Visual-TCAV는 saliency 맵과 개념 기반 방법의 강점을 통합하여 세 가지 요구사항(D1: 공간적 근거 제시, D2: 인스턴스별 귀속, D3: 집계 가능성)을 모두 충족합니다.
크기 인지형 귀속 (Magnitude-Aware Attribution): 방향 미분(sensitivity)의 *부호(sign)*에만 의존하는 TCAV와 달리, Visual-TCV는 그래디언트의 크기(magnitude)(IG를 통해)를 활용하여 개념이 예측 점수에 미치는 실제 영향을 측정합니다.
시각적 검증: 개념 맵 생성을 통해 activation maximization 없이도 생성된 CAV가 사용자의 의도된 개념과 일치하는지 질적으로 검증할 수 있습니다.
그라운드 트루스 검증: 저자들은 개념 중요도의 그라운드 트루스를 알고 있는 합성 데이터셋(인공 태그가 포함된 오이, 택시, 얼룩말)을 사용한 통제 실험을 도입하여, Visual-TCAV가 표준 TCAV보다 그라운드 트루스와 더 잘 일치함을 입증했습니다.

결과

이 방법은 ResNet50V2, InceptionV3, VGG16 (ImageNet) 및 CelebA로 학습된 ResNet50V2에서 평가되었습니다.

국소적 설명: Visual-TCAV는 고수준 개념(예: "자동차")이 깊은 층에서 인식되는 반면, 세밀한 개념은 초기 층에서 나타난다는 것을 성공적으로 시각화했습니다. 또한 오분류 사례(예: "ox"가 "dalmatian"으로 오분류된 경우)가 잘못된 클래스 로짓에 크게 기여하는 특정 개념(예: "점박이")에 의해 발생했음을 식별했습니다.
전역적 설명: 집계된 귀속값은 직관적인 기대와 일치했습니다(예: "줄무늬"는 "얼룩말"에 높게 귀속됨). 또한 모델의 편향(예: 특정 특징에 대한 과도한 의존)을 드러내기도 했습니다.
정량적 검증: 태그 기반 통제 실험에서 Visual-TCAV 귀속값은 그라운드 트루스를 정확히 반영했습니다. 즉, 모델이 태그가 달린 이미지의 비율이 높아짐에 따라 귀속도가 엔티티(예: "zebra")에서 태그(예: "Z")로 이동하는 것을 보여주었습니다.
TCAV와의 비교: TCAV는 모델이 둘을 구분하지 못할 때도(그래디언트 부호에 의존하기 때문에) 엔티티와 태그 모두에 대해 높은 점수를 유지했지만, Visual-TCAV는 그래디언트 크기를 측정함으로써 상대적 중요도를 정확히 구분하였으며, 과적합된 모델에서 무관한 개념에 대해 거의 0에 가까운 귀속도를 보여주었습니다.

의의 및 주장

본 논문은 Visual-TCAV가 단순히 네트워크가 민감한지 여부뿐만 아니라, 개념이 예측에 얼마나(how much) 영향을 미치는지를 정량화함으로써 기존 방법보다 더 포괄적인 설명을 제공한다고 주장합니다.

이는 오분류를 평가하고 공간적 근거를 검증하는 데 있어 TCAV의 한계를 해결합니다.
모델이 지름길(shortcut, 예: 객체 대신 태그)에 의존하는지 탐지할 수 있는 메커니즘을 제공하며, 이는 안전이 중요한 애플리케이션에서 매우 중요합니다.
저자들은 개념 예시를 수집하는 데 도메인 지식이 필요하며, 테스트된 개념이 모델이 학습한 내용의 전부임을 보장하는 완결성(completeness)을 제공하지는 못한다는 한계를 겸허히 명시했습니다.
향후 연구로 Vision Transformer(ViT) 및 회귀 작업에 이 방법을 적용하는 것이 제안되었으나, 어텐션 기반 구조에서의 공간적 근거 제시의 어려움을 인정하였습니다.