Beyond Heatmaps: Unsupervised Concept-Graph Reasoning for Interpretable Visual Explanation

기술 요약: 히트맵을 넘어: 해석 가능한 시각적 설명을 위한 비지도 개념-그래프 추론

문제 정의

컴퓨터 비전 분야의 딥러너닝 모델은 높은 정확도를 자랑하지만, 의학 진단과 같은 안전이 중요한 도메인에서의 배포를 저해하는 불투명한 의사결정 과정을 가집니다. 기존의 해석 가능성 접근 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 사후적 살리언시 방법 (예: Grad-CAM): 모델이 어디에 주목하는지는 나타내는 픽셀 단위의 히트맵을 제공하지만, 무엇이 예측을 주도하는 시각적 개념인지 식별하는 데는 실패합니다. 이들은 종종 신뢰성이 부족하며 정당성 검사(sanity checks)를 통과하지 못합니다.
• 사후적 개념 방법: 시각적 개념을 식별하지만 이를 예측 파이프라인에 통합하지 못하여, 개념 간의 상호 의존성을 모델링하는 데 실패합니다.
• 개념 병목 모델 (CBMs): 해석 가능성을 예측 과정에 통합하지만, 일반적으로 비용이 많이 드는 사전 정의된 개념 어휘나 지도 학습 기반의 주석에 의존합니다. 또한, 표준 CBM은 개념을 단일 이미지 수준의 점수로 축소하여 공간적 재발(개념이 어디에 나타나는지)을 소실시키며, 선형 분류기를 통해 개념 간의 비선형 의존성을 모델링하는 데 실패합니다. 또한 입력 공간 내에서의 명시적인 개념 접지(grounding)가 결여되어 있습니다.

방법론: 그래프 기반 개념 병목 모델 (G-CBM)

저자들은 수동적인 개념 주석 없이도 분류와 설명을 동시에 수행하는 내재적으로 해석 가능한 프레임워크인 G-CBM을 제안합니다. 이 프레임워크는 두 단계로 작동합니다:

단계 I: 비지도 개념 기저 발견

1. 특징 추출: 훈련 이미지를 패치(영역)로 나누고 고정된 백본 네트워크(예: ResNet-50)를 통과시켜 영역 수준의 특징을 추출합니다.
2. NMF 분해: 이러한 패치들의 활성화 행렬에 비음수 행렬 분해(NMF)를 적용합니다. NMF는 반복되는 시각적 패턴(예: "바퀴", "줄무늬", "색소 패턴")을 포착하는 일련의 재사용 가능한 비음수 개념 기저($C$)를 발견합니다.
3. 개념 선택: 클래스 커버리지와 변별력을 균형 있게 고려하는 점수 메트릭을 기반으로 개념의 수($r$)를 선택합니다. 이 기저들은 고정되며 개념 그래프의 노드로 사용됩니다.

단계 II: 개념 그래프 기반 예측 및 설명

1. 투영 및 필터링: 새로운 입력 이미지에 대해, 고정된 개념 기저 위로 영역 수준의 특징을 투영하기 위해 비음수 최소 제곱법(NNLS)을 사용합니다. 조절 가능한 임계값($\tau$)은 약한 영역 수준의 특징을 걸러내어 노이즈를 억제하고 설명의 선택성을 제어합니다.
2. 그래프 구축: 다음과 같이 개별 이미지 개념 그래프를 구축합니다:
   • 노드: 발견된 개념 기저를 나타냅니다. 노드 특징은 해당 개념과 일치하는 패치들의 영역 수준 특징을 활성화 점수에 따라 가중치를 두어 집계함으로써 초기화됩니다.
   • 에지: 모든 개념 노드 사이의 관계를 나타냅니다.
3. 그래프 어텐션 네트워크 (GAT): GAT는 그래프를 처리하여 비선형적 개념 간 의존성을 모델링합니다. 선형 분류기와 달리, GAT는 각 개념 노드가 다른 노드에 주목할 수 있게 하여 복잡한 상호작용을 포착합니다.
4. 예측: 그래프를 풀링(pooling)하고 분류 헤드를 통과시켜 최종 예측을 생성합니다.

해석 가능 출력

G-CBM은 세 가지 뚜렷한 해석 신호를 제공합니다:

• 개념 선택 (무엇인가): 어떤 개념 노드가 양수의 임계값 증거를 가지고 있는지 식별하여, 어떤 개념이 예측에 영향을 미쳤는지 나타냅니다.
• 개념 접지 (어디인가): 선택된 개념의 활성화에 기반하여 이미지 패치에 접지 점수를 할당함으로써 개념을 국소화하며, 이는 바운딩 박스를 통해 시각화됩니다.
• 중요도 점수 (얼마나 많은가): 예측된 클래스 확률에 대한 각 개념 노드 특징의 그래디언트 기반 민감도를 계산하여 기여도를 정량화합니다.

주요 기여

1. G-CBM 프레임워크: 분류와 설명을 공동으로 수행하는 내재적으로 해석 가능한 이미지 분류 프레임워크를 제안합니다. 이는 비지도 개념 발견(NMF를 통해)과 그래프 기반 관계 추론(GAT를 통해)을 결려 통합된 파이프라인 내에서 개념 선택, 접지 및 중요도 점수를 생성합니다.
2. 이미지별 개념-그래프 표현: 노드가 영역 수준의 특징을 집계하여 공간적 재발을 보존하고, 그래프 어텐션을 통해 학습된 에지가 비선형적 개념 간 의존성을 포착하는 그래프 표현을 도입합니다.
3. 조절 가능한 개념 필터링: 그래프에서 노드를 제거하지 않고도 설명의 선택성을 명시적으로 제 제어하고 개념 접지를 개선할 수 있도록, 집계 전 약한 영역 수준 특징을 억제하는 임계값($\tau$)을 제안합니다.
4. 실증적 검증: 네 가지 데이터셋(ImageNet, HAM10000, PH2, Derm7pt)에 걸쳐 접근 방식을 검증하여, 수동 주석 없이도 지도 학습 방식에 대해 경쟁력 있는 성능을 보여주었습니다.

실험 결과

• 성능: G-CBM은 네 가지 데이터셋 전체에서 ResNet-50 베이스라인 대비 평균 상대적 AUC 개선율 **3.7%**를 달성했습니다. HAM10000에서 강력한 CNN 베이스라인(0.923 vs 0.912)을 능가했습니다. PH2에서는 평균 10개의 가용 개념 중 2개만을 사용하여 0.960의 AUC에 도달했습니다.
• 지도 학습 방법과의 비교: 더모스코피 벤치마크(Derm7pt, PH2)에서 G-CBM은 외부 개념 주석이 필요한 지도 학습 방식(예: PCBM, CBE, MICA)과 대등한 성능을 보이면서도, 수동 주석을 전혀 필요로 하지 않았습니다.
• 충실도(Faithfulness): 무작위 제거 제어를 포함한 삭제/삽입 분석을 통해, 그래디언트로 순위가 매겨진 개념 중요도가 모델의 예측을 충실히 반영함을 확인했습니다. "가장 관련성 높은 것 우선(Most-Relevant-First)" 순위는 이러한 섭동 테스트에서 무작위 베이스라인보다 현저히 우수한 성능을 보였습니다.
• 선택성: 개념 필터링 임계값 덕분에 모델은 희소한 개념의 부분 집합(예: HAM10000에서 9개 중 3.8개)만으로도 정점의 성능을 달성할 수 있으며, 이는 높은 신뢰도의 개념 증거가 정확한 예측에 충분함을 입증합니다.

의의 및 주장

본 논문은 G-CBM이 예측 과정 내에서 개념이 무엇인지, 어디에 나타나는지, 그리고 얼마나 기여하는지를 모두 답할 수 있는 프레임워크를 제공함으로써 기존 방법의 한계를 해결한다고 주장합니다.

• 비지도 발견: 비용이 많이 드는 지도 학습 기반의 개념 주석이나 개념 생성을 위한 불투명한 파운데이션 모델(LLM/CLIP)에 대한 의존성을 제거합니다.
• 비선형 추론: GAT를 사용함으로써 선형 CBM이 할 수 없는 개념 간의 비선형적 의존성을 모델링합니다.
• 공간적 접지: 개념을 이미지 영역에 명시적으로 접지하여, 이를 단일 이미지 수준의 점수로 붕괴시키는 대신 공간적 재발을 보존합니다.
• 해석 가능성 vs 정확도: 결과는 시각적 분류기가 예측 성능을 희생하지 않으면서도 국소화되고 재사용 가능한 개념을 통해 추론할 수 있음을 시사하며, 이는 안전이 중요한 도메인에서 해석 가능한 AI를 위한 실행 가능한 경로를 제시합니다.