기술 요약: GRAPHIC – 딥러닝의 혼동 행렬에 대한 네트워크 과학 접근법

문제 정의

설명 가능한 인공지능 (XAI) 은 의료 진단 및 자율 주행과 같은 고위험 분야에서 딥러닝의 신뢰성 문제를 해결하는 데 필수적이 되었습니다. 그러나 기존 사후 (post-hoc) 설명 가능성 방법은 다음과 같은 중대한 한계에 직면해 있습니다:

• 국소적 방법 (예: Grad-CAM, LIME) 은 개별 샘플에 초점을 맞추어 라벨링 노이즈와 표본 추출 편향에 취약하며, 모델 동작에 대한 전역적 관점을 제공하지 못합니다.
• 개념 기반 방법 (예: TCAV) 은 인간이 정의한 개념에 의존하는데, 이는 네트워크가 실제로 학습한 추상적 표현과 일치하지 않을 수 있습니다.
• 전역 구조적 방법 은 종종 특징 공간의 조직화에 초점을 맞추지만, 시간에 따른 클래스 수준의 혼동 역학을 체계적으로 시각화하는 방법이 부족합니다.
• 기존 혼동 행렬 시각화 (예: ConfusionFlow) 는 종종 최종 층과 수렴된 모델로만 제한되어 학습 역학의 진화와 중간 층의 행동을 놓치고 있습니다.

신경망 (NN) 의 은닉층 (hidden layers) 에 대한 혼동 행렬 (CM) 을 구성하고 분석하여 학습 과정에서 클래스 분별력과 혼동이 어떻게 진화하는지 이해하는 데 있어 특정 격차가 존재합니다.

방법론: GRAPHIC

저자들은 GRAPHIC(혼동을 통한 예측 및 은닉층 해석 가능성의 그래프 기반 표현 및 분석) 을 제안합니다. 이는 클래스 수준의 혼동을 네트워크 과학 문제로 간주하는 아키텍처 무관 (architecture-agnostic) 프레임워크입니다.

1. 은닉층을 위한 혼동 행렬 생성

은닉층은 직접적으로 클래스 예측을 생성하지 않으므로, GRAPHIC 은 중간 층의 특징 벡터로 훈련된 선형 분류기 (LCs) 를 활용합니다.

• 훈련 전략: LC 는 실제 라벨 ($y$) 과 분석 대상 NN 의 예측 ($\tilde{y}$) 을 모두 통합하는 맞춤형 교차 엔트로피 손실 함수를 사용하여 훈련됩니다:
  $$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$$
  • $\lambda = 1$ (실제 라벨): 해당 층의 특징에 내재된 선형 분별력을 측정합니다.
  • $\lambda = 0$ (예측 라벨): 모델의 현재 "이해"와 훈련 역학을 측정합니다. LC 는 NN 의 예측을 재현하도록 훈련되어, 실제 정답 (ground truth) 에 의존하지 않고 클래스 학습에 대한 통찰력을 제공합니다.
• CM 구성: 훈련된 LC 를 훈련 세트의 홀드아웃 부분 또는 검증 세트에서 보지 못한 특징 벡터에 적용하여 정규화된 혼동 행렬 $C$를 생성합니다.

2. 그래프 표현

혼동 행렬은 방향 그래프의 인접 행렬로 해석됩니다:

• 노드: 데이터셋의 클래스를 나타냅니다.
• 엣지: 클래스 $i$의 샘플이 클래스 $j$로 예측될 확률을 나타냅니다.
• 가중치: 인접 행렬은 $C_{ad} = C - C \odot I_N$으로 정의되어, 혼동에 초점을 맞추기 위해 오류 예측 (대각선 외 요소) 을 분리합니다.

3. 네트워크 과학 분석

저자들은 이러한 그래프에 표준 네트워크 과학 도구를 적용합니다:

• 커뮤니티 탐지: 모듈성 ($Q$) 최대화 (방향성 Louvain 알고리즘 사용) 를 통해 "혼동 커뮤니티 (CC)"를 식별합니다. 이는 서로 자주 혼동되는 클래스 그룹으로, 사전 정의된 라벨 없이도 나타나는 의미론적 구조를 드러냅니다.
• 어소레이티 (Assortativity): 학습된 혼동 구조가 사전 정의된 그룹화 (예: "자연" 대 "인공" 또는 데이터셋 슈퍼클래스) 와 얼마나 잘 정렬되는지 측정하기 위해 어소레이티 계수를 계산합니다.
• 시간적 진화: 학습 에포크와 네트워크 층을 가로질러 이러한 그래프를 분석하여 학습 역학의 진화를 추적합니다.

주요 기여

1. 새로운 분석 접근법: GRAPHIC 은 실제 라벨과 예측 라벨 모두로 훈련된 LC 를 사용하여 중간 층의 혼동 행렬을 생성하고 분석하는 최초의 아키텍처 무관 방법입니다. 이 행렬을 방향 그래프로 해석하여 네트워크 과학 도구를 활용합니다.
2. 데이터셋 및 라벨링 진단: 이 방법은 수많은 클래스로 인해 가려지는 숨겨진 데이터셋 문제, 라벨링 모호성 및 편향을 식별합니다. 이러한 발견은 인간 연구를 통해 검증되었습니다.
3. 선형 분별력 경향 관찰: 이 연구는 중간 층의 선형 분별력에 대한 경험적 증거를 제공하며, 특히 CNN 에서 관찰되는 단조로운 증가와 대조적으로 비전 트랜스포머의 초기 디코더에서 분별력 감소를 관찰했습니다.

실험 결과

실험은 CIFAR-100과 Tiny ImageNet을 사용하여 ResNet-50(CNN) 과 EffVit(비전 트랜스포머) 에서 수행되었습니다.

1. 혼동 커뮤니티의 진화

• 초기 훈련: 소수의 지배적인 클래스가 "혼동 허브"로 작용합니다 (예: ResNet-50 의 "컴퓨터 키보드", "바다", " opossum"). 특정 허브는 모델 초기화뿐만 아니라 훈련 데이터의 순서에 크게 의존합니다.
• 수렴: 훈련이 진행됨에 따라 의미론적으로 의미 있는 커뮤니티 (예: 동물, 나무, 인간) 가 나타납니다. 그룹 간 혼동이 감소하고 모듈성이 증가합니다.
• 층 차이: ResNet-50 에서 더 깊은 층은 더 명확한 그룹화와 더 높은 모듈성을 보입니다. EffVit 의 경우, 초기 디코더는 초기에 선형 분별력을 얻지만 훈련이 진행됨에 따라 이를 상실하여 CNN 과는 다른 학습 역학을 시사합니다.

2. 데이터셋 문제 및 편향

GRAPHIC 은 특정 데이터셋 아티팩트를 성공적으로 시각화했습니다:

• 나뭇잎 색상 편향: 단풍나무와 참나무가 자주 혼동되었습니다. 분석 결과, 모델이 구조적 특징이 아닌 계절적 나뭇잎 색상 (단풍나무는 빨강/노랑, 참나무는 초록) 에 의존했음이 드러났습니다. 테스트 이미지의 나뭇잎 색상을 수정하면 예측이 교정되었습니다.
• 맥락적 편향: "flatfish"(가자미류) 와 "man"(남성) 사이에 강력하고 비상호적인 혼동이 발견되었습니다. 이는 낚시꾼이 가자미를 들고 있는 데이터셋 이미지로 인해 모델이 맥락 (물고기를 들고 있음) 을 "남성" 클래스와 연관시켰기 때문입니다.
• 라벨링 모호성: "소년", "소녀", "아기"와 같은 클래스는 밀집된 혼동 커뮤니티를 형성했습니다. 31 명의 참가자가 참여한 인간 연구는 이미지 품질과 연령/성별 정의 경계로 인해 이러한 클래스가 인간에게도 본질적으로 모호함을 확인했습니다.
• Tiny ImageNet 문제: "컨버터블"과 "스포츠카", "타비 (고양이)"와 "이집트 고양이" 사이의 혼동이 식별되어 데이터셋 내 라벨 중복 및 정의 불일치를 드러냈습니다.

3. 선형 분별력

• ResNet-50: 선형 분별력 (실제 라벨에 대한 LC 정확도로 측정) 은 깊이와 훈련 에포크가 증가함에 따라 단조롭게 증가하여 기존 문헌과 일치했습니다.
• EffVit: 후기 디코더는 분별력 증가를 보였으나, 초기 디코더는 초기 상승 후 선형 분별력이 감소하는 경향을 보였습니다. 이는 비전 트랜스포머가 CNN 과 달리 국소성과 전역 맥락을 다르게 학습하여, 초기 단계에서 더 복잡한 표현을 형성하기 위해 선형 분별력을 재학습 (unlearning) 할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 데이터 주도적 구조적 접근을 통해 "실제 혼동"을 드러냄으로써 신경망이 어떻게 학습하는지에 대한 새로운 관점을 제시한다고 주장합니다.

• 실행 가능한 통찰력: 클래스 수준의 혼동을 시각화함으로써 GRAPHIC 은 표준 정확도 지표가 놓치는 데이터셋 편향과 라벨링 오류를 식별하는 데 도움이 됩니다.
• 아키텍처 이해: 중간 층의 선형 분별력 안정성과 관련하여 CNN 과 트랜스포머 간의 학습 역학에 대한 근본적인 차이를 드러냅니다.
• 신뢰성과 신뢰: 의료 영상과 같은 고위험 응용 분야에서 모델 신뢰성을 개선하고 데이터셋 설계를 안내할 수 있는 해석 가능한 시각화를 제공합니다.
• 한계: 저자들은 여러 층과 에포크에서 LC 를 훈련하는 계산 오버헤드를 인정하지만, 조기 종료 및 LC 재사용과 같은 전략으로 이를 완화할 수 있다고 제안합니다. 또한 관찰된 혼동의 의미론적 의미를 해석하는 데는 여전히 수동 분석이 필요하다고 지적합니다.

요약하자면, GRAPHIC 은 네트워크 과학을 활용하여 학습 과정과 데이터셋 무결성에 대한 체계적이고 클래스 수준의 관점을 제공함으로써 국소적 설명 가능성과 전역 구조적 분석 사이의 격차를 메웁니다.