기술 요약: ProDG – 데이터 없는 생성형 사후 설명을 위한 프로토타입

문제 제기

심층 신경망은 컴퓨터 비전 분야에서 뛰어난 성능을 달성했지만 여전히 "블랙박스"로 남아 있어 신뢰와 안전에 관한 중대한 문제를 야기합니다. 사후 설명 방법 (예: Grad-CAM, LRP) 은 재학습 없이 단일 이미지에 대한 효율적인 설명을 제공하지만, 일반적으로 명확한 의미론적 의미가 결여된 픽셀 수준의 히트맵을 생성하여 사용자로 하여금 모델의 추론 과정을 추론하게 만듭니다. 반면, 사전 (ante-hoc) 프로토타입 기반 방법 (예: ProtoPNet) 은 "이것은 저것처럼 보인다"는 인간이 이해할 수 있는 추론을 제공하지만, 특수한 아키텍처와 광범위한 재학습을 요구합니다.

최근 EPIC 와 같은 하이브리드 접근법은 재학습 없이 동결된 분류기에서 프로토타입과 유사한 설명을 추출함으로써 이러한 격차를 해소하려 시도합니다. 그러나 이러한 방법들은 근본적인 한계에 직면해 있습니다: 검증 또는 테스트 세트와 같은 실제 데이터의 하위 집합에 접근하여 시각적 프로토타입을 검색, 자르고 추출해야 한다는 점입니다. 이러한 의존성은 원본 데이터셋이 엄격하게 제한되거나 접근할 수 없는 개인정보 보호가 중요한 분야 (예: 의료, 금융) 에서 이들을 사용할 수 없게 만듭니다.

방법론: ProDG 프레임워크

ProDG(데이터 없는 사후 설명을 위한 생성형 프로토타입) 는 외부 데이터가 필요 없이 동결된 분류기의 가중치에서 직접 순수하고 고충실도의 시각적 프로토타입을 합성함으로써 데이터 의존성 문제를 해결합니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. 직교 특징 분리 모듈

일반적인 네트워크에서는 시각적 특징이 여러 채널에 걸쳐 종종 얽혀 있습니다. ProDG 는 원래의 얽힌 활성화 $\Phi(x)$ 를 새로운 공간 $Z = U \Phi(x)$ 로 매핑하기 위해 직교 기저 변환 행렬 $U \in \mathbb{R}^{C \times C}$ 를 도입합니다.

• 목표: 각 채널이 정확히 하나의 특정 특징에 대해 강력하게 활성화되도록 새로운 채널 표현을 구별 가능하고 의미론적으로 의미 있는 시각적 개념과 정렬시키는 것입니다.
• 신뢰성 보장: $U$ 가 직교하도록 제약되므로, 그 역행렬은 단순히 전치행렬 ($U^{-1} = U^T$) 입니다. 선형 분류 헤드를 수정하여 이 역 매핑을 통합함으로써 (분류기 가중치에 $U^T$ 를 곱함), 기저 변환은 순방향 전달 동안 수학적으로 상쇄됩니다. 이는 수정된 네트워크가 원래 기본 모델의 정확한 예측 정확도와 로그 확률 (logit) 예측을 유지함을 보장합니다.

2. 개념 프롬프트 뱅크

실제 데이터 없이 프로토타입을 생성하기 위해 ProDG 는 텍스트 임베딩에 조건부인 동결된 생성 모델 (구체적으로 FLUX.1-schnell) 을 활용합니다.

• 매개변수화: 각 채널에 대해 "개념 프롬프트 뱅크" $\mathcal{P} = \{P_c\}_{c=1}^C$ 가 정의됩니다. 각 $P_c$ 는 초기 발견 단계 중 클래스 이름에서 유래된 동결 앵커 임베딩과 학습 가능한 분포 매개변수를 포함합니다.
• 최적화: 학습 가능한 매개변수에는 텍스트 임베딩에 대한 오프셋과 분산이 포함됩니다. 고차원 T5 임베딩의 경우 저랭크 적응 (LoRA) 을 사용하며, CLIP 임베딩의 경우 직접적인 오프셋을 학습합니다.
• 다양성: 임베딩은 확률 분포로 공식화됩니다. 재매개변수화 트릭을 사용하여 시스템은 이러한 분포에서 샘플링하여 개념당 단일 정적 이미지 대신 다양한 프로토타입 이미지를 생성합니다.

3. 교차 최적화 방식

이 프레임워크는 변환 행렬 $U$ 와 프롬프트 뱅크 매개변수 $\Theta_c$ 를 교차 전략을 사용하여 공동 최적화합니다:

• 1 단계 ($U$ 업데이트): 프롬프트 매개변수를 동결하고, 대상 채널에 대한 이미지를 샘플링한 후, 순수성 (purity) 지표 (특정 채널에서의 최대 활성화 비율을 해당 공간 위치의 특징 벡터 노름으로 나눈 값) 를 최대화하도록 $U$ 를 업데이트합니다.
• 2 단계 (프롬프트 업데이트): $U$ 를 동결하고, 이미지를 생성한 후, 두 가지 정규화 손실을 적용하여 순수성을 최대화하도록 임베딩을 업데이트합니다:
  • 정규화 손실 ($L_{reg}$): 의미론적 정렬을 유지하기 위해 학습된 임베딩이 의미 있는 자연어 앵커에서 크게 벗어나는 것을 패널티로 부과합니다.
  • 다양성 손실 ($L_{div}$): 특징 벡터의 쌍별 코사인 유사도를 통해 계산되어 모드 붕괴를 방지하기 위해 동일한 채널에 대해 서로 다른 이미지 생성을 장려합니다.

설명 생성

추론 동안 시스템은 예측된 클래스에 대해 가장 영향력 있는 상위-$k$ 개 채널을 식별합니다. 그런 다음 최적화된 프롬프트 뱅크에서 샘플링하여 해당 이미지를 생성합니다. 시각적 설명은 공간적 순수성 (채널의 우세) 과 상대적 크기 (정규화된 활성화) 의 곱을 기반으로 활성화 히트맵을 계산하여 도출되며, 이는 프로토타입 영역을 강조하는 국소화된 바운딩 박스를 생성합니다.

주요 기여

1. 데이터 없는 프레임워크: ProDG 는 원본 또는 검증 데이터셋에 대한 접근 없이 프로토타입 설명을 합성하는 최초의 프로토타입 기반 방법입니다.
2. 순수성 최적화 조건부 생성: 동결된 분류기의 가중치에서 직접 고충실도이고 해석 가능한 시각적 개념을 생성하기 위해 생성 모델을 활용하는 메커니즘의 도입입니다.
3. 개인정보 보호 해석 가능성: 이 방법은 전통적인 데이터 의존적 추출에 대한 안전한 대안을 제공하며, 관련 없는 배경 노이즈에서 자유로운 더 깨끗한 개념적 표현을 제공하여 제한된 환경에 적합합니다.

결과 및 평가

저자들은 다양한 백본 (ResNet, DenseNet, ConvNeXt, SwinTransformer) 을 사용하여 네 가지 벤치마크 (CUB-200-2011, Stanford Cars, Stanford Dogs, ImageNet) 에서 ProDG 를 평가했습니다.

• 예측 신뢰성: 이론적으로 보장된 바와 같이, ProDG 는 모든 데이터셋과 아키텍처에서 기준 모델의 정확도를 정확히 유지합니다 (0% 차이). 이는 EPIC 및 InfoDisent 의 성능과 일치합니다.
• 정성적 성능: 시각적 비교 결과, ProDG 는 EPIC 와 같은 데이터 의존적 방법과 비교할 수 있는 의미론적으로 풍부한 단서 (예: 객체 구조, 질감) 를 생성하며 효과적으로 차별화 영역을 포착하는 것으로 나타났습니다.
• 개념 내 다양성: 학습된 지각적 이미지 패치 유사성 (LPIPS) 지표를 사용하여 ProDG 는 높은 점수 ($\geq 0.61$) 를 보여주었으며, 이는 프레임워크가 모드 붕괴를 성공적으로 피하고 동일한 개념에 대해 다양한 시각적 변형을 생성함을 나타냅니다.
• 사용자 연구: ImageNet 에 대한 연구에서 참가자들은 ProDG 설명을 기반으로 클래스를 식별할 때 우연보다 훨씬 높은 정확도 (무작위 선택 대비 73%) 를 달성했습니다. 세 가지 비교 (ProDG 대 InfoDisent 대 EPIC) 에서 ProDG 는 통계적으로 유의미한 차이가 발견된 InfoDisent 대비 가장 높은 평균 순위 (1.85) 를 달성했습니다.

의의 및 한계

이 논문은 ProDG 가 데이터 접근이 불가능한 매우 제한된 환경에서 견고한 시각적 해석 가능성을 열어주는 데이터 없는 XAI 의 새로운 전선을 확립했다고 주장합니다. 프로토타입 발견을 데이터 가용성에서 분리함으로써 개인정보 보호가 중요한 분야에서 투명성을 가능하게 합니다.

저자들은 생성적 접근 방식에 내재된 한계를 겸손하게 인정합니다:

• 생성적 사전 편향: 대상 개념이 기반 생성 모델 (예: FLUX) 의 분포 밖 (out-of-distribution) 에 완전히 있는 경우, 프롬프트 최적화가 유효한 프로토타입을 합성하는 데 어려움을 겪을 수 있습니다.
• 도메인 적응: 이 프레임워크를 특수 도메인에 적용하려면 도메인별 모델로 생성적 사전 (prior) 을 교체해야 할 수 있습니다.
• 초기화: 텍스트 앵커 초기화는 수렴을 돕지만, 더 고급 초기화 전략을 사용하면 매우 추상적인 시각적 특징 포착을 잠재적으로 개선할 수 있습니다.