기술 요약: ProtoQuant

1. 문제 정의

의료 진단이나 자율 주행과 같은 고위험 도메인에서의 딥러닝 모델은 본질적인 불투명성 문제를 겪고 있습니다. 설명 가능한 AI(XAI)가 사후적(post-hoc) 방법(예: Grad-CAM)과 선제적(ante-hoc, 자기 설명형) 접근 방식(예: Prototypical Parts Networks, PPN)을 도입했음에도 불구하고, 후자의 경우 다음과 같은 결정적인 한계에 직면해 있습니다:

• 프로토타입 표류 및 근거 결여(Prototype Drift and Lack of Grounding): 기존 방식들은 훈련 분포 내의 실질적이고 구현 가능한 패치에 대응하지 않는 잠재 벡터를 학습하는 경우가 많습니다. 이러한 프로토타입은 표류할 수 있으며, 실제 시각적 개념을 나타내지 못할 수 있습니다.
• 표현의 불안정성(Representational Instability): 입력 이미지에 대한 미세한 섭동(perturbation)이 가장 높은 활성화를 보이는 프로토타입의 급격한 변화를 유발하여, 인간의 지각과 모순되는 불안정한 모델 결정을 초래할 수 있습니다.
• 확장성 및 계산 비용(Scalability and Computational Cost): 대부분의 프로토타입 아키텍처는 ImageNet과 같은 대규모 데이터셋으로 일반화되는 데 어려움을 겪습니다. 또한, 수용 가능한 정확도를 달ening하기 위해 전체 백본 네트워크의 비용이 많이 드는 미세 조정(fine-tuning)을 빈번하게 요구하며, 이는 현대의 동결된 파운데이션 모델(frozen foundation models)에 적용하는 것을 제한합니다.

2. 방법론: ProtoQuant

ProtoQuant는 동결된 사전 학습된 이미지 분류기의 "헤드(head)"로 기능하도록 설계된 해석 가능한 프레임워크입니다. 이 모델은 **벡터 양자화(Vector Quantization)**를 통해 근거 확보와 안정성 문제를 해결합니다.

핵심 아키텍처

이 모델은 표준 분류 헤드를 동결된 백본 $\phi$를 사용하는 개념 기반 모듈로 교체합니다. 과정은 다음과 같습니다:

1. 동결된 백본(Frozen Backbone): 사전 학습된 백본(CNN 또는 ViT)이 특징 맵 $\phi(x)$를 추출합니다. 백본의 파라미터는 훈련 과정 동안 고정됩니다.
2. 개념 코드북 학습(Stage 1):
   • 벡터 양자화 변이형 오토인코더(VQ-VAE) 메커니즘을 사용하여 이산적 코드북 $C = \{c_1, ..., c_m\}$을 학습합니다.
   • 백본의 특징 벡터 $z_{ij}$는 코사인 유사도에 따라 가장 가까운 코드북 항목에 할당됩니다.
   • 백본 임베딩은 그래디언트 전파가 중단되며, 오직 코드북 벡터만이 코드북 손실($L_{codebook}$)을 통해 업데이트됩니다. 이를 통해 연속적인 잠재 공간을 유한한 시각적 프리미티브(visual primitives)의 어휘로 이산화합니다.
3. 개념 기반 예측 헤드(Stage 2):
   • 매칭(Matching): 특징 벡터는 온도 매개변수 $\alpha$를 가진 샤프 소프트맥스(sharp softmax)를 사용하여 코드북과 매칭되며, 이를 통해 개념 활성화 맵을 생성합니다.
   • 집계(Aggregation): 개념 존재 점수($s$)를 얻기 위해 공간 최대 풀링(spatial max-pooling)이 적용됩니다.
   • 분류(Classification): 비음수 분류 행렬 $W$가 개념 점수를 클래스 로짓($\hat{y} = Ws$)으로 매핑합니다.

훈련 체계

이 방법은 2단계 훈련 과정을 채택합니다:

• 1단계 (비지도 근거 확보 - Unsupervised Grounding): 코드북은 동결된 백본의 특징 분포를 포착하도록 비지도 방식으로 학습됩니다.
• 2단계 (지도 기반 추론 - Supervised Reasoning): 기존 헤드가 해석 가능한 헤드로 교체됩니다. 코드북은 동결된 상태로 유지되며, 분류 행렬 $W$는 표준 교차 엔트로피 손실을 사용하여 학습됩니다. 이 단계에서는 해석 가능성을 높이기 위해 프루닝(top-K 프로토타입 선택)을 수행할 수 있으며, 이때 백본을 재학습할 필요는 없습니다.

3. 주요 기여

• 양자화 기반 근거 확보(Quantization-Based Grounding): 특징 공간을 고안된 코드북으로 이산화하여, 백본 업데이트 없이도 훈련 데이터의 충실한 표현이 되는 고안정성 개념을 도입했습니다.
• 백본 불가지론(Backbone Agnosticism): 동결된 백본(CNN 및 ViT 모두)을 위한 효율적이고 해석 가능한 헤드로 설계되어, 전체 파라미터 미세 조정을 수행하지 않고도 현대적 아키텍처에 원활하게 통합될 수 있습니다.
• 확장성(Scalability): 프로토타입 추론이 대규모 데이터셋(ImageNet)에서도 높은 충실도로 확장될 수 있음을 입증하여, 해석 가능성과 예측 성능 사이의 간극을 메웠습니다.
• 구조적 편집 가능성(Structural Editability): 이산적 코드북을 사용함으로써 특정 항목의 "개념 프루닝"이나 무력화와 같은 즉각적인 구조적 편집이 가능해져, 비용이 많이 드는 재학습 없이 모델 디버깅을 용이하게 합니다.

4. 실험 결과

저자들은 ImageNet-1K 및 세밀한 벤치마크(CUB-200, Cars-196, Dogs, Flowers)에서 ProtoQuant를 평가했습니다.

• 표현 안정성(Representational Stability): 공간적 불일치(Spatial Misalignment) 벤치마크에서 ProtoQuant는 다른 PPN들보다 성능이 뛰어납니다. ViT에서 0.35, ConvNeXt에서 1.73의 AC(Accuracy Change) 점수를 달성하며 거의 완벽한 성과를 보였으며, PAC(Prototype Activation Change)를 획기적으로 줄여 입력 섭동에 대한 강건성을 입증했습니다.
• 분류 정확도(Classification Accuracy):
  • 세밀한 분류(Fine-Grained): ProtoQuant는 CUB-200, Cars, Dogs, Flowers에서 최첨단 해석 가능 모델(예: PIP-Net, InfoDisent)과 대등하거나 더 우수한 Top-1 정확도를 달성했으며, 종종 백본을 미세 조정하는 방식보다 더 나은 성능을 보였습니다.
  • ImageNet: ProtoQuant는 ResNet-50에서 77.86%, ConvNeXt-Large에서 82.87%의 정확도를 달성했습니다. 이는 InfoDisent와 같은 경쟁 모델과 비교했을 때, 선제적(ante-hoc) 방식과 비해석적 블랙박스 베이스라인 사이의 성능 격차를 크게 좁혔음을 의미합니다.
• 의미적 순도(Semantic Purity): Proto-Quant는 동결된 백본 제약 조건 하에서 다른 방법들과 비교하여 경쟁력 있는 프로토타입 순도(0.47)를 보여주었으며, 이는 양자화된 개념이 인간이 주석을 단 부위와 잘 일치함을 검증합니다.
• 효율성(Efficiency): 동결된 백본에서 ProtoQuant를 훈련하는 것은 백본 미세 조정을 포함한 전체 모델 훈련에 비해 에폭(epoch) 시간을 약 47.6% 단축시킵니다.

5. 의의 및 주장

본 논문은 ProtoQuant를 현재의 프로토타입 부품 네트워크가 가진 "프로토타입 표류" 및 확장성 문제를 해결하는 솔루션으로 제시합니다. 주요 의의는 다음과 같습니다:

• 근거 있는 해석 가능성(Grounded Interpretability): 결정을 훈련 분포에서 직접 유도된 검증 가능한 시각적 개념 어휘에 고정함으로써, 설명이 추상적인 잠재 아티팩트가 아닌 실제 데이터에 기반하도록 보장합니다.
• 실제 배포 가능성(Practical Deployment): 동결된 파운데이션 모델에 해석 가능한 헤드를 부착할 수 있는 능력은 계산 효율성을 높이며, 전체 미세 조정이 불가능한 고용량 아키텍처에도 적용 가능하게 합니다.
• 고위험 도메인에서의 신뢰(Trust in High-Stakes Domains): "이것은 저것과 같다"는 식의 추론과 안정적인 활성화를 결 결합함으로써, 의료 영상 분야의 전문가들이 모델이 임상적으로 유의미한 특징에 주의를 기울이고 있는지 확인할 수 있게 하여, 더 투명하고 책임 있는 AI 시스템의 배포를 지원합니다.

저자들은 이산적 코드북에 대한 의존이 연속적 공간에 비해 표현의 유연성을 제한할 수 있음을 인정하며, 향-자동화된 코드북 크기 선택 및 고급 프루닝 기법을 향후 연구 과제로 제시했습니다.