Concept-Centric Token Interpretation for Vector-Quantized Generative Models

1. 문제 정의 (Problem Statement)

배경:
벡터 양자화 생성 모델 (VQGMs, Vector-Quantized Generative Models) 은 이산적 (discrete) 잠재 공간 표현을 사용하여 고품질 이미지를 생성하는 강력한 도구로 자리 잡았습니다 (예: VQGAN, DALL-E 등). 이러한 모델의 핵심 구성 요소는 **코드북 (Codebook)**으로, 학습된 시각적 요소의 사전 역할을 하는 이산 토큰들의 집합입니다.

핵심 문제:

• 해석의 부재: VQGM 이 특정 개념 (예: '강아지', '의사') 을 생성할 때 코드북 내의 어떤 토큰들이 결정적인 역할을 하는지에 대한 이해가 부족합니다.
• 기존 방법의 한계: 단순히 특정 개념으로 생성된 이미지에서 자주 나타나는 토큰을 선택하는 방식은 배경 요소나 문맥적 요소 (예: 하늘, 땅) 를 포함하여 설명이 불필요하게 복잡해지고 핵심 개념을 왜곡할 수 있습니다.
• 편향 (Bias) 탐지의 어려움: 모델이 특정 인구통계학적 속성 (예: 인종, 성별) 에 대해 편향된 토큰 분포를 보이는지 정량적으로 파악하기 어렵습니다.

목표:
사용자가 관심 있는 개념에 대해, 코드북에서 해당 개념을 가장 잘 표현하는 **토큰 조합 (Token Combinations)**을 식별하고, 배경 노이즈를 필터링하여 명확한 해석을 제공하는 프레임워크 개발.

2. 방법론 (Methodology)

저자들은 정보 병목 (Information Bottleneck, IB) 원리를 기반으로 **CORTEX (Concept-Oriented Token Explanation)**라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 크게 두 가지 핵심 구성 요소로 이루어집니다.

2.1. 정보 추출기 (Information Extractor Module, IEM)

• 역방향 매핑: 일반적인 생성 모델이 텍스트/개념에서 이미지로 매핑하는 것과 반대로, IEM 은 이미지 (토큰 기반 임베딩) 에서 개념 (레이블) 으로 매핑하는 분류기 역할을 합니다.
• 학습 방식: VQGM 으로 생성된 이미지와 해당 토큰 임베딩을 사용하여 IEM 을 학습시킵니다. IEM 은 특정 개념을 예측하기 위해 가장 중요한 토큰 패턴을 식별하도록 훈련됩니다.
• 원리: 정보 병목 원리에 따라 IEM 은 관련 없는 정보를 압축하고 개념에 필수적인 정보만 추출하도록 강제됩니다.

2.2. 두 가지 설명 방법

CORTEX 는 IEM 을 활용하여 두 가지 수준의 설명을 제공합니다.

1. 샘플 레벨 설명 (Sample-level Explanation):

   • 목적: 개별 생성 이미지 내에서 특정 개념과 관련된 토큰의 중요도를 분석.
   • 기법: **토큰 중요도 점수 (Token Importance Score, TIS)**를 계산합니다. 각 토큰에 대한 그래디언트 기반의 saliency score 를 구하고, 이를 통해 해당 이미지의 특정 개념 (예: '눈', '깃털') 을 가장 잘 나타내는 토큰들을 상위 N 개로 선별합니다.
   • 결과: 이미지별 핵심 토큰 집합 ($T^*_{image}$) 과 이를 집계한 개념별 핵심 토큰 집합 ($T^*_{concept}$) 을 도출합니다.

2. 코드북 레벨 설명 (Codebook-level Explanation):

   • 목적: 생성된 데이터에 국한되지 않고, 전체 코드북 공간에서 특정 개념을 가장 잘 특징짓는 토큰 조합을 최적화하여 탐색.
   • 기법: Gumbel-Softmax를 사용하여 이산적인 토큰 선택을 미분 가능하게 만듭니다. 토큰 선택 행렬 $P$를 학습하여, 특정 개념 $y_i$에 대한 IEM 의 예측 확률을 최대화하는 토큰 조합을 찾습니다.
   • 결과: 개념 $y_i$를 표현하는 최적의 토큰 집합 ($T^*_{codebook}$) 을 도출하며, 이는 모델이 개념을 어떻게 인코딩하는지에 대한 전역적 이해를 제공합니다.

3. 주요 기여 (Key Contributions)

1. 샘플 레벨 설명 방법론 개발: 생성된 이미지 내에서 개념 관련 토큰 조합을 식별하여, VQGM 이 시각적 개념을 어떻게 표현하는지에 대한 초기 통찰력을 제공합니다.
2. 코드북 레벨 설명 방법론 도입: 전체 코드북 공간을 탐색하여 특정 개념을 특징짓는 근본적인 토큰 조합을 발견합니다. 이는 기존 샘플 기반 분석을 넘어 모델의 전역적 구조를 이해하게 합니다.
3. 실용적 응용 및 검증: 제안된 프레임워크가 VQGM 의 해석 가능성 (Interpretability) 을 향상시킬 뿐만 아니라, 정밀한 이미지 편집과 편향 탐지와 같은 실제 응용 분야에서 유효함을 실험을 통해 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 ImageNet 클래스를 대상으로 다양한 사전 학습된 분류 모델 (ResNet, ViT) 을 사용하여 CORTEX 의 효과를 검증했습니다.

• 토큰 선별의 정확성 (Counterfactual Evaluation):
  • CORTEX 가 선별한 토큰들을 마스킹 (가림) 했을 때, 분류 모델의 정확도가 무작위 선택 토큰을 마스킹했을 때보다 훨씬 크게 감소했습니다.
  • 이는 CORTEX 가 실제로 개념 표현에 필수적인 토큰을 정확하게 찾아냈음을 의미합니다. (예: ResNet50 에서 정확도 46.6% 감소 vs Baseline 41.9% 감소).
• 시각화 결과:
  • '새', '초' 등 특정 클래스의 이미지에서 CORTEX 는 눈, 왕관, 불꽃 등 해당 클래스의 고유한 시각적 특징을 나타내는 토큰들을 일관되게 식별했습니다.
• 편향 탐지 (Bias Detection):
  • "병원에서 의사"라는 중립적 프롬프트로 이미지를 생성했을 때, '백인 의사' 관련 토큰이 '흑인 의사' 관련 토큰보다 약 4 배 더 자주 (8.55 vs 2.32 개/이미지) 나타남을 발견했습니다.
  • 이는 모델이 중립적 프롬프트에서도 인종적 편향을 내재하고 있음을 정량적으로 증명했습니다.
• 이미지 편집 (Image Editing):
  • 코드북 레벨 최적화를 통해 이미지의 특정 영역 (예: 새의 머리) 에만 토큰을 최적화하여, 다른 영역은 유지하면서 새의 종을 다른 종으로 점진적으로 변환하는 데 성공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 투명성 확보: VQGM 의 내부 작동 원리, 특히 이산 토큰이 어떻게 고수준 개념으로 매핑되는지를 명확히 설명하여 '블랙박스' 문제를 해소합니다.
• 편향 감지 및 완화: 생성 모델의 사회적 편향 (인종, 성별 등) 을 토큰 분포 수준에서 정량적으로 탐지할 수 있는 도구를 제공하여, 공정한 AI 개발에 기여합니다.
• 정밀 제어 가능성: 특정 개념에 해당하는 토큰을 식별하고 조작함으로써, 생성된 이미지의 특정 부분만 정밀하게 편집하는 (Targeted Image Editing) 새로운 가능성을 열었습니다.
• 미래 전망: 이 연구는 VQGM 뿐만 아니라 향후 비디오 생성 모델 및 멀티모달 모델의 해석 가능성 연구로 확장될 수 있는 기초를 마련했습니다.

요약하자면, CORTEX는 정보 병목 원리를 활용하여 VQGM 의 코드북 토큰을 개념 중심으로 해석함으로써, 모델의 편향을 발견하고 생성 과정을 정밀하게 제어할 수 있는 강력한 프레임워크를 제시합니다.