Extraction and Analysis of Multimodal Concepts in Vision Language Models through Sparse Autoencoders

기술 요약: 희소 오토인코더(Sparse Autoencoders)를 통한 VLM 내 멀티모달 개념의 추출 및 분석

문제 정의
시각-언어 모델(VLMs)은 시각적 질의응sorted(VQA) 및 이미지 캡셔닝과 같은 공동 이미지-텍스트 작업에서 뛰어난 성능을 달와 성취했습니다. 그러나 이들의 내부 계산 메커니즘을 이해하는 것은 여전히 중요한 과제로 남아 있습니다. 희소 오토인코더(SAE)가 모델 활성화로부터 인간이 이해할 수 있는 개념을 추출하기 위한 기계론적 해석 가능성(Mechanistic Interpretability, MI)의 유망한 도구로 부상했음에도 불구하고, 기존 방식은 VLM에 적용될 때 두 가지 주요 한계점을 가집니다:

1. 모달리티 고립(Modality Isolation): 대부분의 SAE 기반 연구는 텍스트 개념이나 시각적 개념 중 하나에만 집중하며, 멀티모달 개념(이미지와 텍스트 모두에 결합되어 근거를 둔 개념)을 무시합니다. 이는 통합된 정보를 인코딩하는 뉴런을 오분류할 가능성을 초래합니다.
2. 저품질 시각적 묘사: 이전의 시각적 개념 추출 방법은 종종 모호하거나 불완전한 설명을 생성합니다. 또한, 뉴런 활성화를 격리하기 위해 이미지 패치를 마스킹하는 기술은 너무 많은 문맥 정보를 제거하여 추출된 개념의 정확도를 저하시킵니다.

방법론
저자들은 시각적, 텍스트적, 그리고 멀티모달 개념을 추출하고 분석하기 위한 SAE 기반의 통합 프레임워크를 제안합니다. 방법론은 다음과 같이 진행됩니다:

1. SAE 통합 및 활성화 기록:

   • 사전 학습된 SAE를 VLM(구체적으로 LLaVA-NeXT-8B)에 통합합니다.
   • SAE는 희소성을 강제하고 단일 의미 뉴런(monosemantic neurons)을 장려하기 위해 Top-K 활성화 함수를 사용하여 고차원 임베딩을 희소 잠재 공간($\omega$)으로 투영합니다.
   • 각 VQA 샘플(이미지 + 질문-답변 쌍)에 대해, 시스템은 시각적 패치($V$)와 텍스트 토큰($T$)에 대한 별도의 활성화 텐서를 기록합니다.

2. 멀티모달 개념 가설 추출:

   • 대상 SAE 뉴런에 대해, 시스템은 해당 뉴런의 시각 및 텍스트 모달리티 모두에서 평균 활성화를 최대화하는 상위 5개의 샘플을 선택합니다.
   • 시각적 추출: 외부 VLM(LLaVA-72B)이 "설명자(explainer)" 역할을 합니다. 설명자는 (검은색 마스킹 대신 문맥 보존을 위해 비활성화된 패치를 블러 처리한) 상위 활성화 이미지 패치와 그에 대응하는 VQA 질문 및 답변을 함께 받습니다. 이러한 텍스트 증강 시각 입력은 설명자의 이해도를 높입니다.
   • 텍스트 추출: 설명자는 (대괄호로 강조된) 특정 텍스트 토큰과 수정되지 않은 원본 이미지를 함께 받습니다. 이는 시각적 과정과 유사하게 작동하여 텍스트에 멀티모달 근거를 제공합니다.
   • 설명자는 각 모달리티에 대해 후보가 될 만한 인간 이해 가능한 개념 가설을 생성합니다.

3. 평가 및 분류:

   • 가설-데이터 정렬: 가설을 검증하기 위해, 프레임워크는 CLIP(ViT-B/32) 및 ALIGN 모델을 사용하여 생성된 개념 설명과 이를 유발한 데이터 샘플 간의 코사인 유사도를 계산합니다. 가설이 생성 데이터에 대해 높은 순위(top-$n$)를 기록하면 검증된 것으로 간주합니다.
   • 멀티모달 뉴런 할당: 시각적($h_{vis}$) 및 텍스트적($h_{text}$) 가설을 모두 가진 뉴로에 대해, 프레임워크는 텍스트 인코더를 사용하여 두 가설 간의 의미적 유사도를 계산합니다. 유사도가 임계값 $\tau$(0.8로 설정)를 초과하면, 해당 뉴런은 멀티모달로 분류됩니다. 그렇지 않으면 가설-데이터 정렬 점수가 더 높은 모달리티에 할당됩니다.
   • 카테고리 기반 평가: 시각적 가설은 또한 특정 시각적 카테고리(예: 장면, 객체, 부분)로 매핑되어 베이스라인과 비교됩니다.

주요 기여
본 논문은 두 가지 주요 기여를 제시합니다:

1. 통합 멀티모달 개념 추출: 본 프레임워크는 SAE 분석을 통합된 환경으로 확장하여, 시각적, 텍스트적, 멀티모달 개념을 성공적으로 추출하고 구별합니다. 이는 VLM 내의 멀티모달 개념에 대한 체계적인 연구의 공백을 메웁니다.
2. 개선된 시각적 개념 품질: 시각적 가설 생성 시 보완적인 텍스트(Q&A 쌍)를 포함하고 검은색 마스킹을 블러링으로 대체함으로써, 더 정밀하고 의미적으로 근거가 확실한 시각적 개념을 생성하는 새로운 추출 기술을 도입했습니다.

실험 결과
실험은 LLaVA-NeXT 데이터셋(SAE의 처음 5,000개 뉴런 사용)에 대해 수행되었으며, 베이스라인 방법(Zhang 등 [21])과 비교되었습니다.

• 시각적 개념 품질: 제안된 프레임워크는 베이스라인을 크게 앞질렀습니다. 다양한 임계값에서 시각적 개념 정렬에 대해 평균 41% 향상된 CLIP 점수와 45% 향상된 ALIGN 점수를 달성했습니다.
• 멀티모달 식별: 프레임워크는 분석된 249개 뉴런 중 132개의 멀티모달 개념을 성공적으로 식별했습니다($\tau=0.8$ 기준). 반면 베이스라인은 멀티모달 개념을 체계적으로 식별하지 못했습니다.
• 텍스트 품질: 텍스트 개념의 품질은 높게 유지되었으며, 해석 가능성 점수(탐지 및 퍼징)는 다른 텍스트 전용 SAE 분석 연구(예: Llama-3.1-8b 사용)와 대등했습니다.
• 정성적 개입: 개입 실험은 특정 뉴런(시각적, 텍스트적 또는 멀티모달)의 활성화를 강제하는 것이 텍스트 생성을 변화시킨다는 것을 보여주었습니다. 특히, 멀티모달 개념은 프롬프트에 이미지가 있을 때 유니모달 개념보다 출력 생성에 더 뚜렷한 영향을 미치는 것으로 나타났습니다.

의의 및 주장
저자들은 본 연구가 SAE가 텍스트 및 시각적 개념을 공유된 잠재 공간으로 응축하여 인코딩한다는 것을 입증함으로써 VLM의 개념 공간에 대한 새로운 통찰을 제공한다고 주장합니다. 이 프레임워크는 유니모달과 멀티모달 개념을 구분하는 구조적 접근 방식을 제공하며, 이는 VLM이 여러 모달리티에 걸쳐 입력을 어떻게 정렬하고 처리하는지 이해하는 데 필수적입니다.

본 논문은 결론적으로, 제안된 방식이 시각적 개념의 품질을 개선하고 멀티모달 뉴런을 체계적으로 식별함으로써 VLM 추론에 대한 보다 포괄적인 이해를 가능하게 한다고 밝힙니다. 저자들은 자신들의 연구가 개념 변화와 텍스트 출력 사이의 상관관계를 밝혀냈지만, 인과 관계를 확립한 것은 아니라고 언급했습니다. 이들은 본 작업을 생산 시스템이나 더 넓은 범위의 애플리케이션에 즉각 배치하기 위한 것이 아니라, 해석 가능성 연구 범주 내에서의 확장 가능한 SAE 통합 및 개념 가이드 제어를 향한 단계로 규정합니다.