기술적 요약: 희소 오토인코더를 통한 언어에서 비전으로의 해석 가능성 이전

1. 문제 제기

대형 멀티모달 모델 (LMM) 의 해석 가능성은 여전히 중요한 과제로 남아 있습니다. 희소 오토인코더 (SAE) 는 대형 언어 모델 (LLM) 내에서 다의적 언어 특징을 단일 의미의 해석 가능한 개념으로 성공적으로 분해해 왔으나, 이러한 성과를 비전 영역에 적용하는 것은 두 가지 주요 한계로 인해 방해받고 있습니다:

1. 레이블링 모호성: 비전 인코더에 도메인 특화 SAE 를 훈련하면 단일 의미의 비전 특징이 생성되지만, 이러한 특징에 레이블을 지정하는 것은 어렵습니다. 특정 특징이 특정 객체, 품종, 또는 행동을 나타내는지 구분하는 것은 모호합니다. furthermore, 비전 전용 SAE 는 비전 특징이 LLM 의 잔여 스트림 (residual stream) 에 진입한 후 어떻게 해석되는지 드러내지 않습니다.
2. 계산 비용: 기존 LLM 기반 SAE 를 비전 정보를 포함하도록 미세 조정하는 것은 과도하게 비용이 듭니다. 예를 들어, Gemma Scope 와 같은 모델을 적응시키는 것은 시프트된 잠재 공간을 고려하기 위해 막대한 계산 자원과 광범위한 재레이블링 노력 (예: 수 십만 건의 LLM 요청) 을 요구합니다.

이 논문이 다루는 핵심 질문은 다음과 같습니다: 새로운 비전 특화 SAE 를 훈련하지 않고도 언어 희소 오토인코더를 재사용하여 비전 개념을 해석할 수 있는가?

2. 방법론: VISTA 프레임워크

저자들은 LLaVA 스타일의 비전 - 언어 모델 내에서 언어에서 비전으로의 해석 가능성을 이전하기 위해 VISTA(SAE 이전 정렬을 통한 비전 해석 가능성) 라는 프레임워크를 제안합니다. 핵심 혁신은 비전 프로젝터를 제약하여 비전 토큰을 LLM 의 기존에 레이블이 지정된 텍스트 SAE 공간에 직접 매핑하도록 하는 것입니다.

아키텍처 및 훈련 목적

• 설정: 이 프레임워크는 고정된 비전 인코더 (예: DINOv2, CLIP) 와 고정된 LLM 을 활용합니다. 학습 가능한 선형 프로젝터 ($P_\theta$) 가 비전 토큰 ($v$) 을 LLM 의 임베딩 공간 ($e_v$) 으로 매핑합니다.
• 손실 함수: 대상 텍스트에 대한 교차 엔트로피 ($L_{CE}$) 만을 최소화하는 표준 훈련과 달리, VISTA 는 보조 SAE 재구성 손실($L_{SAE}$) 을 도입합니다.
  • 텍스트 데이터만을 사용하여 LLM 의 잔여 스트림에서 훈련된 사전 훈련된 SAE 가 제약 조건으로 사용됩니다.
  • 손실 함수는 프로젝션된 비전 토큰과 텍스트 SAE 에 의한 그 재구성 간의 평균 제곱 오차를 최소화합니다: $L_{SAE} = \frac{1}{|M|} \sum_{l \in M} ||SAE_l(e^l_v) - e^l_v||^2_2$.
  • 전체 목적 함수는 $L_{total} = L_{CE} + L_{SAE}$입니다.
• 메커니즘: 이는 비전 토큰이 텍스트 SAE 가 정의하는 매니폴드 위에 있도록 강제합니다. 결과적으로 비전 입력은 비전 특화 SAE 훈련의 필요성을 우회하고, 추가적인 계산 비용이 거의 들지 않는 사전 레이블링된 언어적 SAE 개념을 통해 해석될 수 있습니다.

세밀한 조향 (Steering)

정렬이 이루어지면, 비전 조작은 언어적 매니폴드 내의 산술 연산이 됩니다. 이 프레임워크는 텍스트 SAE 의 디코더 방향 (개념) 을 특정 비전 토큰 위치 ($v_{source}$) 에 더하거나 빼는 국소적 조향을 가능하게 합니다:

• 제거: $v_{steered} = v_{source} - \beta \cdot v_{remove}$
• 대체: $v_{steered} = v_{source} + \alpha \cdot v_{add}$
  이를 통해 모델의 인식에서 특정 객체를 제거하거나 대체하면서도 주변 장면 컨텍스트를 유지할 수 있습니다.

3. 주요 기여

1. 해석 가능성 이전: 비전 특화 SAE 를 훈련하거나 레이블링하는 계산적 부담 없이 교차 모달 해석 가능성 이전을 용이하게 하는, 비전 토큰을 LLM SAE 특징과 정렬시키는 훈련 목적의 도입.
2. 인코더 분석: VISTA 를 통해 가능해진 비전 인코더의 엄격한 비교 분석으로, DINOv2가 우월하고 아키텍처적으로 안정적인 공간 국소화를 달성함을 규명. CLIP 과 같은 대비 모델이 글로벌 요약에 우선순위를 두고 공간적 혼란을 겪는 반면, DINOv2 의 자기지도식 로컬 - 투 - 글로벌 목적 함수는 패치 수준의 정확도에 필요한 세밀한 로컬 정보를 보존함.
3. 인과적 검증: 텍스트 SAE 방향을 사용하여 비전 토큰에 대한 산술 개입이 모델 출력에서 일관되고 국소적인 변화를 생성함을 입증. 이는 비전 토큰이 텍스트 SAE 매니폴드에 존재한다는 인과적 증거를 제공함.

4. 결과 및 발견

정렬 및 일치율

• 일치율: VISTA 제약은 제약이 없는 베이스라인에 비해 일치율 (활성화된 텍스트 개념이 이미지 내 의미 요소에 대응하는 정확도) 을 3 배 증가시킵니다.
• 지연된 정렬: 이 논문은 "지연된 정렬"(비전 토큰이 깊은 레이어에서만 자연스럽게 텍스트 특징과 정렬되는 현상) 의 개념에 도전합니다. 제약이 없는 Gemma 모델에서 이러한 현상이 관찰되었지만, 이는 보편적으로 발생하지 않습니다 (예: LLaMA-3.1-8B). VISTA 제약은 모든 아키텍처와 레이어에 걸쳐 즉각적인 정렬을 강제합니다.
• 재구성 및 희소성: SAE 제약 하에서 비전 토큰은 재구성 오차와 희소성에서 즉각적인 수렴을 달성하며, 첫 번째 레이어의 텍스트 토큰 분포와 일치합니다. 반면, 제약이 없는 토큰은 네트워크 전체에 걸쳐 종종 밀집하고 고오차를 유지합니다.

공간 국소화

• DINOv2 대 CLIP: DINOv2 는 (Gemma-2-2B 사용 시) 공간 국소화 정확도 (SLA) 가 0.927로, CLIP(0.201) 및 I-JEPA(0.702) 를 크게 능가합니다.
• CLIP 의 한계: CLIP 활성화는 공간적 혼란을 보이며, 종종 관련 객체와 멀리 떨어진 개념을 활성화하여 세밀한 조향을 불안정하게 만듭니다.
• 견고성: DINOv2 는 다양한 LLM 백본 (Gemma-2-2B, Gemma-2-9B, LLaMA-3.1-8B) 에서 높은 국소화 정확도를 유지하는 반면, CLIP 의 성능은 크게 변동하며 여전히 낮습니다.

조향 성능

• 정량적 향상: DINOv2 의 정밀도를 활용하여 VISTA 는 최상의 비전 전용 베이스라인 (VisionSAE 및 PatchSAE) 대비 객체 제거 작업에서 35%, 객체 대체 작업에서 **47%**의 개선을 달성합니다.
• 정성적 결과: DINOv2 를 사용한 조향은 전역 장면 컨텍스트를 보존하면서 정밀한 수정 (예: "달리는 개"를 "달리는 고양이"로 변경하거나 소파에서 고양이를 제거) 을 가능하게 합니다. 반면, CLIP 기반 조향은 종종 환각이나 전역 컨텍스트 변경을 초래합니다.
• 인과적 증거: 통제된 비교는 VISTA 가 언어 생성 경로를 장악하는 것이 아니라 모델의 특정 비전 패치에 대한 인식을 수정함을 확인시켜 줍니다. 텍스트 전용 조향이나 프롬프트 조향은 장면의 일관성을 유지하지 못합니다.

성능 영향

• 소규모 모델: 작은 모델 (예: Gemma-2-2B) 에서 SAE 제약은 제한된 표현 능력으로 인해 일부 벤치마크에서 경미한 정확도 후퇴를 유발합니다.
• 대규모 모델: 더 큰 아키텍처 (예: LLaMA-3.1-8B) 에서 SAE 제약은 유익한 정규화제로 작용하여 대부분의 벤치마크에서 성능을 향상시킵니다.
• OOD 견고성: VISTA 의 정렬은 분포 외 (OOD) 데이터 (DomainNet) 에도 일반화되어 일관된 재구성, 희소성, 일치율을 유지하며, 이는 정렬이 훈련 세트의 산물이 아닌 구조적 속성임을 시사합니다.

5. 중요성 및 주장

이 논문은 해석 가능성이 모달 간에 이전 가능한 속성이라고 주장합니다. 비전 인코더를 LLM 에 정렬하는 과정에서 SAE 제약을 부과함으로써, VISTA 는 비전 토큰을 기존에 레이블이 지정된 언어적 특징 공간으로 매핑합니다. 이는 비전 특화 SAE 훈련과 관련된 계산 및 레이블링 비용을 제거합니다.

저자들은 국소적 해석 가능성과 조향의 성공이 비전 백본의 공간 충실도와 본질적으로 결합되어 있음을 강조합니다. 그들은 DINOv2 의 로컬 목적 함수가 이러한 이전에 필요한 정밀도를 제공하며, CLIP 과 같은 대비 모델보다 크게 우월함을 입증합니다. 이 "해석 가능성 이전" 패러다임은 복잡한 멀티모달 시스템을 이해하고 제어하기 위한 확장 가능한 경로를 제공하며, 기본 모델을 재훈련하는 prohibitive 한 비용 없이 세밀한 인과적 개입과 특징 회로 분석을 가능하게 합니다.

이 작업은 여러 LLM 아키텍처 (Gemma, LLaMA) 와 비전 인코더 (CLIP, DINOv2, I-JEPA) 에서 검증되었으며, 멀티모달 시스템의 기계적 해석 가능성에 대한 추가 연구를 지원하기 위해 코드가 공개되었습니다.