Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models

기술 요약: 개념 임베딩: 비전-언어 모델을 위한 희소 해리

문제 제기
CLIP, BLIP, CoCa와 같은 비전-언어 모델 (VLM) 은 강력한 고차원 공유 임베딩을 학습하지만, 그 내부 의미 구조는 불투명합니다. 기존 해석 가능성 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 국소적 설명: 중요도 맵 (saliency maps) 또는 귀속 (attribution) 방법과 같은 기법들은 관련 입력 영역을 식별하지만, 임베딩 공간의 전역적 조직을 드러내지 못합니다.
• 개정 정렬: TCAV 또는 선형 프로빙 (linear probing) 과 같은 방법들은 임베딩을 사전 정의된 개념과 정렬시키지만, 종종 의미 있는 개념들이 원래 기하학 내에서 이미 선형적으로 분리 가능하다고 가정하여 유연성을 제한합니다.
• 희소 오토인코더 (SAEs): SAE 는 과완전 (overcomplete) 사전 학습을 통해 해석 가능하고 단의미적 (monosemantic) 인 특징을 성공적으로 추출하지만, 표현 차원을 확장합니다. 이 확장은 임베딩 공간의 원래 기하학을 변경하고, 중복을 도입하며, 손실적이고 비가역적인 표현을 생성하여 설명을 근본적인 모델에 정확하게 연결하기 어렵게 만듭니다.

저자들은 VLM 표현에서의 apparent entanglement(겉보기 얽힘) 가 차원 부족이 아니라 기저 불일치 (basis misalignment) 에 기인할 수 있다고 가설을 세웠으며, 이는 의미 구조가 원래 차원 내에서 공간을 재구성함으로써 드러날 수 있음을 시사합니다.

방법론: CEDAR
저자들은 차원을 증가시키지 않고 임베딩 공간의 가역적 재매개화를 학습하는 사후 (post-hoc) 방법인 CEDAR(Adaptive Rotation 을 통한 개념 임베딩 해리) 을 제안합니다.

1. 가역 변환: CEDAR 은 원래 임베딩 $z$를 새로운 공간 $\tilde{z} = U(z - b)$로 변환하는 직교 선형 연산자 $U$(매개변수화됨 $U = \exp(A - A^\top)$) 를 찾습니다. 여기서 $b$는 평균 임베딩입니다. 직교성 제약은 변환이 원래 공간의 기하학과 노름을 보존하며 ($\|Uz\|_2 = \|z\|_2$), 엄격하게 가역적임을 보장합니다.
2. 희소 병목: 변환된 공간에서 top-k 연산자($\Pi_k$) 가 적용되어 절대 크기가 가장 큰 $k$개의 좌표만 유지하고 나머지를 0 으로 설정합니다. 이는 의미 정보가 소수의 차원에 집중되는 희소 표현을 강제합니다.
3. 재구성 목적 함수: 모델은 원래 임베딩과 원래 공간으로 다시 매핑된 희소 버전 간의 재구성 오차를 최소화하도록 훈련됩니다:
   $$\min_U \mathbb{E}_z \left[ \| z - (U^{-1}\Pi_k(U(z - b)) + b) \|_1 \right]$$
   $U$가 가역적이므로, 원래 임베딩은 정확하게 재구성될 수 있으며 텍스트 - 이미지 정렬과 같은 작업에 필수적인 기하학적 구조가 보존됩니다.
4. 훈련 전략: top-k 연산자로 인한 비부드러운 전이를 처리하기 위해 저자들은 커리큘럼 학습 접근법을 사용하여 조밀한 재구성에서 시작하여 점진적으로 목표 희소 영역으로 전환합니다. 훈련 중에는 $k$를 무작위로 샘플링하여 견고성을 높입니다.
5. 해석 가능성 모드:
   • 개념 기반 (CLIP 스타일): 변환된 공간의 개별 축은 텍스트 인코더 (예: CLIP 텍스트 임베딩) 에 대한 코사인 유사도를 사용하여 텍스트 개념과 정렬됩니다.
   • 자유 형식 (생성형): 생성 모델 (예: BLIP) 의 경우, 희소 재구성 임베딩이 텍스트 디코더에 전달되어 자연어 설명을 생성하며, 소수의 활성 좌표에서 파생된 문장 수준의 설명을 가능하게 합니다.

주요 기여

• 차원 보존 해리: SAE 와 달리 CEDAR 은 임베딩 차원을 확장하지 않고 희소하고 해리된 표현을 달성하여 기하학적 왜곡과 중복을 방지합니다.
• 가역성: 이 방법은 원래 임베딩의 정확한 재구성을 보장하여 설명이 원래 모델의 표현 공간과 직접 연결되도록 합니다.
• 통합 프레임워크: CEDAR 은 단일 프레임워크 내에서 개념 기반 정렬 (뉴런을 텍스트에 매칭) 과 자유 형식 생성 (희소 벡터를 텍스트로 디코딩) 을 모두 지원합니다.
• 가설 검증: 이 작업은 VLM 의 의미 구조가 과완전 확장의 필요성에 도전하며 적절한 기저 변경을 통해 발견될 수 있음을 실증적으로 입증합니다.

결과
저자들은 CEDAR 을 표준 벤치마크 (ImageNet-1K) 와 사용자 연구를 통해 희소 오토인코더 변형 (MSAE, TopK, ReLU, BatchTopK) 및 조밀한 베이스라인과 비교 평가했습니다.

• 재구성 - 희소성 트레이드오프: CEDAR 은 재구성 오차 (FVU) 와 희소성 (활성 특징 수 $K$) 간의 경쟁력 있는 트레이드오프를 달성합니다. 저차원 영역에서는 종종 다른 방법들과 비교 가능한 재구성 충실도를 달성하기 위해 더 적은 활성 구성 요소를 필요로 합니다.
• 의미 보존: Centered Kernel Nearest Neighbor Alignment (CKNNA) 및 Linear Probing 교차 엔트로피 (LP) 와 같은 지표는 CEDAR 이 의미 구조와 하류 작업 성능을 가장 강력한 베이스라인 (예: BatchTopK) 및 조밀한 모델과 비교 가능한 수준으로 보존함을 나타냅니다.
• 사용자 연구:
  • 선호도: 참가자들은 MSAE 보다 CEDAR 의 개념 설명을 일관되게 선호하며, 이미지 내용을 더 잘 대표한다고 평가했습니다.
  • 관련성: CEDAR 이 제안한 개념은 MSAE 에서 나온 개념보다 인간 평가자에 의해 관련성이 있다고 선택될 가능성이 훨씬 높았습니다.
  • 설명 품질: 텍스트 디코더를 통해 캡션을 생성할 때, CEDAR 의 희소 표현은 풀 조밀한 모델과 비교 가능한 비율로 "이미지를 설명"하는 설명을 생성했으며, 해리가 없는 희소 모델보다 훨씬 우수한 성능을 보였습니다.
• 정성적 분석: 시각적 예시는 CEDAR 이 "개", "허스키", "나무"와 같은 일관된 고차원 의미 개념을 식별하고 정확한 캡션을 생성하는 반면, 베이스라인은 종종 노이즈가 있거나 저수준 특징을 검색함을 보여줍니다.

의의 및 주장
이 논문은 CEDAR 이 현대 비전-언어 임베딩에서의 겉보기 얽힘이 차원 부족이 아니라 주로 기저 불일치의 결과임을 보여준다고 주장합니다. 전역적이고 가역적인 좌표계를 학습함으로써, 이 방법은 의미 요인이 소수의 축 정렬 차원에 집중되는 구성적 구조를 드러냅니다.

저자들은 CEDAR 을 개념 기반 및 자유 형식 해석 가능성을 통합하는 유연하고 모델 중립적인 프레임워크로 위치시킵니다. 그들은 그들의 접근 방식이 과완전 확장의 필요성을 제거하여 학습된 표현을 이해하고 조작하는 더 충실하고 정보 효율적인 방법을 제공한다고 강조합니다. 이 작업은 적절한 재매개화가 원래 모델의 기하학적 무결성을 보존하면서 얽힘을 해결할 수 있음을 시사합니다.