GraSP-VL: Length as a Semantic Granularity Interface for Vision-Language Representations

기술 요약: GraSP-VL

문제 정의
CLIP 과 같은 고정된 비전 - 언어 모델 (VLM) 은 객체 식별부터 속성, 관계, 전체 캡션 의미에 이르기까지 다양한 세분성 수준의 의미 신호를 포함하는 임베딩을 생성합니다. 그러나 이러한 모델은 이러한 신호를 고정된 길이의 벡터 인터페이스를 통해 노출시킵니다. 이로 인해 "인터페이스 불일치"가 발생합니다. 즉, "개"를 식별하는 것과 "달리는 갈색 개"를 식별하는 것과 같이 서로 다른 의미 해상도를 요구하는 쿼리에 동일한 임베딩 벡터가 사용된다는 것입니다. 임베딩 길이를 단축하기 위한 기존 방법들 (예: 잘라내기, 투영, 압축) 은 결과적으로 생성된 더 짧은 벡터가 특정 의미 세분성에 대응된다는 것을 보장하지 않습니다. 예를 들어, 고정된 CLIP 임베딩의 처음 몇 개의 차원은 본질적으로 객체 수준의 의미를 나타낸다고 보장되지 않으며, PCA 와 같은 표준 차원 축소 기법도 개체, 속성, 관계의 의도된 계층 구조를 이해하지 못합니다.

방법론: GraSP-VL
저자들은 기존 VLM 을 재학습하지 않고 임베딩 길이를 제어 가능한 의미 접근 인터페이스로 변환하도록 설계된 GraSP-VL(비전 - 언어 표현을 위한 세분성 선택적 접두사) 을 제안합니다.

• 공유 준직교 변환 (Shared Near-Orthogonal Transform): GraSP-VL 은 고정된 VLM 의 이미지 및 텍스트 임베딩 모두에 적용되는 단일 공유 변환 $F_\theta$를 학습합니다. 이 변환은 가역적 매개변수 $A_\theta$에서 유도된 반대칭 행렬을 사용하여 케일리 변환 ($R = (I + A_\theta)^{-1}(I - A_\theta)$) 으로 매개변수화된 직교 행렬 $R$로 구현됩니다. 이는 변환이 준등거리 (near-isometric) 가 되도록 하여 전체 차원 공간의 코사인 유사도를 정확히 보존합니다 ($\langle Re_a, Re_b \rangle = \langle e_a, e_b \rangle$).
• 의미 마트료시카 인터페이스 (Semantic Matryoshka Interface): 이 방법은 접두사 길이를 단순히 압축 예산으로 취급하는 대신, 명시적인 인터페이스 계약을 통해 서로 다른 접두사 길이에 특정 의미 역할을 부여하는 "의미 마트료시카" 원칙을 구현합니다.
  • 짧은 접두사 (예: $D/16$) 는 거친 역할 (객체 식별) 에 할당됩니다.
  • 더 긴 접두사 (예: $D/8, D/4, D/2$) 는 점진적으로 더 세밀한 구분 (속성, 관계/동작, 전체 캡션) 을 노출시킵니다.
• 세분성 선택적 목적 함수 (Granularity-Selective Objective): 학습 목적 함수는 이 구조를 강제하기 위해 다섯 가지 결합된 항을 결합합니다.
  1. 다중 세분성 정렬 ($L_{align}$): 각 접두사 길이를 할당된 언어 뷰 (객체, 속성, 관계, 전체 캡션) 에 정렬합니다.
  2. 누적 유지 ($L_{ret}$): 더 긴 접두사가 짧은 접두사의 거친 의미를 유지하도록 하여 정보 대체를 방지합니다.
  3. 선택적 하드 네거티브 순위 ($L_{rank}$): 유형화된 하드 네거티브 (객체, 속성, 관계, 동작, 순서, 전체) 를 사용하여 특정 구분이 할당된 접두사 경계에서 또는 이후에만 해결 가능하도록 강제합니다.
  4. 초기 접두사 불변성 ($L_{inv}$): 할당된 접두사 경계 이전에 양수/음수 쌍의 조기 분리를 억제하여 짧은 접두사가 거친 상태를 유지하고 세밀한 세부 사항에 과적합되지 않도록 합니다.
  5. 전체 공간 보존 ($L_{pres}$ 및 $L_{ortho}$): 전체 차원 기하학이 변경되지 않았음을 모니터링합니다.

주요 기여

1. GraSP-VL 프레임워크: 기존 VLM 을 위한 공유 접두사 변환으로, 기존 신호에 대한 접근을 재구성하여 접두사 길이를 통해 거친 것에서 세밀한 의미로 노출시키면서 원래 전체 공간 기하학을 보존합니다.
2. 의미 마트료시카 원칙: 임베딩 길이가 발견된 자연스러운 경계에 의존하는 것이 아니라 명시적인 계약을 통해 의미 세분성이 할당되는 형식화입니다.
3. 세분성 선택적 목적 함수: 정렬, 유지, 하드 네거티브 구별, 초기 접두사 불변성, 기하학 보존을 결합한 새로운 손실 함수입니다.
4. 진단 프로토콜: "부정 연쇄 (falsification chain)"를 사용하여 학습된 인터페이스의 필요성을 검증하고, 의미 선택성을 단순 잘라내기, PCA, 일반적 적응, 좌표 순열과 분리하여 평가하는 엄격한 평가 프레임워크입니다.

실험 결과
이 방법은 COCO 와 Flickr30K 의 20,147 개 예제 풀에서 평가되었으며, SugarCrepe-clean 과 CIFAR-100 에 대한 추가 전이 테스트가 수행되었습니다.

• 계단식 성능: GraSP-VL 은 53.01의 계단식 점수와 **89.76%**의 하드 네거티브 선택성을 달성했습니다. 이는 직접 잘라내기, PCA, 무작위 회전, MRL 스타일, 마트료시카 스타일, SMEC 스타일 압축 방법 등을 포함한 기준선들을 크게 능가했습니다.
• 기하학 보존: 이 방법은 전체 공간 드리프트를 $10^{-6}$미만으로 유지하여 전체 차원 쿼리에 대한 원래 VLM 의 결정 표면을 효과적으로 보존했습니다.
• 선택성 대 드리프트: 전체 임베딩 공간을 재작성하는 (높은 드리프트) 높은 선택성을 달성한 일반 MLP 어댑터와 달리, GraSP-VL 은 거의 제로 드리프트로 높은 선택성을 달성했습니다.
• 전이성:
  • SugarCrepe-clean(학습에 사용되지 않은 외부 벤치마크) 에서 GraSP-VL 은 **86.03%**의 객체 정확도와 11.96의 평균 외부 등장성을 달성했습니다.
  • CIFAR-100에서 전체 차원 제로샷 정확도를 보존했습니다.
  • 이 접근법은 다양한 차원을 가진 서로 다른 백본 (OpenAI CLIP, OpenCLIP, EVA-CLIP, SigLIP) 에서도 일반화되었습니다.
• 기준선: 이 연구는 원시 좌표, PCA, 학습된 순열이 의도된 의미 사다리를 생성하지 못함을 보여주었습니다. GraSP-VL 이 제공하는 조밀한 준등거리 혼합만이 신호를 성공적으로 조직화했습니다.

의의 및 주장
이 논문은 GraSP-VL 을 보편적 의미 분기점의 발견이 아닌 인터페이스 엔지니어링 솔루션으로 위치시킵니다. 저자들은 다음과 같이 주장합니다.

• 고정된 VLM 임베딩에는 제어 가능한 접두사 인터페이스로 재구성하기에 충분한 다중 세분성 신호가 포함되어 있습니다.
• "의미 마트료시카" 인터페이스는 기본 모델을 재학습하거나 원래 임베딩 공간을 파괴하지 않고도 사용자 요구 사항에 맞는 의미 해상도 (개체, 속성, 관계, 또는 전체 캡션) 에 해당하는 접두사 길이를 선택할 수 있게 합니다.
• 이 접근법은 기존 전체 벡터 인덱스 및 캐시된 임베딩과의 호환성이 중요한 검색 시스템에 특히 유용합니다. 왜냐하면 변환을 갤러리 임베딩에 오프라인으로 적용할 수 있기 때문입니다.
• 저자들은 명시적으로 선택된 차원 분기점 (예: 객체를 위한 $D/16$) 이 VLM 에 내재된 자연스러운 상수가 아닌 사용자 지정 인터페이스 계약이라고 명시합니다. 이 방법의 성공은 VLM 이 이러한 신호를 특정 순서로 자연스럽게 저장함을 증명하는 것이 아니라, 전체 기하학을 보존하면서 이 계약을 실현하는 데 있습니다.