t-gems: text-guided exit modules for decreasing clip image encoder

기술 요약: T-GEMS – CLIP 이미지 인코더 감소를 위한 텍스트 기반 탈출 모듈

문제 제기
CLIP 과 같은 멀티모달 (MM) 모델은 대비 학습을 사용하여 이미지와 텍스트 입력을 공유 잠재 공간에 정렬합니다. 효과적이기는 하지만, 이러한 모델의 추론은 정적입니다. 복잡성과 관계없이 모든 입력이 전체 트랜스포머 스택을 통과하므로 높은 계산 비용이 발생합니다. Early Exit(EE) 방법은 모델이 확신을 가질 때 중간 계층에서 계산을 중단할 수 있도록 하여 단모달 및 퓨전 기반 멀티모달 모델에서 연구되어 왔습니다. 그러나 EE 는 CLIP 과 같은 대비식 이중 인코더 모델에서는 아직 충분히 탐구되지 않았습니다. 주요 과제는 모달리티 인코더의 분리에 있습니다. 기존 동적 접근법은 종종 공동 처리나 토큰 가지치기에 의존하여, 텍스트 인코더 정보를 시각 인코더의 탈출을 안내하는 데 활용하지 못합니다. 또한, 이러한 모델을 위한 정적 EE 방법을 개발하려면 이미지 데이터에만 의존하지 않고 텍스트 설명에서 파생된 중간 계층의 의미론적 내용 분포를 추정할 수 있는 방법이 필요합니다.

방법론
저자들은 이중 인코더 모델의 이미지 인코더에서 텍스트 인코더의 정보를 사용하여 정적 조기 탈출을 수행하도록 설계된 텍스트 기반 탈출 모듈 (T-GEMs) 을 제안합니다. 핵심 목표는 이미지 $x$와 텍스트 설명 $d$가 주어졌을 때, 특정 클래스 $c$에 대한 중간 뉴런 활성화 ($\ell_{ij}$) 의 사후 확률 분포를 추정하는 것입니다.

1. 분포 추정: 이 방법은 중간 활성화가 가우시안 분포를 따른다고 가정합니다. 목표는 각 클래스와 계층에 대해 평균 ($\mu$) 과 분산 ($\sigma^2$) 을 계산하는 것입니다.
2. 두 가지 추정 접근법:
   • 샘플링 기반: 각 클래스에 대한 $\mu$와 $\sigma^2$를 경험적으로 계산하기 위해 보정 세트 $S$를 사용하는 단순한 접근법입니다. 이는 새로운 매개변수를 학습하지 않아도 되지만, 텍스트와 이미지 활성화 맵 간의 연결을 확립하지 못합니다.
   • 학습 기반 (T-GEMs): 학습 가능한 네트워크 $\Psi_i$(T-GEM) 가 텍스트 임베딩 ($d_t$) 에서 직접 분포 매개변수를 추정하여 추론 중 샘플 이미지가 필요하지 않도록 합니다. 이 모듈은 활성화 신호의 "률 (rate)"(놀라움) 을 최소화하도록 최적화됩니다.
3. 점퍼 모듈 (The Jumper Module): 구별력을 향상시키기 위해, 프로젝션 모듈 $J^i$(점퍼) 는 중간 이미지 활성화를 저차원 공간 $\tilde{\ell}^i$로 매핑합니다. 이는 더 나은 률 추정을 용이하게 하고 교차 모달리티 유사도의 통합을 가능하게 합니다.
4. 분류 지표 (클래스 - 률): 표준 코사인 유사도 대신, 이 방법은 클래스 - 률 (class-rate) 지표 ($R^i_c$) 를 도입합니다. 이 지표는 클래스 가정이 주어졌을 때 활성화의 "놀라움"을 계산합니다. 예측된 클래스는 이 률을 최소화하는 클래스 (식 3) 로, 신호를 가장 효율적으로 압축하는 클래스를 선택합니다.
5. 학습 목적 함수: 모듈들은 결합된 손실 함수 $L = L_r + L_s$를 사용하여 학습됩니다.
   • $L_r$: 가우시안 분포의 음의 로그 가능도를 최소화하는 률 기반 정규화자로, 의미론적 내용 구별 능력을 향상시킵니다.
   • $L_s$: 텍스트 임베딩과 프로젝션된 이미지 표현 간의 교차 모달리티 유사도 손실 (코사인 유사도) 입니다.

주요 기여
이 논문은 네 가지 주요 기여를 주장합니다:

1. 중간 표현 분석: 텍스트 임베딩에 관해 클래스 간 CLIP 의 중간 표현이 어떻게 변하는지 조사하여, 이러한 계층이 조기 탈출에 적합한 구별 정보를 포함하고 있음을 밝혔습니다.
2. 클래스 - 률 정규화자: 활성화 맵에서 유도된 통계량을 도입하여 코사인 유사도와 상관관계가 있지만, 구별력을 향상시키기 위한 학습 가능한 정규화자로 작용합니다.
3. 텍스트 기반 탈출 모듈 (T-GEMs): 텍스트 임베딩만으로 중간 이미지 인코더 활성화를 예측하는 모듈을 설계하여 모달리티 간의 유계 관계를 입증했습니다.
4. 정적 조기 탈출 프레임워크: 이미지 분류와 같은 작업에 중간 활성화 맵을 활용하는 정적 EE 모듈을 학습시켰으며, 이는 대비식 이중 인코더 모델에서 텍스트 및 시각 인코더의 중간 계층을 정적 EE 에 활용하는 최초의 연구입니다.

실험 결과
실험은 CIFAR-10 에서 CLIP ViT-B-32 및 ViT-L-14 아키텍처를 사용하여 수행되었습니다.

• 전체 CLIP 대비 성능: T-GEMs + 점퍼 접근법은 전체 CLIP 모델과 경쟁력 있는 정확도를 달성했습니다. 예를 들어, ViT-B-32 의 경우, 이 방법은 최종 계층 (RB12) 에서 92% 정확도에 도달하여 91.3% 의 제로샷 기준과 비교할 수 있었습니다.
• 정규화의 영향: 률 기반 정규화자 ($L_r$) 를 통합하면 특히 초기 계층 (RB3–RB5) 에서 성능이 크게 향상되어 코사인 유사도만 사용하는 방법 대비 최대 6% 의 향상을 보였습니다.
• 매개변수 효율성: T-GEMs 와 점퍼로 인해 추가된 매개변수는 미미합니다 (수십만 개). 이는 단일 잔여 블록의 약 4% 에 해당합니다. 이는 상당한 모델 압축을 가능하게 합니다. 예를 들어, 5 번째 계층에서 탈출하면 인코더 크기를 약 5200 만 개의 매개변수만큼 줄이면서도 높은 정확도를 유지할 수 있습니다.
• 클래스 - 률 대 코사인: 클래스 - 률 지표는 코사인 유사도의 신뢰할 수 있는 대변인임이 입증되었으며, 특히 률 정규화자와 결합되어 추론 지표로 사용될 때 종종 더 나은 성능을 보였습니다.
• 샘플 민감도: 샘플링 기반 접근법은 효과적이기 위해 합리적인 수의 샘플 (예: $S \ge 100$) 이 필요했던 반면, 학습 기반 접근법은 프로젝션 차원 $K=128$로 안정화되어 대규모 모델이 T-GEMs 에 필수적이지 않음을 시사했습니다.

의의 및 주장
이 논문은 이 작업을 효율적인 멀티모달 추론을 위한 기초적인 단계로 위치시킵니다. 텍스트와 시각 중간 계층 간의 관계를 활용하여 대비식 이중 인코더 모델에서 정적 조기 탈출을 탐구한 최초의 연구라고 주장합니다. 저자들은 그들의 방법이 이미지 - 텍스트 유사도 성능을 훼손하지 않으면서 이미지 인코더의 크기를 줄인다고 강조합니다.

의의는 다음을 입증하는 데 있습니다:

1. 초기 인코더 계층의 중간 활성화는 분류 작업에 충분히 구별력이 있습니다.
2. 률 기반 정규화는 표준 유사도 지표만으로는 추출할 수 없는 더 구별력 있는 표현을 추출할 수 있습니다.
3. 텍스트 임베딩은 이미지 활성화 분포 추정을 효과적으로 안내할 수 있어, 추론 중 동적, 샘플별 의사 결정을 필요로 하지 않는 정적 조기 탈출 전략을 가능하게 합니다.

저자들은 범위에 관해 겸손하게 언급하며, 현재는 각 샘플이 다른 계층에서 탈출하는 동적 탈출 전략을 구현하지는 않았지만, 그들의 정적 프레임워크는 미래의 동적 구현과 경량 멀티모달 인코더 학습을 위한 유망한 기반을 제공한다고 지적합니다.