Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection

1. 문제 정의 (Problem)

최근 대규모 시각 - 언어 모델 (LVLM) 은 이미지 캡셔닝, 시각적 질문 답변 (VQA), OCR 등 제로샷 (zero-shot) 태스크에서 뛰어난 성능을 보이지만, 이미지 분류 (Image Classification) 태스크, 특히 퓨샷 (Few-shot) 분류에서는 CLIP 기반 방법들에 비해 성능이 현저히 낮습니다.

• 모순: 많은 LVLM 이 CLIP 으로 사전 훈련된 비전 인코더를 사용함에도 불구하고, CLIP 자체보다 분류 성능이 떨어집니다.
• 원인: CLIP 은 비전과 텍스트 인코더가 독립적으로 작동하여 이미지와 텍스트의 상호작용이 제한적입니다. 반면 LVLM 은 공유된 LLM 디코더를 통해 이미지와 텍스트 토큰을 결합하여 처리하지만, 최종 출력 (summary token) 은 내부의 풍부한 표현을 제대로 활용하지 못해 분류 성능이 낮아지는 '불일치 (mismatch)'가 발생합니다.
• 목표: 추가적인 파인튜닝 (fine-tuning) 없이 LVLM 의 내부 표현을 활용하여 CLIP 기반 방법과 동등하거나 더 나은 퓨샷 및 제로샷 분류 성능을 달성하는 것.

2. 방법론 (Methodology)

저자들은 Head Ensemble Classifiers (HEC) 라는 새로운 프레임워크를 제안합니다. 이는 두 가지 핵심 메커니즘을 결합합니다.

A. 프롬프트 조건부 (Prompt Conditioning)

LVLM 의 비전 토큰과 텍스트 토큰을 결합하는 LLM 디코더의 특성을 활용하여, 추론 시 텍스트 프롬프트로 모델을 조건화 (conditioning) 합니다.

• 작동 원리: "이 개는 어떤 품종인가?" (도메인 조건부) 또는 "이 이미지의 객체는 무엇인가?" (태스크 조건부) 와 같은 프롬프트를 입력하여, 모델의 마지막 토큰 (summary token) 이 클래스 구별력이 높은 다중 모달 표현을 학습하도록 유도합니다.
• 효과: 이는 비전 모델이나 CLIP 에서는 불가능한 도메인 특화 특징 추출을 가능하게 합니다.

B. 헤드 선택 및 앙상블 (Head Selection & Ensemble)

LVLM 의 모든 레이어와 헤드에서 추출한 어텐션 벡터 (attention vectors) 중 분류에 가장 유용한 '희소 집합 (sparse set)'을 선택하여 앙상블합니다.

• 비전 헤드 (Vision-Heads, $H_V$): 퓨샷 분류를 위해 라벨이 있는 서포트 세트 (support set) 를 사용하여 가우스 판별 분석 (Gaussian Discriminant Analysis, GDA) 기반의 점수 함수로 클래스 분리도가 높은 어텐션 헤드를 랭킹합니다.
• 텍스트 헤드 (Text-Heads, $H_T$): 제로샷 분류를 위해 클래스 텍스트 표현과 비전 표현 간의 유사도를 기반으로 헤드를 랭킹합니다. (한 번 학습된 모델에 대해 도메인 간 전이가 가능함)
• 앙상블 전략: 선택된 상위 $k$개 헤드의 클래스 확률을 평균내어 최종 예측을 수행합니다.

C. HEC 의 세 가지 변형

1. HEC-V: 비전 헤드만 사용하여 퓨샷 분류 수행 (클래스 이름 미지정 시).
2. HEC-T: 텍스트 헤드만 사용하여 제로샷 분류 수행.
3. HEC-VT: 비전 헤드와 텍스트 헤드를 결합하여 퓨샷 및 제로샷 성능을 극대화.

3. 주요 기여 (Key Contributions)

1. 프롬프트 조건부의 효과 입증: LVLM 에 프롬프트 조건부를 추가하면, 특히 희소한 헤드 집합 내에서 내부 분포의 클래스 구별력 (class separability) 이 크게 향상됨을 실험적으로 증명했습니다.
2. 테스트 시간 헤드 선택 방법 제안: GDA 를 기반으로 학습 없이 (training-free) 테스트 시점에 가장 우수한 어텐션 헤드를 선택하고 앙상블하는 새로운 메커니즘을 도입했습니다.
3. 성능 격차 해소: 추가 파인튜닝 없이 CLIP 기반 방법과 LVLM 기반 방법 간의 성능 격차를 해소하고, 12 개의 데이터셋에서 퓨샷 및 제로샷 분류에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

4. 실험 결과 (Results)

저자들은 Qwen2-VL(7B) 과 LLaVA-OV(7B) 를 기반으로 12 개의 다양한 데이터셋 (EuroSAT, UCF101, OxfordPets, CUB-200 등) 에서 실험을 수행했습니다.

• 비전 퓨샷 분류 (Vision-Few-Shot): 클래스 이름이 알려지지 않은 상황에서 HEC-V 는 DFN(비전 백본) 및 SAVs(기존 LVLM 퓨샷 방법) 를 포함한 모든 베이스라인을 능가했습니다. 평균 정확도 **82.4%**를 기록하여 SOTA 를 달성했습니다.
• 텍스트 제로샷 분류 (Text-Zero-Shot): HEC-T 는 기존 LVLM 베이스라인 대비 평균 **+10.1%**의 성능 향상을 보였으며, CLIP 백본 (DFN) 과도 경쟁 가능한 수준으로 끌어올렸습니다.
• 비전 - 텍스트 퓨샷 분류 (Vision-Text-Few-Shot): HEC-VT 는 모든 LVLM 베이스라인을 3% 이상 상회하며, 12 개 데이터셋 중 7 개에서 CLIP 기반 방법 (TipAdapter, GDA 등) 보다 높은 정확도를 기록했습니다.
• 분석 결과:
  • 프롬프트 조건부 (도메인/클래스) 가 성능 향상에 결정적인 역할을 함.
  • 모든 헤드가 아닌 상위 소수의 헤드 (약 25% 이내) 만으로도 전체 모델의 summary token 보다 우수한 분류 성능을 보임.
  • 텍스트 헤드는 도메인 간 전이가 잘 이루어짐.

5. 의의 및 결론 (Significance)

• 학습 없는 적응 (Training-Free Adaptation): LVLM 의 강력한 내부 표현을 활용하면서도 추가적인 파인튜닝 비용 없이, 프롬프트 엔지니어링과 헤드 선택만으로 분류 성능을 극대화할 수 있음을 입증했습니다.
• 내부 표현의 재해석: LVLM 이 단순히 텍스트 생성 모델이 아니라, CLIP 기반 분류기보다 더 정교한 다중 모달 표현을 내부에 보유하고 있음을 보여주었습니다.
• 확장성: 제안된 방법은 다양한 LVLM 아키텍처에 적용 가능하며, 퓨샷 분류를 넘어 이미지 - 텍스트 검색 등 다른 태스크에도 적용 가능성이 있음을 시사합니다.

이 논문은 LVLM 이 이미지 분류 태스크에서 여전히 약점으로 간주되던 부분을, 모델의 내부 구조 (어텐션 헤드) 와 프롬프트 조건화를 통해 해결함으로써, LVLM 의 범용성을 크게 확장했다는 점에서 중요한 의의를 가집니다.