Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models

기술 요약: 시각-언어 모델의 패치 수준 설명을 위한 로짓 렌즈 감독 (Logit Lens Supervision)

문제 정의
LLaVA 및 Qwen-VL과 같은 현대적인 자기회귀 시각-언어 모델(VLM)은 시각 인코더와 거대 언어 모델(LLM)을 결в하여 유창한 텍스트를 생성합니다. 그러나 시각적 토큰이 LLM의 어텐션 레이어를 통과하면서, 이들은 상당한 변형과 언어 토큰과의 혼합 과정을 거칩니다. 저자들은 이러한 "통제되지 않은 모달리티 혼합(uncontrolled modality mixing)"이 시각적 임베딩이 원래 기원했던 특정 이미지 영역(패치)과의 직접적인 대응 관계를 상실하게 만든다고 주장합니다. 결과적으로, 시각적 토큰과 그 소스 패치의 의미론적 콘텐츠 사이의 연결이 희석됩니다. 이는 두 가지 주요 문제를 야기합니다:

1. 약한 패치 수준 설명 가능성: 표준 로짓 렌즈(Logit Lens) 시각화(임베딩을 어휘 확률로 투영하는 방식)는 특히 Qwen2.5-VL과 같은 최신 VLM에서 날카롭고 국소화된 신뢰도 맵을 생성하는 데 종종 실패합니다.
2. 환각 및 그라운딩 저하: 시각적 토큰이 효과적으로 무시되거나 정보가 언어 토큰으로 완전히 전이될 수 있으며, 이로 인해 해당 시각적 증거가 제거되거나 부재한 상황에서도 모델이 객체 설명을 환각하는 현상이 발생할 수 있습니다.

방법론: 로짓 렌즈 손실 (Logit Lens Loss, LLL)
시각적 토큰을 소스 이미지 영역으로부터 분리시키는 문제를 해결하기 위해, 저자들은 파인튜닝 중에 적용되는 경량 보조 목적 함수인 **로짓 렌즈 손실(LLL)**을 제안합니다.

• 핵심 개념: 이 방법은 LLM의 언임베딩 행렬($U_\theta$)을 통해 중간 레이어 임베딩($h_l$)을 투영하여 어휘 분포를 생성하는 로짓 렌즈 기술을 활용합니다.
• 메커니즘: 텍스트 토큰 생성만을 감독하는 표준 차기 토큰 예측(Next-Token Prediction, NTP) 손실과 달리, LLL은 시각적 토큰을 직접 감독합니다.
  • 타겟 객체의 정답 바운딩 박스 내에 있는 이미지 패치에 해당하는 시각적 토큰($s$, 집합 $\mathcal{P}'$)에 대해, 이 손실은 해당 객체를 설명하는 어휘 토큰(예: <cat>)의 확률을 최대화합니다.
  • 객체 영역 외부에 있는 시각적 토큰(집합 $\mathcal{P} \setminus \mathcal{P}'$)에 대해서는 해당 특정 어휘 토큰의 확률을 최소화합니다.
• 정식화: 전체 손실은 $L_{total} = L_{NTP} + \lambda L_{LLL}$로 정의되며, 여기서 $\lambda$는 경험적으로 0.5로 설정됩니다. LLL 항은 최종 LLM 레이어의 시각적 토큰 임베딩으로부터 도출된 어휘 분포에 적용되는 크로스 엔트로피 손실입니다.
• 주요 차이점: 이 접근 방식은 아키텍처 수정이 전혀 필요하지 않습니다 (마스크 디코더, 로컬라이제이션 헤드, 또는 바운딩 박스 예측 모듈 없음). 이는 오직 기존의 시각적 토큰 임베딩과 어휘 투영 헤드에만 의존합니다. 감독 신호는 바운딩 박스 주석을 사용하여 어떤 패치가 타겟 개념에 대응하는지를 식별하는 데서 파생되지만, 모델이 좌표를 출력하도록 훈련받는 것이 아니라, 패치의 내부 표현을 해당 의미론적 개념과 정렬하도록 훈련받습니다.

주요 기여

1. 새로운 시각적 그라운딩 손실: 시각적 토큰 임베딩이 LLM 레이어를 통과할 때 그들의 이미지 영역을 설명하는 언어 개념과 의미론적으로 정렬된 상태를 유지하도록 명시적으로 제약하는 LLL을 도입했습니다.
2. 내재적 로컬라이제이션: 외부 출력으로서 바운딩 박스나 마스크를 예측하는 이전 연구들과 달리, LLL은 로컬라이제이션 인지 능력을 시각적 토큰의 딥 임베딩 내에 직접 심어줍니다. 이는 모델 아키텍처를 수정하지 않고도 시각적 패치와 텍스트 개념 사이에 내재적인 연결을 생성합니다.
3. 설명 가능성 향상: 이 방법은 로짓 렌즈 객체 신뢰도 맵의 품질을 크게 개선합니다. LLL로 파인튜닝된 모델은 특정 텍스트 개념과 모델이 연관 짓는 이미지 패치를 정확하게 반영하는 더 날카롭고 국소화된 맵을 생성합니다.
4. 직접적인 그래디언트 신호: 저자들은 LLL이 시각적 토큰에 직접적인 그래디언트 신호를 제공하는 반면, 표준 NTP로부터의 신호는 어텐션 레이어를 통해 전파되어야 하므로 시각적 토큰에 대한 신호가 약해지는 경우가 많다는 것을 입증했습니다.

실험 결과
저자들은 LLaVA-v1.5-7B 및 Qwen2.5-VL-7B에 대해 여러 지표를 사용하여 LLL을 평가했습니다:

• 참조 표현 분할 (Referring Expression Segmentation, RES): 로짓 렌즈 맵을 사용하여 세그멘테이션 마스크를 생성(임계값 설정 또는 동결된 SAM 프롬프팅을 통해)했을 때, LLL로 파인튜닝된 모델은 베이스 및 NTP 전용 모델에 비해 cIoU 점수에서 상당한 개선을 보였습니다. SAM 후처리를 사용하면, Qwen2.5-VL+LLL은 SOTA 전문 그라운딩 모델과 대등한 성능을 달연했습니다.
• 객체 환각 (Object Hallucination, POPE): POPE 벤치마크에서 LLL은 객체 환각을 줄여 "Yes/No" 정확도를 높였습니다. 특히, RefCOCO(로컬라이제이션 데이터)에서만 파인튜닝되고 POPE에서 평가된 모델은 LLL을 통해 성능이 향상된 반면, NTP 전용 파인튜닝은 베이스 모델 대비 성능이 저하되었습니다.
• 제로샷 포인팅 (Zero-Shot Pointing): RefCOCO에서 LLL로 파인튜닝된 모델은 미학습 객체 카테고리인 PixMo-Points 데이터셋으로 강력한 전이를 보여주었으며, 명시적인 좌표 감독을 통해 훈련된 여러 독점 베이스라인 및 태스크 특화 모델보다 낮은 중앙값 로컬라이제이션 오차를 달성했습니다.
• 시각적 질의응답 (VQA): LLL은 VQAv2 및 GQA 벤치마크에서 성능을 유지하거나 약간 향상시켰으며, 이는 시각적 그라운딩을 강화하는 것이 모델의 언어 생성 능력을 저해하지 않음을 나타냅니다.
• 시각화: 정성적 결과(그림 2)는 LLL이 희소하고 혼란스러운 로짓 렌즈 신호를 날카롭고 객체에 정렬된 신뢰도 맵으로 변환함을 보여주었습니다.

의의 및 주장
본 논문은 LLL이 복잡한 새로운 아키텍처 구성 요소 없이도 자기회귀 VLM 내에서 시각적 정보의 "국소성(locality)"을 보존할 수 있는 단순하고 효과적인 메커니즘을 제공한다고 주장합니다. 시각적 임베딩을 어휘 공간에 직접 그라운딩함으로써, 이 방법은 파운데이션 모델을 더 해석 가능하게(충실한 로짓 렌즈 맵을 통해) 만들고 환각에 더 강하게 만듭니다. 저자들은 LLL이 새로운 개념을 가르치는 것이 아니라, 언어 모델링 과정 중에 발생하는 기존의 국소적 이미지 이해의 퇴화를 방지하는 데 목적이 있음을 강조합니다. 결과는 더 나은 내부 그라운딩이 시각적 토큰을 그들의 의미론적 설명과 정렬시키는 보조적인 감독을 통해 달성 가능하다는 것을 시사하며, 이를 통해 모델이 더 효과적이고 설명 가능해질 수 있음을 보여줍니다.