기술 요약: 듣는 것이 시야를 밝힌다 (Listening makes Vision Clear for VLMs)

문제 정의

시각-언어 모델(VLM)은 예측이 언어적 사전 지식(language priors)에 의존하지 않고 올바른 시각적 영역에 근거하도록 하기 위해, 텍els와 시각 사이의 신뢰할 수 있는 의미론적 정렬(semantic alignment)을 필요로 합니다. 기존의 접근 방식들은 대개 답변 측 토큰(decoding 과정에서 생성되는 토큰)의 어텐션 분포를 분석하여 이러한 정렬을 평가합니다.

그러나 저자들은 답변 측 토큰에 의존하는 것이 종종 정렬 불일치를 초래한다는 점을 관찰했습니다. 구체적으로 다음과 같습니다:

1. 디코딩 드리프트(Decoding Drift): 모델이 답변을 자기회귀적(autoregressively)으로 생성함에 따라, 이전에 생성된 토큰들로부터 오는 언어적 사전 지식이 컨텍스트에 축적됩니다. 이로 인해 어텐션 메커니즘이 표류하게 되며, 가장 높은 어텐션을 받는 영역이 의도한 의미론적 토큰(예: "오리 목"을 질의했을 때 오리의 날개가 아닌 목을 보는 경우)과 더 이상 일치하지 않게 됩니다.
2. 구조적 편향(Structural Bias): 모달리티 경계 마커(예: <vision start>, <vision end>)와 같은 구조적 토큰은 전체 컨텍스트를 포괄하며, 타겟 의미 범위와 무관한 영역에 높은 어텐션을 생성하여 체계적인 노이즈를 유발합니다.

이러한 문제들은 어텐션 맵이 특정 토큰을 뒷받침하는 실제 시각적 증거를 정확하게 반영하지 못하게 만들어, 해석 가능성(interpretability) 및 그라운딩(grounding) 평가의 신뢰성을 저해합니다.

방법론: PV-TAM

이러한 왜곡을 해결하기 위해, 저자들은 동적인 답변 측 생성에서 벗어나 고정된 **프롬프트 측 의미론(prompt-side semantics)**으로 관점을 전환하는 프레임워크인 **PV-TAM(Prompt-Vision Token Activation Map)**을 제안합니다.

핵심 구성 요소

1. 프롬프트 측 추출(Prompt-Side Extraction):
   PV-TAM은 생성된 답변 토큰을 분석하는 대신, 프롬프트 토큰(입력 쿼리)으로부터 직접 토큰-시각 활성화 맵을 추출합니다. 프롬프트 토큰은 고정된 입력이며 자기회귀적 컨텍스트 축적의 영향을 받지 않으므로, 토큰-시각 그라운딩을 위한 더 안정적인 기반을 제공합니다.

2. 구조적 토큰 디노이징(Structural Token Denoising):
   본 프레임워크는 특수 구조적 토큰(구분자)이 공간적 편향을 유발한다는 점을 식별했습니다. 이를 완화하기 위해 PV-TAM은 **디노이징 필터(Denoising Filter)**를 사용합니다:

   • 타겟 토큰의 활성화 맵($A^t$)과 인접한 두 개의 구조적 토큰의 활성화 맵($A^{s_1}, A^{s_2}$)을 추출합니다.
   • 인접한 구조적 토큰들의 맵의 평균을 통해 구조적 편향을 추정합니다.
   • 타겟 맵에서 이 편향을 뺍니다: $D_t = A^t - \frac{1}{2}(A^{s_1} + A^{s_2})$.
   • 양의 증거만을 유지하기 위해 ReLU 절단(truncation)을 적용합니다.
   • 이론적 근거: 가산적 분해(additive decomposition)와 편향되지 않은 경계 편차(unbiased boundary deviations) 가정 하에, 이 과정은 타겟의 의미론적 신호와 평균이 0인 잔여 노이즈를 나타내는 무편향 맵을 생성합니다.

3. 포그라운드 가이드 정제(Foreground-Guided Refinement, 선택 사항):
   두드러지지만 무관한 배경 영역으로부터의 간섭을 더욱 줄이기 위해, rembg와 같은 기성 배경 제거 모델로 생성된 포그라운드 확률 마스크를 원소별 곱셈(element-wise multiplication)을 통해 선택적으로 적용합니다.

평가 지표

단순히 이진화된 마스크 중첩에 의존하는 전통적인 IoU 스타일의 지표와 달리, PV-TAM은 어텐션의 피크 분포와 활성화 강도를 활용하는 지표를 도입합니다:

• Target–Global Ratio (TGR): 전체 활성화 에너지 중 타겟 영역 내에 떨어지는 비율을 측정합니다.
• Target–Dominant Ratio (TDR): 타겟 영역 내의 활성화 에너지를 지배적인 포그라운드 영역과 비교하여 측정합니다(타겟 집중도를 배경 노이즈로부터 분리).
• Min Distance (Min-Dist): 돌출된 어텐션 피크와 실제 타겟 영역 중심 사이의 기하학적 거리를 계산합니다.

주요 기여

1. PV-TAM (Prompt-Vision Token Activation Map): 답변 측 생성에 내재된 디코딩 드리프트와 컨텍스트 얽힘을 효과적으로 피하기 위해 프롬프트 측 토큰을 사용하여 활성화 맵을 추출하는 새로운 프레임워크입니다.
2. 구조적 토큰 디노이징: 모달리티 경계 마커에 의해 도입되는 체계적인 공간적 편향을 식별하고 제거하여, 순수한 의미론적 정렬을 더 잘 반영하는 "디노이징된" 활성화 맵을 만드는 방법입니다.
3. 정렬 지향적 평가: TGR 및 TDR 지표를 설계하여, 단순한 이진 마스크 중첩을 넘어 어텐션 분포와 강도를 분석함으로써 로컬라이제이션(localization) 정밀도를 정량화하고, 정렬 실패 모드에 대해 더 민감한 측정치를 제공합니다.

실험 결과

저자들은 Qwen2-VL, Qwen2.5-VL, InternVL을 포함한 다양한 VLM 백본을 사용하여 PartImageNet(세밀한 부품 세그멘테이션) 및 RefCOCO(참조 표현 이해)에서 PV-TAM을 평가했습니다.

• 성능: PV-TAM은 TGR, TDR, Min-Dist 지표 전반에서 기존의 최첨단(SOTA) 베이스라인(TAM, Grad-CAM, CP-LRP, Attention Rollout 포함)보다 일관되게 우수한 성능을 보였습니다.
• 프롬프트 vs. 답변: 동일한 모델을 프롬프트 측 추출과 답변 측 추출 방식으로 각각 테스트한 통제 연구에서, 프롬프트 측 접근 방식이 일관되게 더 우수한 정렬을 보여주었으며, 이는 답변 측 토큰이 드리프트에 취약함을 확인시켜 줍니다.
• 일반화: 이 방법은 다양한 모델 규모(1B에서 7B 파라미터까지)와 아키텍처 전반에서 견고한 성능을 입증했습니다.
• 절제 연구(Ablation): 프롬프트 측 전략이나 디노이징 필터 중 하나라도 제거하면 성능이 크게 저하되어, 두 구성 요소의 필요성을 검증했습니다.

의의 및 주장

본 논문은 프롬프트에 귀를 기울이는 것(고정된 입력 토큰을 분석하는 것)이 자기회귀적 생성 중에 발생하는 노이즈를 우회함으로써 VLM의 시야를 더 명확하게 만든다고 주장합니다.

• 진단적 유용성: PV-TAM은 생성된 출력에 의존하지 않고 VLM의 의미론적 정렬을 분석할 수 있는 실용적인 진단 도구 역할을 합니다.
• 창발적 정렬(Emergent Alignment): 결과는 훈련 과정에서 명시적인 토큰 수준의 정렬 손실 없이도, 미세한 단어-영역 정렬이 프롬프트 준수 생성 과정의 부산물로서 자연스럽게 창발될 수 있음을 시사합니다.
• 미래 응용 분야: 저자들은 이러한 프롬프트 측 설명이 지식 증류(작은 모델에 소프트 의사 마스크 제공)를 위한 경량화된 그라운딩 신호로 사용될 수 있으며, VLM의 시각-언어 능력을 향상시키기 위한 훈련 중 정렬 인식 정규화(alignment-aware regularization)의 기초가 될 수 있다고 제안합니다.

이 연구는 어텐션 정렬이 인과적 설명을 보장하지는 않더라도, 대규모 VLM의 그라운딩 능력을 평가하고 개선하기 위한 더 안정적이고 정확한 관점을 제공한다는 점을 강조합니다.