기술 요약: 학습이 필요 없는 VLM 환각 완화를 위한 스펙트럼 QK 곱 가중치 스티어링 (Spectral Query-Key Product Weight Steering)

문제 정의

시각-언어 모델(VLM)은 입력 이미지에 존재하지 않는 객체를 유창하게 설명하는 객체 환각(object hallucination) 현상을 빈번하게 겪습니다. 이 문제는 사전 학습 과정에서 학습된 시각-언어 사전 지식(예: 객체 공생 패턴)과 시각적 증거 사이의 경쟁에서 기인합니다. 이러한 사전 지식이 우세해질 때, 모델은 그럴듯하지만 시각적으로는 근거가 없는 출력을 생성하게 됩니다. 기존의 완화 전략은 일반적으로 다음 두 가지 범주로 나뉩니다:

1. 학습 기반 방법: 추가적인 데이터, 지도 학습, 그리고 상당한 계산량을 요구합니다 (예: 인스트럭션 튜닝, 선호도 최 optimization).
2. 추론 시 개입 방법: 디코딩 과정을 수정하며 (예: 대조적 디코딩, 로짓 조정, 어텐션 재가중치 부여), 매 생성 단계마다 계산 오버헤드를 발생시킵니다.

따라서 표준 디코딩 경로를 변경하거나 파인튜닝을 요구하지 않으면서도 환각을 완화할 수 있는 데이터가 필요 없고, 학습이 필요 없으며, 추론 비용이 제로인 솔루션이 필요합니다.

방법론: QK 곱 스티어링 (QK Product Steering)

저자들은 모델의 내부 어텐션 메커니즘을 직접 수정하여 환각을 유발하는 패턴을 억제하는 원샷(one-shot) 가중치 편집 방법인 QK 곱 스티어링을 제안합니다.

핵심 메커니즘

이 방법은 소프트맥스 전 어텐션 로짓(pre-softmax attention logits)을 생성하는 쌍선형 연산자인 쿼리-키(QK) 곱 ($M_h = W_{q,h}^\top W_{k,g}$)을 타겟으로 합니다. 가설은 이 곱의 지배적인 특이 모드(dominant singular modes)가 시각적 증거를 압도하는 "일반적인 시각-언어 사전 지식"을 인코딩한다는 것입니다.

과정은 세 가지 주요 단계로 구성됩니다:

1. 스펙트럼 분석 및 억제:

   • 선택된 미들 레이어(middle-layer) 어텐션 헤드에 대해, QK 곱의 씬 SVD(thin SVD)를 계산합니다.
   • 상위-$k$ 지배적 특이 모드(고에너지 어텐션 방향을 나타냄)를 식별합니다.
   • 이 모드들을 계수 $\alpha$로 감쇠(damping)시켜, 이러한 특정 사전 지식 기반 방향의 영향력을 효과적으로 줄입니다.
   • 편집은 상호 콘텐츠 유사성 패턴을 포착하는 QK 곱의 대칭 성분($S_h$)에서 수행되며, 반대칭 성분($\Omega_h$)은 거의 손대지 않거나 환각과 관련성이 적은 것으로 간주됩니다.

2. GQA-안전한 쿼리 복구 (GQA-Safe Query Recovery):

   • 현대적인 VLM은 여러 쿼리 헤드가 하나의 키/값 헤드를 공유하는 **그룹 쿼리 어텐션(GQA)**을 자주 사용합니다. 공유된 키 가중치를 직접 편집하는 것은 여러 헤드에 영향을 미칠 수 있어 위험합니다.
   • 공유된 키 가중치($W_k$)를 보존하기 위해, 이 방법은 편집된 QK 곱($M_h^\star$)을 구현하면서 쿼리 가중치($W_q$)에 가할 최소한의 업데이트를 찾는 제약 최적화 문제를 해결합니다.
   • 이는 다음과 같은 폐쇄형 리지 안정화 업데이트(closed-form, ridge-stabilized update)를 통해 달성됩니다:
     $$\Delta W_{q,h} = (W_{k,g}W_{k,g}^\top + \lambda I)^{-1} W_{k,g} \Delta M_h^\top$$
   • 이를 통해 편집이 GQA 아키텍처와 호환되도록 하며 추론 절차를 변경하지 않습니다.

3. 레이어 선택:

   • 이 방법은 네트워크의 미들 레이어를 타겟으로 합니다. 경험적 분석에 따르면 초기 레이어는 랭크가 너무 집중되어 있어 편집 시 생성 능력이 붕괴되는 반면, 후기 레이어는 환각에 미치는 영향이 미미합니다. 미들 레이어는 지배적 모드가 전체 연산 에너지의 작은 비율을 차지하는 "정밀한(surgical)" 개입 지점을 제공합니다.

대칭 vs 반대칭 분해 (Symmetric vs. Antisymmetric Decomposition)

저자들은 QK 곱을 대칭($S_h$) 성분과 반대대칭($\Omega_h$) 성분으로 분해합니다.

• 대칭 ($S_h$): 상호 콘텐츠 유사성(상호 어텐션)을 포착합니다.
• 반대칭 ($\Omega_h$): 방향성 어텐션 패턴을 포착합니다.
• 결과: 환각 신호는 주로 대칭 채널에 국한되어 있습니다. 대칭 모드를 감쇠시키면 환각이 감소하지만, 반대칭 모드를 감쇠시키면 환리학 감소 효과가 없으며 일반적인 성능을 저하시킬 수 있습니다.

주요 기여

1. QK 곱 스티어링: QK 곱의 원샷 편집을 통해 객체 환각을 완화하는 새로운 데이터 프리, 학습 프리 가중치 편집 방법입니다.
2. GQA 호환 프로젝션: 공유 키 가중치를 고정한 상태에서 편집된 QK 곱을 구현하는 폐쇄형 쿼리 전용 업데이트 메커즘을 제공하여, 현대적인 GQA 기반 VLM에 적용 가능하게 합니다.
3. 기계론적 해석 가능성: 대칭/반대칭 분해 및 절제 연구를 통해, 환각이 지배적인 QK 모드에 특이적이며 주로 대칭적 상호 어텐션 채널에 의해 유도된다는 것을 입증했습니다.

실험 결과

이 방법은 세 가지 GQA 기반 VLM인 Qwen2.5-VL-7B, InternVL3-8B, Pixtral-12B에서 평가되었습니다.

• 환각 감소: 세 모델 모두에서 QK 곱 스티어링은 평균 4.0%의 상대적 CHAIRs 감소를 달축했습니다.
  • Qwen2.5-VL-7B의 경우, CHAIRs가 31.44(베이스라인)에서 28.56으로 감소했습니다.
  • InternVL3-8B의 경우, CHAIRs가 33.81에서 33.23으로 감소했습니다.
  • Pixtral-12B의 경우, CHAIRs가 34.14에서 33.81로 감소했습니다.
• 대조 실험:
  • 랜덤 모드 대조군: 동일한 랭크를 가진 랜덤 특이 모드를 감쇠시킨 결과, 변화가 미미했습니다. 이는 효과가 임의의 저계수 섭동이 아니라 지배적인 모드에 특이적임을 확인시켜 줍니다.
  • 대칭 vs 반대칭: 대칭 채널만 편집했을 때 대부분의 환각 감소가 포착되었습니다. 반면 반대칭 채널만 편집했을 때는 환각 감소에 실패했으며 다른 벤치마크 성능을 저하시키는 경우가 많았습니다.
  • 능력 보존: 일반적인 멀티모달 능력(MME 및 MMMU로 측정)은 랜덤 대조군의 노이즈 범위 내에서 대체로 잘 보존되었습니다. 유일하게 관찰된 체계적인 능력 비용은 Pixtral-12B의 특정 설정에서 나타났으며, 이는 하이퍼파라미터 튜닝을 통해 관리 가능한 트레이드오프임을 시사합니다.
• 절제 연구 (Ablations):
  • 레이어 민감도: 미들 레이어 편집만이 생성 능력을 붕괴시키지 않으면서(초기 레이어) 환각을 줄이거나(후기 레이어) 환각에 영향을 주지 못하는 현상 없이 환각을 줄이는 유일한 구성이었습니다.
  • 감쇠 강도: $k=3$개의 모드에 대해 $\alpha=1$(상위 모드 완전 제거)인 경우가 환각 감소와 능력 보존 사이의 최적의 균형을 제공했습니다.

의의 및 주장

본 논문은 QK 곱 스티어링이 디코딩 시 개입하는 방법의 실질적인 대안이라고 주장합니다. 이 방법의 의의는 다음과 같습니다:

• 제로 추론 비용: 디코딩을 변경하는 방식(예: 대조적 디코딩)과 달리, 이 방법은 모델 가중치를 한 번 수정하므로 추론 중 표준 그리디 디코딩 경로를 완전히 그대로 유지합니다.
• 학습 오버헤드 없음: 추가 데이터, 파인튜닝 또는 선호도 최적화가 필요하지 않습니다.
• 기계론적 통찰: 환각을 지배적인 대칭 어텐션 모드(일반적인 사전 지식을 인코딩함)의 결과로 식별함으로써 환각에 대한 명확한 기계론적 설명을 제공합니다. 이 모드들을 정밀하게 감쇠함으로써, 모델의 일반적인 계산 능력은 유지하면서 사전 지식에 과도하게 의존하는 동작을 약화시킵니다.
• 확장성: 이 방법은 가볍고 GQA와 같은 현대적이고 효율적인 아키텍처와 호환됩니다.

저자들은 이 방법이 모델의 근본적인 지각 능력을 개선하거나 새로운 시각적 지식을 추가하는 것은 아니지만, 어텐션 메커니즘을 학습된 사전 지식으로부터 멀어지도록 스티어링함으로써 객체 환각이라는 특정 실패 모드를 효과적으로 완화한다고 결론지었습니다.