기술 요약: CAST – 캡션 기반 시각적 주시 조정을 통한 대규모 시각-언어 모델의 객체 환각 완화

1. 문제 제기

대규모 시각 - 언어 모델 (LVLM) 은 하위 작업에서 뛰어난 성능을 달성했으나, 종종 객체 환각으로 고통받습니다. 이는 모델이 시각적 입력과 다르거나 모순되는 콘텐츠를 생성하는 현상입니다. 기존 완화 전략은 일반적으로 두 가지 범주로 나뉘며, 둘 다 중요한 한계를 가지고 있습니다:

• 학습 기반 방법: 이러한 방법들은 신중하게 선별된 데이터셋과 값비싼 수동 주석 또는 강화 학습 (예: RLHF) 에 의존하여 높은 계산 비용과 데이터 비용을 초래합니다.
• 학습 없는 디코딩 전략: 대비 디코딩 (예: VCD, OPERA) 과 같은 방법들은 종종 추론 지연 시간을 크게 증가시켜 실시간 응용 프로그램에 덜 실용적입니다.

또한, 해석 가능성 연구는 시각 정보에 대한 주의가 부족하다는 것이 환각의 근본 원인임을 시사합니다. 그러나 모델 매개변수를 수정하거나 무거운 추론 오버헤드를 도입하지 않고 시각적 지각을 강화함으로써 이를 명시적으로 해결하는 방법은 거의 없습니다.

2. 방법론: 캡션 기반 시각적 주시 조정 (CAST)

저자들은 추론 중 모델의 주의 메커니즘을 조정하여 객체 환각을 완화하는 학습 없는 플러그 - 앤 - 플레이 방법인 CAST를 제안합니다. CAST 를 이끄는 핵심 통찰은 캡션 쿼리 (예: "이 이미지를 자세히 설명해 주세요") 가 비캡션 쿼리 (예: "이미지에 헬멧이 있나요?") 에 비해 특정 주의 헤드에서 훨씬 강화된 시각적 주시를 유발한다는 관찰입니다.

CAST 는 세 가지 명확한 단계로 작동합니다:

A. 캡션 기반 주의 헤드 탐지

이 방법은 먼저 "캡션 기반 주의 헤드"를 식별합니다. 이는 캡션 쿼리에 강한 민감도를 보이는 트랜스포머 레이어 내의 특정 헤드들입니다.

• 메커니즘: 이미지 - 쿼리 쌍 데이터셋을 사용하여 텍스트 토큰에 대한 주의를 마스킹하여 시각적 주의 패턴을 분리합니다.
• 분류: 마지막 입력 토큰의 주의 출력을 기반으로 캡션 쿼리와 비캡션 쿼리를 구분하는 이진 분류기 (예: SVM) 를 학습시킵니다.
• 선택: 가장 높은 분류 정확도를 가진 상위-$K$개 주의 헤드가 조정을 위한 대상으로 선택됩니다. 이러한 헤드들은 주로 모델의 중간 레이어에 집중되어 있는 것으로 발견됩니다.

B. 지각 정제 벡터 추정

목표 헤드가 식별되면, 캡션 쿼리와 비캡션 쿼리 간의 주의 출력 차이를 나타내는 시프트 벡터를 계산합니다.

• 계산: 각 선택된 헤드에 대해 시프트 벡터 $S^{(l,h)}$는 캡션 쿼리 ($O^{(l,h)}$) 와 비캡션 쿼리 ($O'^{(l,h)}$) 를 입력으로 받았을 때의 주의 출력 평균 차이로 계산됩니다:
  $$S^{(l,h)} = \frac{1}{B} \sum_{b=1}^{B} (O^{(l,h)}_b - O'^{(l,h)}_b)$$
• 목적: 이러한 벡터들은 "세밀한 지각 방향"을 정량화하여, 캡션 쿼리에 의해 유도된 충분한 시각적 주의 상태를 효과적으로 포착합니다.

C. 추론 시 조정

환각이 발생하는 일반적인 시나리오인 비캡션 쿼리의 추론 중에는, 사전 계산된 시프트 벡터가 선택된 주의 헤드에 적용됩니다.

• 업데이트 규칙: 은닉 상태는 캡션 기반 주의 헤드의 주의 출력에 시프트 벡터의 스케일된 버전을 추가하여 업데이트됩니다:
  $$H_{l+1} = H_l + \sum_{h=1}^{H} (O^{(l,h)} + I^{(l,h)} \alpha S^{(l,h)}) \cdot W^l_o$$
  여기서 $I^{(l,h)}$는 게이트 함수 (선택된 헤드의 경우 1, 그렇지 않으면 0) 이며 $\alpha$는 조정 강도를 제어합니다.
• 효과: 이는 모델의 주의를 환각에 취약한 "부족한" 상태에서 향상된 시각적 지각을 가진 "충분한" 상태로 조정하여, 모델을 재학습하지 않고도 객체 환각을 효과적으로 완화합니다.

3. 주요 기여

1. 새로운 통찰: 이 연구는 캡션 쿼리와 비캡션 쿼리가 LVLM 의 주의 활성화 패턴에 미치는 영향을 명시적으로 밝히고 정량화한 최초의 작업으로, 세밀한 시각적 지각을 담당하는 특정 주의 헤드를 식별했습니다.
2. CAST 방법: 추론 중 캡션 기반 주의 헤드 출력을 정제하는 학습 없는 플러그 - 앤 - 플레이 접근법입니다. 모델 매개변수 업데이트가 필요 없으며 최소한의 추론 비용만 추가됩니다.
3. 종합적 평가: 광범위한 실험을 통해 CAST 가 모델의 기초 능력 (예: 추론, OCR) 을 유지하면서 다양한 모델 아키텍처 (LLaVA, Qwen-VL, LLaVA-NeXT) 에서 환각을 효과적으로 완화함을 입증했습니다.

4. 실험 결과

저자들은 CAST 를 다섯 가지 널리 사용되는 벤치마크 (POPE, CHAIR, MMHal-Bench, MME, MHumanEval) 와 다섯 가지 다른 LVLM 에서 평가했습니다.

• 환각 완화:
  • POPE: CAST 는 모델 간 평균 정확도를 5.64% 향상시키고 F1 점수를 5.50% 향상시켰습니다.
  • CHAIR: 평균 환각 지표 (CS 및 CI) 를 6.43 포인트 감소시켰습니다.
  • MMHal-Bench: 환각률 (VH.%) 을 2.95% 감소시키고 정보성 점수를 향상시켰습니다.
  • 일반 성능: 평균적으로 CAST 는 다섯 가지 LVLM 과 다섯 가지 벤치마크에서 객체 환각을 6.03% 감소시켰습니다.
• 효율성: 추론 시간을 크게 증가시키는 대비 디코딩 방법 (예: VCD 는 TPOT 를 2.7 배 증가시킴) 과 달리, CAST 는 무시할 수 있는 지연 시간 (기선과 비교 가능, 약 1.0 배) 만 추가합니다.
• 능력 유지: CAST 는 모든 지각 및 인지 작업에서 MME 벤치마크의 성능을 향상시켜 모델의 다른 기초 능력을 저하시키지 않음을 입증했습니다.
• 일반화: 이 방법은 고급 모델 (Qwen2-VL, InternVL2) 과 도메인별 작업 (Medical VQA-RAD, OCR) 에서도 효과적이었으며, 견고성을 확인했습니다.

5. 중요성 및 주장

이 논문은 캡션 쿼리에 의해 유도된 내재적 주의 패턴을 활용하여 LVLM 의 객체 환각을 완화하는 최첨단 (SOTA) 솔루션을 CAST 가 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 비용 효율성: 값비싼 수동 주석이나 재학습의 필요성을 제거합니다.
• 효율성: 대비 디코딩 전략과 관련된 높은 추론 지연 시간을 피합니다.
• 메커니즘적 통찰: 시각적 지각을 담당하는 주의 헤드를 직접 대상으로 함으로써 환각 완화를 위한 명확하고 해석 가능한 메커니즘을 제공합니다.

저자들은 CAST 가 LVLM 의 세밀한 시각적 지각 능력을 효과적으로 향상시켜, 모델의 유용성을 훼손하지 않고 환각을 줄이는 실용적이고 효율적인 길을 제공한다고 결론지었습니다.