기술 요약: SAVAA – 단계별 적응형 시각적 주의 증폭을 통한 LVLM 의 환각 완화

1. 문제 제기

대규모 시각 - 언어 모델 (LVLM) 은 자주 환각 (hallucinations) 에 시달리며, 시각적 입력과 일관성이 없는 콘텐츠를 생성합니다. 자기회귀적 생성 과정에서 주요 원인은 시각적 증거가 충분히 활용되지 않을 때 언어 사전 지식 (language priors) 에 대한 모델의 과도한 의존성입니다.

최근 훈련이 필요 없는 접근법들은 통칭 **시각적 주의 증폭 (Visual Attention Amplification, VAA)**이라 불리며, 단일 순전파 (forward pass) 동안 시각 토큰에 할당된 주의 가중치를 증폭함으로써 이를 완화하려 시도합니다. 그러나 기존 VAA 방법들은 모든 생성 단계에 걸쳐 **고정된 증폭 계수 (fixed amplification factor)**를 사용합니다. 저자들은 이러한 정적 접근법 내재의 **이중 실패 패턴 (dual failure pattern)**을 식별했습니다:

1. 과소 증폭 (Under-amplification): 특정 단계에서 고정된 계수는 기존 환각을 해결하기에 너무 약합니다.
2. 과대 증폭 (Over-amplification): 다른 단계에서는 동일한 계수가 너무 강하여 원래 출력에 없던 새로운 환각을 유발합니다.

이 현상은 적절한 시각적 주의 수준이 생성되는 특정 토큰과 모델의 현재 불확실성 및 근거 상태에 따라 역동적으로 변하기 때문에 발생합니다.

2. 방법론: SAVAA

본 논문은 추정된 환각 위험에 기반하여 각 생성 단계에서 시각 증폭 계수를 역동적으로 보정하는 단계별 적응형 시각적 주의 증폭 (Step-wise Adaptive Visual Attention Amplification, SAVAA) 프레임워크를 제안합니다.

2.1 시각적 근거 엔트로피 (Visual Grounding Entropy, VGE)

위험 기반 보정을 가능하게 하기 위해 SAVAA 는 경량화된 환각 위험 추정기가 필요합니다. 저자들은 표준 예측 엔트로피에 시각적 근거 신호를 보강한 **시각적 근거 엔트로피 (VGE)**를 도입했습니다.

• 예측 엔트로피 ($\bar{H}_t$): 출력 로짓 (logits) 을 기반으로 모델의 불확실성을 측정합니다. 그러나 엔트로피만으로는 모델이 매우 자신감이 있지만 이미지와 약하게 연결된 경우 (즉, "자신감 있는 환각") 에는 실패합니다.
• 시각적 근거 점수 (Visual Grounding Score, $G_t$): 프리필링 (prefilling) 단계에서 계산되며, 시각 토큰의 어휘 로짓을 풀링하여 근거 벡터 $G$를 구성합니다. 예측된 토큰 $v^*_t$에 대해 근거 점수 $G_t$는 해당 토큰을 지지하는 시각적 증거의 강도를 나타냅니다.
• VGE 계산: 위험 점수는 가중 조합으로 정의됩니다:
  $$VGE_t = \alpha \bar{H}_t + (1 - \alpha)(1 - G_t)$$
  여기서 $\alpha$는 불확실성과 근거 사이의 균형을 맞춥니다. 높은 VGE 는 토큰이 불확실하거나, 근거가 약하거나, 둘 다 해당됨을 나타냅니다.

2.2 단계별 적응형 VAA 계수 보정

SAVAA 는 한 단계 지연 (one-step-lagged) 보정 메커니즘을 활용합니다. 위험 $r_t$는 현재 단계 $t$의 로짓에서 계산되지만, 다음 단계 $t+1$의 증폭 계수를 보정하는 데 사용됩니다.

• 위험 정규화: VGE 는 위험 점수 $r_t \in [0, 1]$로 정규화됩니다.
• 계수 보정: 단계 $t$에 대한 시각 증폭 계수 $m_t$는 다음과 같이 계산됩니다:
  $$m_t = 1 + (m_{vis}^{max} - 1) \cdot r_{t-1}$$
  이전 단계의 위험이 낮으면 $m_t \approx 1$이 되어 개입이 없습니다. 이전 단계의 위험이 높으면 $m_t$가 증가하여 현재 단계에 더 강력한 시각 증폭을 적용합니다.

2.3 텍스트 주의 억제

강력한 시각 증폭 하에서도 종종 언어 사전 지식으로 인해 지속되는 잔여 환각을 해결하기 위해 SAVAA 는 보완적인 텍스트 주의 억제 (Text Attention Suppression) 메커니즘을 포함합니다.

• 이 메커니즘은 고정 계수 $m_{txt}^{max}$만큼 입력 텍스트 토큰에 할당된 소프트맥스 전 (pre-softmax) 주의 점수를 억제합니다.
• 적응형 시각 계수와 달리, 이 억제는 정적이며 경량화되어 있어 단계별 위험 추정이 필요 없이 언어 사전 지식의 상대적 영향을 줄이도록 설계되었습니다.

2.4 전체 워크플로우

1. 프리필링: 시각적 근거 벡터 $G$를 한 번 계산합니다.
2. 생성 루프:
   • 이전 단계의 위험 $r_{t-1}$을 기반으로 VAA 계수 $m_t$와 텍스트 억제 계수를 계산합니다.
   • 소프트맥스 전 주의 점수를 변조합니다: 시각 토큰은 $m_t$만큼 증폭하고 텍스트 토큰은 $1/m_{txt}^{max}$만큼 억제합니다.
   • 다음 토큰을 생성합니다.
   • 다음 반복을 위해 VGE 를 사용하여 새로운 위험 $r_t$를 계산합니다.

3. 주요 기여

1. 이중 실패 패턴 식별: 본 논문은 기존 VAA 방법들의 고정 증폭 계수가 생성 단계와 모델 아키텍처에 따라 과소 증폭 (환각 미해결) 과 과대 증폭 (새로운 환각 유발) 을 모두 초래함을 입증합니다.
2. SAVAA 프레임워크: **시각적 근거 엔트로피 (VGE)**를 사용하여 단계별로 환각 위험을 추정하고 증폭 계수를 적응적으로 보정하는 새로운 VAA 프레임워크입니다.
3. 보완적 텍스트 억제: 시각 증폭과 협력하여 잔여 언어 사전 지식 우세를 해결하는 경량화된 텍스트 주의 억제 메커니즘의 도입입니다.
4. 실증적 검증: 세 가지 다양한 LVLM(LLaVA-NeXT-7B, Qwen3-VL-8B, InternVL3.5-8B) 과 여러 벤치마크 (CHAIR, SHR, AMBER, POPE) 에 걸친 포괄적인 평가로, 최첨단 베이스라인 대비 일관된 개선을 보여주었습니다.

4. 실험 결과

SAVAA 는 표준 환각 벤치마크에서 평가되었습니다:

• CHAIR: SAVAA 는 세 모델 모두에서 가장 좋은 CHAIRs(문장 수준) 및 CHAIRi(인스턴스 수준) 점수를 달성하여, 생성 품질을 희생하지 않고 (F1 점수는 원본 모델과 유사하게 유지) 환각을 상당한 폭으로 감소시켰습니다 (예: InternVL3.5-8B 에서 CHAIRs 를 7.00 포인트 감소).
• SHR: SAVAA 는 네 가지 지표 (HSR, HWR, HSPI, HWPI) 모두에서 베이스라인을 능가하여 문장 수준과 단어 수준의 환각 모두를 감소시키는 효과를 입증했습니다.
• AMBER: SAVAA 는 높은 콘텐츠 커버리지 (Cover) 를 유지하면서 가장 낮은 환각율 (Hal) 을 달성하여, 완화와 의미적 완전성 사이의 유리한 트레이드오프를 나타냈습니다.
• POPE: 판별 작업에서 SAVAA 는 원본 모델의 유틸리티를 유지하여 정확도 및 F1 점수가 원본 베이스라인과 유사했으나, 생성 작업에 비해 향상 폭은 작았습니다.
• 효율성: SAVAA 는 원본 모델에 비해 추론 시간 오버헤드가 미미합니다. VGE 는 추가 순전파가 필요 없으며 (근거 벡터는 한 번 계산됨) 보정 로직이 경량화되어 있기 때문입니다.

5. 중요성 및 주장

본 논문은 SAVAA 가 정적, 휴리스틱 기반 시각 증폭에서 위험 기반, 단계별 주의 보정으로의 전환을 나타낸다고 주장합니다. 서로 다른 생성 단계에서 시각적 근거의 필요성이 변하는 것을 명시적으로 모델링함으로써 SAVAA 는 고정 계수 방법의 한계를 해결합니다.

저자들은 SAVAA 를 오픈 엔디드 생성 작업에서 LVLM 의 사실적 신뢰성을 향상시키기 위해 추론 시간에 배포할 수 있는 실용적이고 훈련이 필요 없는 솔루션으로 위치시킵니다. 그들은 방법론이 모델별 하이퍼파라미터에 의존하며 오픈 엔디드 생성에 비해 단일 토큰 판별 작업에서는 더 작은 향상 폭을 보인다는 한계를 인정합니다. 이 연구는 향후 방향이 더 적응적인 보정 전략을 포함하고 폐형 (closed-form) 예측 설정으로 접근법을 확장하는 것을 포함할 수 있음을 시사합니다.