기술 요약: VADER – 비디오 대규모 언어 모델의 환각 완화를 위한 적응형 디바이어싱(Adaptive Debiasing)

1. 문제 정의

비디오 대규모 언어 모델(VideoLLM)은 이벤트 요약 및 시간적 추론과 같은 개방형 비디오 이해 작업에서 상당한 성공을 거두었습니다. 그러나 이러한 모델들은 실제 비디오 증거에 뒷받침되지 않은 채 언어적으로는 유창하지만 내용이 결여된 응답을 생성하는 환각(hallucination) 현상에 취약합니다. 이러한 오류는 특히 동작 인식, 이벤트 순서, 인과 관계 및 시간적 일관성에서 빈번하게 발생합니다.

기존의 환각 완화 전략은 비디오에 적용할 때 두 가지 주요 한계점에 직면합니다:

1. **학습 기반 방법(Training-based methods)**은 비용이 많이 드는 재학습, 추가적인 감독 또는 보상 모델링을 요구합니다.
2. **학습 불필요 방법(Training-free methods)**은 대개 전역적으로 고정된 시각적 개입이나 입력 섭동(예: 노이즈, 프레임 드롭)에 의존합니다. 이러한 접근 방식은 다음과 같은 비디오 특유의 과제를 해결하지 못합니다:
   • 정적 개입(Static Intervention): 고정된 레이어 범위와 강도는 시각적 증거가 시스템 프롬프트 및 과거 텍스트와 경쟁하는 비디오 의존적 깊이를 수용할 수 없습니다.
   • 불충분한 대조적 증거(Inadequate Contrastive Evidence): 거친 수준의 입력 섭동은 중복되는 인접 프레임을 통해 증거가 복구 가능하거나, 일관된 추론에 필요한 시간적 의존성을 저해할 수 있습니다.

핵심 과제는 모델을 재학습시키지 않으면서 디코딩 중 비디오 그라운딩(grounding)을 개선하는 동시에, 비디오 데이터의 고유한 중복성과 시간적 의존성을 다루는 것입니다.

2. 방법론

저자들은 증거 그라운딩을 교정하고 사전 편향된 예측을 억제하기 위해 이중 브랜치 설계를 통해 작동하는 학습 불필요 프레임워크인 VADER(Video-Adaptive Debiasing via Evidence Reweighting)를 제안합니다. 이 프레임워크는 두 개의 상호 보완적인 모듈과 하나의 융합 메커니즘으로 구성됩니다.

2.1 시각적 초점 재할당 (Visual Focus Reallocation, VFR)

VFR은 시각적 강화를 고정된 설정이 아닌 자동화된 비디오 조건부 정책으로 취급합니다. 이는 각 특정 비디오-질문 입력에 대해 어디에서(어느 레이어에서) 그리고 얼마나 강하게 개입할지를 동적으로 결정합니다.

• 진단(Diagnosis): 생성 전, VFR은 모델의 초기 예측을 기반으로 진단 손실($L_{diag}$)을 계산하기 위해 비디오-질문 입력을 사용하여 진단적 순전파(forward pass)를 수행합니다. 이는 어텐션 질량(attention mass)과 이 손실에 대한 1차 민감도를 결합하여 **어텐션 돌출도(attention saliency)**를 계산합니다.
• 정책 도출(Policy Derivation): 디코더 레이어 전반에 걸친 **교차 모달 돌출도 흐름(cross-modal saliency flow, 시각-텍스트 흐름)**을 측정합니다. 정규화된 흐름이 가장 높은 상위-$K$개 레이어를 개입 지점($L_{sel}$)으로 선택합니다.
• 적응형 재가중치 부여(Adaptive Reweighting): 개입 강도($a$)는 선택된 레이어의 집계된 돌출도 흐름을 로그 매핑을 사용하여 도출합니다. 이후 VFR은 프리 소프트맥스(pre-softmax) 어텐션 점수에 곱셈 재가 weighting을 적용합니다:
  • 시스템 토큰은 $\gamma_{sup} = 1 - a$의 계수로 억제됩니다.
  • 비디오 토큰은 $\gamma_{enh} = 1 + a$의 계수로 강화됩니다.
    이를 통해 현재 입력에 대해 모델이 비디오 증거에 의존하는 특정 지점으로 어텐션을 재할당합니다.

2.2 선택적 증거 삭제 (Selective Evidence Erasure, SEE)

시간적 중복성에 의해 쉽게 보상될 수 없는 견고한 "사전 편향된(prior-biased)" 브랜치를 구축하기 위해, SEE는 디코더 내부에서 프레임별로 작동합니다.

• 메커니즘: 프레임을 드롭하거나 입력 토큰을 마스킹하는 대신(이는 이웃 프레임으로부터 복구가 가능함), SEE는 현재 디코딩 위치에 대한 어텐션 점수를 기준으로 각 프레임 내의 고중요도 시각 토큰을 식별합니다.
• 삭제(Erasure): 낮은 점수를 가진 토큰(배경/약한 컨텍스트)만을 유지하고, 고득점(판별적) 토큰은 고정된 삽입 레이어($l^*$)에서 어텐션 점수를 $-\infty$로 설정하여 마스킹합니다.
• 결과: 이를 통해 답변을 뒷받침하는 특정 시각적 증거를 제거하면서도 시간적 구조는 보존하는, 언어 사전(language prior) 중심의 예측과 배경 컨텍스트를 반영하는 부정적 브랜치($z_{prior}$)를 생성합니다.

2.3 결합된 시간적 대조 억제 (Joint Temporal Contrastive Suppression)

프레임워크는 두 브랜치의 출력을 융합합니다:

• 그라운디드 브랜치 ($z_{gnd}$): VFR에 의해 생성되며, 비디오 증거의 사용을 극대화합니다.
• 사전 편향 브랜치 ($z_{prior}$): SEE에 의해 생성되며, 언어 사전(prior)에 의해 유도된 예측을 반영합니다.
• 융합(Fusion): 최종 로짓($\bar{z}$)은 $\bar{z} = (1 + \lambda)z_{gnd} - \lambda z_{prior}$로 계산됩니다. 만약 어떤 토큰이 두 브랜치 모두에서 높은 확신도를 보인다면, 이는 언어 사전일 가능성이 높으므로 억제됩니다. 만약 그라운디드 브랜치에서만 확신도를 보인다면, 해당 토큰은 보존되거나 증폭됩니다.

3. 주요 기여

1. VADER 프레임워크: 파라미터 업데이트 없이 증거 그라운딩을 교정하여 비디오LLM의 환각을 완화하는 학습 불필요한 이중 브랜치 프레임워크입니다.
2. VFR (시각적 초점 재할당): 시각적 강화를 비디오 조건부 개입 정책으로 공식화하여, 입력별 시각-텍스트 흐름에 따라 개입 레이어와 응답 강도를 자동으로 선택하는 새로운 메커니즘입니다.
3. SEE (선택적 증거 삭제): 교차 프레임 보상이 어려운 사전 편향 브랜치를 구축하기 위해 고중요도 시각 토큰을 마스킹하는 디코더 내부의 프레임별 삭제 기술입니다.
4. 성능: 이 방법은 이벤트 수준의 환각 벤치마크에서 상당한 개선을 달왔으며, 특히 LLaVA-Video-7B를 사용하여 EventHallusion에서 72.60%의 정확도를 달성하여 TPO 및 RRPO와 같은 학습 기반 방법들을 능가했습니다.

4. 실험 결과

저자들은 세 가지 비디오 환각 벤치마크(VidHalluc, VideoHallucer, EventHallusion)와 세 가지 일반 비디오 이해 벤치마크(MVBench, VideoMME, TVBench)에 대해 세 가지 백본(LLaVA-OneVision-7B, LLaVA-NeXT-Video-7B, Qwen3-VL-8B)을 사용하여 VADER를 평가했습니다.

• 환각 완화: VADER는 특히 EventHallusion(LLaVA-Video-7B를 63.57%에서 72.60%로 향상) 및 VideoHallucer에서 상당한 이득을 얻었습니다. 이는 대표적인 학습 불필요 베이스라인(TCD, DINO-HEAL)을 능가했으며, 재학습 없이도 EventHallusion에서 학습 기반 방법(TPO, RRPO)을 앞질렀습니다.
• 일반적 이해: 성능을 저하시키는 일부 개입과 달리, VADER는 일반 비디오 이해 벤치마크에서 점수를 유지하거나 약간 향상시켜(예: LLaVA-Video-7B 평균 +1.5 포인트), 광범위한 인지나 추론 능력을 희생하지 않고 충실도(faithfulness)를 개선함을 보여주었습니다.
• 절제 연구(Ablation Studies):
  • 적응형 정책을 제거했을 때(고정 레이어 사용) 이득이 감소하여, 비디오 조건부 선택의 가치를 확인했습니다.
  • SEE(VFR만 사용) 또는 VFR(SEE만 사용)을 제거했을 때 전체 모델보다 낮은 성능을 보여, 증거 재할당과 사전 편향 브랜치 구축의 상호 보완성을 입증했습니다.
  • 민감도 분석 결과, SEE의 적절한 유지 비율(약 30%의 토큰 유지)이 증거 제거와 컨텍스트 보존 사이의 균형을 맞추는 최적의 결과를 냈습니다.

5. 의의 및 주장

본 논문은 VADER가 비디오LLM을 배포할 때 발생하는 핵심적인 간극, 즉 재학습 비용 없이 플러그 앤 플레이(plug-and-play) 방식으로 환각을 완화할 수 있는 능력을 해결한다고 주장합니다. 정적인 전역적 개입에서 벗어나 적응형, 입력별 정책으로 이동함으로써, VADER는 비디오 데이터의 복잡하고 중복적이며 시간적으로 의존적인 특성을 효과적으로 처리합니다.

저자들은 자신들의 접근 방식이 단순히 오류를 "수정"하는 것이 아니라, 증거에 기반한 예측과 언어 사전(language prior)에 의한 환각을 구분하도록 디코딩 역학을 근본적으로 변화시킨다고 강조합니다. 결과는 효과적인 비디오 환각 완화가 단순히 더 강력한 시각적 주의력뿐만 아니라, 시각적 증거가 제거되었을 때 사전(prior)에 의존하는 예측을 명시적으로 드러내고 억제하는 메커니즘을 필요로 한다는 것을 시사합니다.

한계점: 저자들은 VADER가 그래디언트 기반 레이어 선택 및 멀티 패스 순전파로 인해 추가적인 추론 시간 연산 및 메모리 오버헤드를 발생시킨다는 점을 인정하며, 효율적인 돌출도 추정이 향려 과제임을 시사했습니다.