기술 요약: 인과적 경로 게이트를 통한 대규모 시각-언어 모델의 환각 완화

1. 문제 제기

대규모 시각 - 언어 모델 (LVLM) 은 종종 입력 이미지에 대한 근거가 부족한 유창하고 그럴듯한 내용을 생성하는 **환각 (hallucinations)**에 시달립니다. 이 문제는 특히 안전이 중시되거나 의사결정 지원이 필요한 환경에서 LVLM 의 신뢰성을 훼손합니다.

본 논문은 **경로 경쟁 (route competition)**이라는 특정 실패 모드를 식별합니다. 시각 토큰이 주의를 받더라도 최종 토큰 결정은 텍스트 경로에 의해 지배될 수 있습니다. 결과적으로 디코더는 시각적 증거 (보이는 것) 가 아닌 언어적 사전 지식 (그럴듯한 것) 을 따릅니다. 기존 훈련이 없는 완화 전략들은 종종 주의 기반 대리 변수 (attention-based proxies)(예: 시각 주의 비율, VAR) 나 거친 헤드 리스케일링에 의존합니다. 저자들은 이러한 접근법이 불충분하다고 주장합니다.

• 높은 주의 질량 (attention mass) 이 반드시 출력에 대한 인과적 기여로 이어지는 것은 아닙니다.
• 소프트맥스 정규화는 실제로 결정을 근거화하지 않으면서 텍스트 경쟁을 약화시켜 시각 주의 비율을 부당하게 과장할 수 있습니다.
• 거친 리스케일링은 시각 및 텍스트 경로를 모두 억제하여, 진정으로 근거 있는 추론을 훼손할 수 있습니다.

2. 방법론: 인과적 경로 게이트 (CRG)

제안된 방법인 **인과적 경로 게이트 (Causal Route Gating, CRG)**는 훈련이 필요 없으며 추론 시 개입하는 방식으로, 주의 헤드를 별도의 시각 및 텍스트 경로로 분해하여 토큰 수준에서 작동합니다.

2.1. 헤더 내부 경로 분해

저자들은 트랜스포머 연산의 선형성을 활용하여 $l$층의 각 주의 헤더 $h$의 출력을 두 개의 가법적 구성 요소로 분해합니다.

• 시각 경로 ($O^{vis}_{l,h}$): 시각 토큰에서 유도된 기여도.
• 텍스트 경로 ($O^{txt}_{l,h}$): 텍스트 토큰에서 유도된 기여도.
  전체 헤더 출력은 $O_{l,h} = O^{vis}_{l,h} + O^{txt}_{l,h}$입니다.

2.2. 결정 정렬 인과적 경로 효과 (CRE)

주의 가중치에 의존하는 대신, CRG 는 현재 토큰의 결정 점수 $\ell$(예: 생성된 토큰의 로그 확률 또는 이진 QA 를 위한 로그 오즈 마진) 에 대한 각 경로의 인과적 효과를 측정합니다. **do-개입 (do-interventions)**을 사용하여 효과는 다음과 같이 정의됩니다.

• $\Delta^{vis}_{l,h} = \ell(1, 1) - \ell(0, 1)$: 시각 경로가 제거될 때의 점수 변화.
• $\Delta^{txt}_{l,h} = \ell(1, 1) - \ell(1, 0)$: 텍스트 경로가 제거될 때의 점수 변화.

양의 $\Delta$는 해당 경로가 결정을 지지함을 나타내고, 음의 $\Delta$는 결정을 반대함을 나타냅니다.

2.3. 충돌 식별 및 시각 의존도 지수 (VRI)

이 방법은 시각 및 텍스트 경로가 결정을 반대 방향으로 밀어붙이는 **경로 충돌 (route conflicts)**을 식별합니다 ($\Delta^{vis}$와 $\Delta^{txt}$의 부호가 다름).

• 충돌 A (+, -): 시각은 지지하고 텍스트는 반대함.
• 충돌 B (-, +): 시각은 반대하고 텍스트는 지지함 (언어적 사전 지식이 시각적 증거를 압도하는 환각의 특징).

개입의 우선순위를 정하기 위해 저자들은 **시각 의존도 지수 (Visual Reliance Index, VRI)**를 정의합니다.
$$VRI_{l,h} = \frac{|\Delta^{vis}_{l,h}|}{|\Delta^{vis}_{l,h}| + |\Delta^{txt}_{l,h}| + \epsilon}$$
낮은 VRI 는 헤드가 텍스트 주도 (사전 지식 우세) 임을 나타냅니다.

2.4. 효율적 추정 및 개입

• 한 번의 순전파/한 번의 기울기 근사: 정확한 do-효과를 계산하려면 여러 번의 순전파가 필요합니다. CRG 는 토큰당 단순한 순전파 한 번과 기울기 쿼리 한 번만 필요한 1 차 근사를 사용합니다. 추정치는 경로 출력과 결정 점수의 기울기 ($\nabla \ell$) 사이의 내적에서 유도됩니다.
• 충돌 인식 게이트:
  1. 충돌 집합 내에서 VRI 가 가장 낮은 상위 $k$개의 헤드를 선택합니다.
  2. 시각 경로는 온전하게 유지하면서 ($g^{vis}_{l,h} = 1$) 텍스트 기여도를 억제하는 **텍스트 경로 게이트 ($g^{txt}_{l,h}$)**를 적용합니다.
  3. 차별화된 억제:
     • 충돌 A: 노이즈를 안정화하기 위해 경미한 억제 (게이트 범위 [0.5, 1.0]).
     • 충돌 B: 시각적 증거와 모순되는 언어적 사전 지식을 차단하기 위해 강력한 억제 (게이트 범위 [0, 0.5]).

3. 주요 기여

1. 경로 수준 인과적 효과: 상관관계 주의 대리 변수를 넘어, 주의 헤더 내 시각 및 텍스트 경로에 대한 결정 정렬 인과적 효과를 도입했습니다.
2. 시각 의존도 지수 (VRI): 환각을 유발하는 사전 지식 우세 헤드를 식별하기 위한 정규화 지표입니다.
3. 효율적 추정기: 최소한의 계산 오버헤드 (순전파 1 회, 기울기 1 회) 로 단계별 헤드 선택을 가능하게 하는 1 차 추정기입니다.
4. 충돌 인식 개입: 충돌하는 헤드에서 텍스트 경로만 선택적으로 억제하여 시각적 근거를 보존하는 선택적 게이트 메커니즘입니다.
5. 이론적 분석: 가치 내용과 소프트맥스 경쟁 효과로 인해 주의 질량 (VAR) 이 결정 관련 시각적 근거에 대한 충분한 대리 변수가 아님을 입증했습니다.

4. 실험 결과

이 방법은 LLaVA-1.5-7B, Qwen-VL-Chat, Qwen2.5-VL-7B-Instruct 세 가지 모델을 대상으로 한 판별 (POPE, AMBER) 및 생성 (CHAIR, MMHal-Bench, MME) 설정을 아우르는 다섯 가지 벤치마크에서 평가되었습니다.

• 환각 감소: CRG 는 환각 관련 오류를 일관되게 감소시켰습니다. POPE 벤치마크에서는 일반 디코딩 대비 정확도를 **6.3% 에서 7.0%**까지 향상시켰으며, VCD, OPERA, VTI 와 같은 강력한 베이스라인보다 우수한 성능을 보였습니다.
• 생성 성능: CHAIR 에서 CRG 는 높은 재현율과 생성 길이의 소폭 증가만을 유지하면서 가장 낮은 환각률 (CS/CI) 을 달성했습니다.
• 멀티모달 능력: MME 에서 이 방법은 근거 민감 카테고리 (존재, 개수, 위치, 색상) 와 고수준 추론 작업 전반에 걸쳐 성능을 향상시켜, 환각 감소가 일반적인 멀티모달 성능의 희생으로 이루어지지 않았음을 시사합니다.
• 효율성: CRG 는 일반 디코딩 대비 2.27 배의 지연 오버헤드(약 139ms/스텝) 를 발생시켰으며, 이는 시각 대비 디코딩 (VCD) 과 유사하고 OPERA(7.12 배) 보다 훨씬 빠릅니다. 중요하게도 추가적인 피크 GPU 메모리 오버헤드는 없었습니다 (1.00 배).

5. 중요성 및 주장

본 논문은 LVLM 의 환각이 종종 언어적 사전 지식이 시각적 증거를 압도하는 불일치된 경로 경쟁의 결과라고 주장합니다. 이러한 내부 경로를 노출하고 개입함으로써 CRG 는 다음과 같은 표적 솔루션을 제공합니다.

• 시각적 근거 복원: 언어적 사전 지식이 다른 답을 제안할 때도 모델이 시각적 증거에 의존할 수 있도록 합니다.
• 무분별한 억제 회피: 전체 헤드를 리스케일링하는 방법과 달리, CRG 는 충돌하는 헤드에서 텍스트 경로만 선택적으로 억제하여 시각 경로를 보존합니다.
• 해석 가능성 제공: 주의 질량 대리 변수에 비해 인과적 효과와 VRI 를 사용하여 모델이 왜 환각을 일으키는지 (즉, 텍스트 사전 지식이 시각적 증거를 압도하는 특정 헤드) 에 대한 더 명확한 진단을 제공합니다.

6. 한계

저자들은 명시적으로 몇 가지 한계를 지적합니다.

• 범위: CRG 는 충돌 매개 환각을 대상으로 합니다. 시각 및 텍스트 경로가 동일한 편향을 공유하는 경우 (예: 시각 인코더 자체가 편향된 "분홍색 바나나") 나 인식/OCR 실패가 지배적인 오류는 수정할 수 없습니다.
• 약한 증거: 모호한 시각적 증거의 경우, 이 방법은 유용한 언어적 사전 지식을 과도하게 억제하여 추측을 돕는 것을 방해할 수 있습니다.
• 화이트박스 요구 사항: 이 방법은 내부 활성화 및 기울기에 대한 접근이 필요하므로, 수정 없이 폐쇄형 API 에는 적합하지 않습니다.
• 오버헤드: 경미하지만 토큰당 기울기 계산은 지연을 추가하며, 매우 긴 형식의 생성의 경우 중요할 수 있습니다.