Revealing and Enhancing Core Visual Regions: Harnessing Internal Attention Dynamics for Hallucination Mitigation in LVLMs

이 논문은 주석 현상의 왜곡 속에서도 의미 있는 핵심 시각 영역을 자연스럽게 드러내는 내부 '양성 주의 역동성 (PAD)'을 활용하여, 학습 없이도 환각을 줄이고 시각적 근거를 강화하는 PADE 라는 새로운 어텐션 개입 기법을 제안합니다.

핵심

이 논문은 **'거대 시각 언어 모델 (LVLM)'**이라는 AI 가 그림을 볼 때 자주 겪는 '환각 (Hallucination)' 문제를 해결하는 새로운 방법을 소개합니다.

쉽게 말해, AI 가 그림을 보고 설명할 때 **"사과가 빨간색이야"**라고 해야 하는데, 실제로는 **"검은색"**이거나 심지어 **"사과가 없는데 사과가 있다"**라고 거짓말을 하는 현상을 막는 기술입니다.

이 논문이 제안하는 PADE라는 방법을 일상적인 비유로 설명해 드릴게요.

---

🍎 문제: AI 가 왜 거짓말을 할까? (주의력 소용돌이)

AI 는 그림을 볼 때 수만 개의 작은 조각 (토큰) 들에 주의를 기울입니다. 그런데 문제는 AI 가 가장 중요한 부분 (예: 사과) 에 집중하기보다, 의미 없는 부분 (예: 배경의 잡동사니나 시스템 명령어) 에 과도하게 집중하는 경향이 있다는 것입니다.

이를 **'주의력 소용돌이 (Attention Sink)'**라고 부릅니다.

• 비유: 식당에서 요리사가 가장 맛있는 메인 요리 (사과) 를 보려고 노력하지만, 옆 테이블의 시끄러운 소음 (잡동사니) 이나 주방의 불빛 (시스템 신호) 에 시선이 자꾸 가버려서 메인 요리를 제대로 못 보는 상황입니다.
• 기존 방법들은 이 소음에 집중하는 AI 를 강제로 고치려고 여러 번 그림을 다시 보게 하거나 (비효율적), 외부 감시인 (다른 AI) 을 데려오거나 (비용 발생) 하는 식이었습니다.

💡 해결책: PADE (주의력 역동성 강화)

이 논문은 **"AI 가 그림을 볼 때, 시간이 지남에 따라 시선이 어떻게 움직이는지 (역동성) 를 보면 진짜 중요한 부분을 찾을 수 있다"**는 사실을 발견했습니다.

1. 핵심 발견: "시선이 움직이는 방향을 보라"

• 기존 방식 (정적): "지금 시선이 가장 많이 가는 곳이 중요해!"라고 생각하면, 소음 (소용돌이) 에 시선이 쏠려서 틀립니다.
• 새로운 방식 (PADE): "어떤 부분이 층을 거치며 시선이 계속 강화되고 있나?"를 봅니다.
  • 비유: 소음이 시끄러워도, 시간이 지나도 사과에 대한 관심이 꾸준히 '오르막'을 타고 올라가는지를 확인하는 것입니다. 소음은 시선이 왔다 갔다 하거나 일정하게 유지되지만, 진짜 중요한 사물은 AI 가 이해할수록 시선이 더 강하게 모입니다. 이 '오르막' 신호를 찾아냅니다.

2. PADE 의 3 단계 작동 원리

이 기술은 PADE라는 이름으로, 다음과 같이 작동합니다.

① 진짜 보석 찾기 (PAD 매핑)

• AI 가 그림을 분석하는 여러 단계 (레이어) 를 거치며, 시선이 '강하게 증가'하는 부분만 모아서 지도를 그립니다.
• 잡동사니나 시스템 신호는 시선이 오르락내리락하거나 일정하므로 제외되고, 진짜 사과 같은 핵심 영역만 '빛나는 지도'로 남습니다.

② 적절한 힘 조절 (MAD 스케일링)

• 찾아낸 '빛나는 지도'를 AI 에게 주입할 때, 너무 세게 주면 AI 가 망가집니다.
• 비유: 약을 줄 때 환자의 체중과 상태에 따라 정확한 용량을 조절하듯, AI 의 각 부분마다 **중간값 (Median)**을 기준으로 적절한 강도로 주입합니다. 이렇게 하면 극단적인 잡음에 흔들리지 않습니다.

③ 명령어 지키기 (시스템 토큰 보상)

• 그림만 강조하다 보면 AI 가 사용자의 질문 ("이 사과 색깔이 뭐야?") 을 잊어버릴 수 있습니다.
• 비유: "사과를 더 잘 보게 해주는 대신, 가상 공간의 '시스템 알림' 부분을 살짝 줄여서 그 만큼의 에너지를 사과에 쏟게 한다"는 식입니다. 이렇게 하면 사용자의 질문을 잊지 않으면서도 그림을 정확히 볼 수 있습니다.

🚀 결과: 왜 이 방법이 좋은가요?

1. 한 번에 끝남 (Single-Pass): 그림을 여러 번 다시 보지 않아도 되므로 속도가 매우 빠릅니다.
2. 추가 장비 불필요: 다른 AI 모델을 불러오지 않아도 되므로 비용이 들지 않습니다.
3. 정확도 향상: 실험 결과, AI 가 "사과가 있다"라고 거짓말을 하거나 "빨간색을 검은색으로" 잘못 보는 경우가 크게 줄어들었습니다.

📝 한 줄 요약

"AI 가 그림을 볼 때, 소음에 시선을 빼앗기지 않고 '시간이 지남에 따라 시선이 꾸준히 모이는 곳'을 찾아내어, 그 부분만 살짝 더 강조해 주는 똑똑한 기술입니다."

이 기술은 AI 가 환각에 빠지지 않고, 사용자의 질문에 정확하게 그림을 설명할 수 있도록 도와주는 **'AI 의 시선 교정 안경'**과 같습니다.

기술 요약

1. 문제 정의 (Problem)

대형 시각 - 언어 모델 (LVLMs) 은 멀티모달 추론 능력에서 뛰어난 성과를 보이지만, 여전히 할루시네이션 (Hallucination) 문제에 시달리고 있습니다. 이는 모델이 시각적 입력이나 사용자 지시와 일치하지 않는 내용을 생성하는 현상입니다.

기존의 할루시네이션 완화 방법들은 다음과 같은 한계를 가집니다:

• 대조적 디코딩 (Contrastive Decoding): 여러 번의 순전파 (forward pass) 가 필요하여 계산 비용이 높고, 교란된 시각 신호로 인한 편향을 유발할 수 있습니다.
• 보조 전문가 모델 (Auxiliary Expert Models): 외부 모델에 의존하여 추가적인 계산 오버헤드를 발생시키고, 목표 LVLM 과 의미적 불일치가 발생할 수 있습니다.
• 정적 내부 신호 (Static Internal Signals): 어텐션 값이나 휴리스틱 점수에 기반하여 상위 토큰을 선택하는 방식은 어텐션 싱크 (Attention Sink) 현상에 취약합니다. 어텐션 싱크는 의미와 무관하지만 높은 어텐션 값을 가진 토큰들이 반복적으로 증폭되어, 실제로 중요한 시각 영역에 대한 어텐션을 왜곡시킵니다.

2. 방법론 (Methodology: PADE)

저자들은 LVLM 내부의 Positive Attention Dynamics (PAD, 긍정적 어텐션 역학) 이 어텐션 싱크의 왜곡에도 불구하고 의미 있는 핵심 시각 영역을 자연스럽게 드러낸다는 사실을 발견했습니다. 이를 바탕으로 PADE (Positive Attention Dynamics Enhancement) 라는 훈련 불필요 (training-free) 인 어텐션 개입 기법을 제안했습니다.

PADE 는 크게 세 가지 단계로 구성됩니다:

1. Positive Attention Dynamics (PAD) 추출:

   • 모델의 계층 간 (inter-layer) 어텐션 변화를 분석합니다.
   • 의미 있는 시각 영역은 계층이 깊어질수록 일관되게 양수 (positive) 의 어텐션 증가를 보이는 반면, 어텐션 싱크는 불규칙한 변동이나 일관되지 않은 스파이크를 보입니다.
   • 인접한 계층 간의 어텐션 맵 차이를 계산하여 양수인 부분만 추출하고 적분하여 PAD 맵을 생성합니다. 이를 통해 의미 없는 영역과 싱크 토큰의 영향을 자연스럽게 억제하고 핵심 영역을 식별합니다.

2. 헤드별 MAD 스케일링 (Per-Head Median Absolute Deviation Scaling):

   • 추출된 PAD 맵을 어텐션 로짓 (logits) 에 주입할 때, 스케일 불일치로 인한 과도한 교란을 방지하기 위해 중앙 절대 편차 (MAD) 를 사용합니다.
   • 평균 대신 중앙값을 사용하여 어텐션 싱크로 인한 극단적인 값 (outliers) 의 영향을 줄이고, 각 어텐션 헤드와 샘플에 대해 적응적으로 개입 강도를 조절합니다.

3. 시스템 토큰 보상 (System-Token Compensation, STC):

   • 시각 토큰의 어텐션을 증폭하면 사용자 지시나 이전 생성된 텍스트에 대한 어텐션이 감소하여 지시 이행 능력이나 일관성이 떨어질 수 있습니다.
   • 이를 해결하기 위해, 높은 어텐션 비율을 가지지만 의미적 관련성이 낮은 시스템 토큰 (System Tokens) 의 어텐션 로짓을 감소시켜, 시각 토큰의 증폭분을 보상합니다.
   • 이를 통해 복잡한 사용자 지시와 장기적인 생성 일관성을 유지하면서 핵심 시각 영역만 선택적으로 강화합니다.

3. 주요 기여 (Key Contributions)

• 새로운 신호 발견: 정적 어텐션 맵보다 내부 긍정적 어텐션 역학 (PAD) 이 어텐션 싱크의 왜곡 하에서도 의미 있는 시각 영역을 더 정확하게 식별할 수 있음을 증명했습니다.
• PADE 제안: 외부 모델이나 추가 순전파 없이, PAD 맵을 구축하고 MAD 스케일링과 STC 를 적용하여 추론 시 핵심 시각 영역을 선택적으로 강화하는 훈련 불필요 기법을 개발했습니다.
• 광범위한 실험 검증: 다양한 LVLM (LLaVA, InstructBLIP, Qwen-VL 등) 과 벤치마크 (POPE, CHAIR, HallusionBench 등) 에서 PADE 가 할루시네이션을 효과적으로 줄이고 시각적 그라운딩 (visual grounding) 을 개선함을 입증했습니다.

4. 실험 결과 (Results)

• 할루시네이션 벤치마크: POPE(객체 존재 여부), CHAIR(객체 할루시네이션), HallusionBench, AMBER 등 다양한 벤치마크에서 기존 최첨단 방법들 (VCD, PAI, OPERA, VAR 등) 보다 일관되게 우수한 성능을 기록했습니다. 특히 CHAIR 점수 (낮을수록 좋음) 와 POPE 정확도 (높을수록 좋음) 에서 가장 높은 성능을 보였습니다.
• 일반 벤치마크: 할루시네이션을 줄이는 동시에 모델의 일반적인 멀티모달 이해 능력 (VizWiz, MME, MM-Vet 등) 을 유지하거나 오히려 향상시켰습니다. 이는 기존 방법들이 종종 할루시네이션 감소와 일반 성능 저하 사이의 트레이드오프를 겪는 것과 대조적입니다.
• 효율성: 추가적인 외부 모델이나 다중 순전파가 필요 없어, 원본 모델과 유사한 추론 속도를 유지하면서 매우 낮은 계산 오버헤드를 가집니다.
• Ablation Study: MAD 스케일링과 STC 모듈을 제거할 경우 성능이 크게 저하됨을 확인하여, 각 구성 요소의 중요성을 입증했습니다. 또한, 모델의 마지막 계층 (final layer) 에서 적용했을 때 가장 효과적이었습니다.

5. 의의 및 결론 (Significance)

이 논문은 LVLM 의 할루시네이션 문제를 해결하기 위해 모델 내부의 동적 어텐션 변화 (역학) 를 활용해야 함을 강조합니다. 정적인 어텐션 값에 의존하는 기존 방법들의 한계를 극복하고, 어텐션 싱크 현상에도 강건하게 핵심 시각 정보를 추출하는 새로운 패러다임을 제시했습니다.

PADE 는 훈련 비용 없이, 외부 의존성 없이, 그리고 일반 멀티모달 능력을 희생하지 않으면서 할루시네이션을 효과적으로 완화하는 가볍고 강력한 솔루션을 제공함으로써, 안전이 중요한 의료, 자율 주행 등 다양한 분야에서 LVLM 의 신뢰성을 높이는 데 기여할 것으로 기대됩니다.