💻 computer science

Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration

이 논문은 시각 토큰 보정과 모델의 신뢰도에 기반한 적응형 주조기 재확장을 통해 공간 인식 및 모달리티 편향을 해결함으로써 대규모 시각 - 언어 모델의 환각 현상을 효과적으로 완화하는 '신뢰도 인식 주조기 보정 (CAAC)' 프레임워크를 제안합니다.

원저자: Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

게시일 2026-04-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mehrdad Fazli, Bowen Wei, Ahmet Sari, Ziwei Zhu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 비유: "눈이 멀어가는 화가"

상상해 보세요. 아주 재능 있는 **화가 (AI)**가 있습니다. 이 화가는 사진 (이미지) 을 보고 그 내용을 말로 설명하는 일을 합니다. 하지만 이 화가는 두 가지 치명적인 버릇이 있습니다.

특정 부분만 유난히 잘 보는 버릇 (공간적 편향):
사진 전체를 고르게 보지 않고, 사진의 한 구석 (예: 왼쪽 상단) 만 유독 크게 보고 나머지 부분은 무시합니다. 그래서 사진에 없는 물건을 그 구석에서 상상해 내기도 합니다.
사진을 잊고 말만 믿는 버릇 (모달리티 편향):
설명을 시작할 때는 사진을 잘 보지만, 이야기가 길어질수록 "아, 내가 전에 이런 이야기를 들었었지"라며 **자신의 기억 (텍스트 데이터)**에만 의존하기 시작합니다. 결국 사진에는 없는 개나 고양이가 등장하는 엉뚱한 이야기를 만들어냅니다.

이 논문은 이 화가를 고쳐주는 **두 가지 단계의 '안경 (보정 도구)'**을 개발했습니다.

🕶️ 해결책: CAAC (신뢰도 기반 주의력 보정)

저자들은 이 화가에게 CAAC이라는 특별한 안경을 씌워줍니다. 이 안경은 두 가지 기능을 합니다.

1 단계: "균형 잡힌 시야" (Visual-Token Calibration, VTC)

문제: 화가가 사진의 한 부분만 유독 크게 보고 있어서, 다른 중요한 부분을 놓칩니다.
해결: 이 안경은 화가의 시선을 사진 전체에 골고루 분산시켜줍니다. 마치 사진의 한 구석만 확대해서 보는 대신, 전체를 넓게 조망하게 만드는 것입니다.
효과: "아, 여기는 비어있는데, 저기엔 물이 있구나"라고 전체적인 상황을 정확히 파악하게 되어, 없는 물건을 지어낼 확률이 줄어듭니다.

2 단계: "의심스러울 때 다시 사진 보기" (Adaptive Attention Re-Scaling, AAR)

문제: 이야기가 길어지면 화가는 "내가 이거 잘 알지"라고 자신감 있게 말하다가, 사실은 모르고 있는 내용을 말해버립니다 (환각).
해결: 이 안경은 화가의 **자신감 (신뢰도)**을 체크합니다.
- 화가가 "이거 확실해!"라고 말할 때는 그냥 둡니다.
- 하지만 화가가 **"어... 이거 뭐더라?"**라고 망설이거나 확신이 없을 때 (확률 값이 낮을 때), 안경이 자동으로 작동합니다. **"잠깐! 사진으로 다시 확인해 봐!"**라고 화가를 강제로 사진 쪽으로 시선을 돌리게 합니다.
효과: 화가가 헛된 상상을 하려 할 때마다, 다시 원본 사진 (이미지) 을 보게 만들어서 거짓말을 막아줍니다.

🏆 실험 결과: 왜 이 방법이 특별한가요?

기존 방법들은 짧은 설명 (짧은 글) 에는 잘 작동했지만, **긴 글 (긴 설명)**을 작성할 때는 화가가 점점 사진을 잊어버리고 헛소리를 늘어놓는 문제가 있었습니다.

하지만 이 CAAC 방법은:

긴 글에서도 강력합니다: 이야기가 길어질수록 화가가 사진을 잊지 않도록 계속 도와줍니다.
정확도가 높습니다: 다른 방법들보다 "없는 물건을 있는 것처럼 말하는" 실수를 훨씬 적게 합니다.
훈련이 필요 없습니다: 화가 (모델) 를 다시 가르칠 필요 없이, 안경 (알고리즘) 만 씌우면 바로 효과를 봅니다.

💡 결론

이 연구는 **"AI 가 이미지를 볼 때, 자신의 기억이나 편견에 휘둘리지 않고, 항상 원본 이미지에 집중하게 만드는 방법"**을 찾았습니다.

마치 안전 운전을 위해 운전자가 길을 보지 않고 내비게이션 (기억) 만 믿고 운전하는 실수를 방지하기 위해, "잠깐, 도로를 다시 확인하세요"라고 알려주는 시스템과 같습니다. 의료 진단이나 자율 주행처럼 정확성이 생명을 좌우하는 분야에서 AI 가 더 믿을 수 있게 만들어주는 중요한 기술입니다.

1. 연구 배경 및 문제 정의 (Problem)

대형 시 - 언어 모델 (LVLMs) 의 환각 (Hallucination) 문제
대형 시 - 언어 모델 (LVLMs) 은 이미지 캡셔닝, 시각적 질문 응답 (VQA) 등 다양한 멀티모달 작업에서 뛰어난 성능을 보이지만, 이미지에는 존재하지 않는 객체나 속성을 확신 있게 기술하는 '환각' 현상에 시달립니다. 이는 의료 진단, 자율 주행 등 안전이 중요한 분야에서 모델의 신뢰성을 떨어뜨리는 주요 장애물입니다.

기존 방법론의 한계
기존의 환각 완화 기법 (파인튜닝, 사후 수정, 추론 시 개입 등) 은 주로 짧은 생성이나 판별적 작업에서는 효과적이지만, 장문 생성 (Long-form generation) 시나리오에서는 성능이 급격히 저하됩니다.
저자들은 LVLM 의 환각을 유발하는 두 가지 근본적인 편향 (Bias) 을 규명했습니다:

공간 지각 편향 (Spatial Perception Bias): 이미지 토큰에 대한 주의 (Attention) 가 특정 영역에 불균형하게 집중되는 현상. 이는 모델이 이미지의 중요한 시각적 단서를 놓치게 만듭니다.
모달리티 편향 (Modality Bias): 생성이 진행됨에 따라 모델이 시각적 입력보다 텍스트 히스토리 (언어 사전 지식) 에 점점 더 의존하게 되는 현상. 이로 인해 생성된 내용이 이미지와 동떨어지게 됩니다.

2. 제안된 방법론: CAAC (Methodology)

저자들은 신뢰도 인식 주의 보정 (Confidence-Aware Attention Calibration, CAAC) 프레임워크를 제안했습니다. 이는 추가적인 학습 (Training-free) 없이 모델의 추론 과정에서 주의 분포를 동적으로 조정하여 환각을 억제하는 방법입니다. CAAC 는 두 단계로 구성됩니다.

2.1. 시각 토큰 보정 (Visual-Token Calibration, VTC)

목적: 공간 지각 편향을 완화합니다.
원리: 디코더의 마지막 쿼리 토큰에서 이미지 토큰으로 향하는 주의 맵을 분석합니다. 의미 없는 이미지 (예: 검은색 캔버스) 를 입력으로 사용하여 모델의 기본 주의 패턴 (Reference) 을 추출합니다.
작동 방식:
- 추출된 기본 주의 벡터의 역수를 계산하여 보정 벡터를 생성합니다.
- 실제 입력 이미지의 주의 분포와 보정 벡터를 결합하여 (Hadamard product), 특정 토큰에 과도하게 집중되는 것을 방지하고 이미지 토큰 전체에 균일한 주의 분포를 유도합니다.
- 스무딩 파라미터 ( $\beta$ ): 정보 손실을 방지하기 위해 원래 주의 분포와 보정된 분포를 가중 평균하여 적용합니다.

2.2. 적응형 주의 재조정 (Adaptive Attention Re-Scaling, AAR)

목적: 모달리티 편향을 완화하고 생성 과정에서 시각적 근거를 강화합니다.
원리: 모델의 토큰별 예측 신뢰도 (Confidence) 를 기반으로 시각적 입력의 가중치를 동적으로 조절합니다.
작동 방식:
- 각 생성 단계에서 예측된 토큰의 최대 로그 확률 ( $p_t$ ) 을 계산합니다.
- 신뢰도 임계값 ( $p_{thr}$ ): 모델의 신뢰도가 낮을 때 (즉, 환각 발생 확률이 높을 때) 시각적 토큰의 주의 가중치를 증폭시킵니다.
- 스케일링 인자 ( $\lambda_t$ ): $p_t$ 가 낮을수록 $\lambda_t$ 를 크게 설정하여 시각적 정보에 대한 주의를 재조정합니다.
- 이 과정은 소프트맥스 (Softmax) 적용 전에 주의 가중치에 적용되어, 모델이 불확실할 때 이미지 정보를 더 강하게 참조하도록 유도합니다.

3. 주요 기여 (Key Contributions)

환각 분석의 심화: 관련성 맵 (Relevancy Maps) 을 활용하여 LVLM 의 환각 원인을 '공간 지각 편향'과 '모달리티 편향'으로 명확히 규명했습니다. 특히 장문 생성 시 신뢰도가 낮아지면서 시각적 주의가 감소하는 경향을 정량화했습니다.
CAAC 프레임워크 제안: 학습이 필요 없는 (Training-free) 통합된 주의 보정 기법을 제안했습니다. 이는 모델의 신뢰도에 기반하여 적응적으로 작동하며, 기존 방법론보다 더 정교한 개입을 가능하게 합니다.
성능 개선 및 벤치마크 검증: CHAIR, AMBER, POPE 등 주요 벤치마크에서 기존 최첨단 (SOTA) 기법들을 능가하는 성능을 입증했습니다. 특히 장문 생성 시나리오에서 환각률을 획기적으로 낮추었습니다.

4. 실험 결과 (Results)

저자들은 InstructBLIP, LLaVA-1.5, LLaVA-NeXT 등 3 가지 7B 파라미터 모델을 사용하여 실험했습니다.

CHAIR 벤치마크 (이미지 캡셔닝):
- CAAC 는 기존 베이스라인 (OPERA, VCD, AvisC 등) 대비 CHAIRi(객체 환각 비율) 및 CHAIRs(문장 내 환각 비율) 에서 가장 낮은 수치를 기록했습니다.
- InstructBLIP 기준, CHAIRi 는 16.6 에서 10.8 로, CHAIRs 는 55.6 에서 37.4 로 감소하여 기존 최상위 기법 대비 평균 4%~1.8% 의 환각률 감소를 달성했습니다.
AMBER 벤치마크 (생성 및 판별):
- 장문 생성 (Max Tokens 512): 기존 대비적 디코딩 (Contrastive Decoding) 기법들은 장문 생성 시 성능이 급격히 떨어졌으나, CAAC 는 일관된 저환각 성능을 유지했습니다.
- COVER 점수 (정보량): 환각을 줄이는 다른 방법들 (OPERA 등) 은 정보량 (Coverage) 이 낮아지는 트레이드오프가 있었으나, CAAC 는 환각을 크게 줄이면서도 베이스 모델보다 높은 COVER 점수를 유지하여 정확성과 완성도 사이의 균형을 잘 잡았습니다.
POPE 벤치마크 (객체 판별):
- 생성 작업 외에도 객체 존재 여부 판별 작업에서도 OPERA 와 유사한 높은 정확도 (Accuracy) 와 F1 점수를 기록하며 강력한 일반화 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

신뢰성 있는 LVLM 구현: CAAC 는 추가 학습 없이도 모델의 추론 과정에서 시각적 근거 (Visual Grounding) 를 지속적으로 강화함으로써, 안전이 중요한 분야 (의료, 자율주행 등) 에 LVLM 을 적용할 수 있는 신뢰성을 높였습니다.
장문 생성 문제 해결: 기존 방법들이 해결하지 못했던 장문 생성 시 발생하는 '모달리티 편향'을 신뢰도 기반의 적응형 메커니즘으로 성공적으로 해결했습니다.
실용성: 모델 아키텍처에 구애받지 않는 (Model-agnostic) 방식이며, 추론 시의 오버헤드가 상대적으로 적어 실제 배포에 유리합니다.

결론적으로, CAAC 는 LVLM 의 환각 문제를 근본적인 주의 메커니즘의 왜곡에서 접근하여, 사실성 (Factual Accuracy) 을 최우선으로 하되 정보의 완전성을 적절히 유지하는 새로운 표준을 제시했습니다.