기술 요약: MHSA – LVLM 에서 주도적 어텐션을 통한 환각 경감을 위한 경량 프레임워크

1. 문제 제기

대형 시각 - 언어 모델 (LVLM) 은 시각적 질문 답변 (VQA) 및 이미지 캡셔닝과 같은 멀티모달 작업에서 뛰어난 능력을 입증해 왔습니다. 그러나 이러한 모델들은 시각 입력과 일치하지 않거나 시각 입력에 존재하지 않는 콘텐츠를 생성하는 환각 (hallucinations) 현상에 시달립니다. 이러한 환각은 객체, 속성, 또는 관계적 환각으로 나타나 모델의 신뢰성을 심각하게 훼손합니다.

기존의 완화 전략은 다음과 같은 중대한 한계에 직면해 있습니다:

• 학습 기반 방법 (예: RLHF, 지시 튜닝) 은 상당한 계산 자원과 고품질 주석 데이터가 필요하며, 개선 사항은 종종 특정 학습 분포에 국한됩니다.
• 추론 시간 방법 은 종종 특정 입력 샘플의 고유한 환각 서명에 적응하지 못하는 수동으로 설계된 고정 휴리스틱 규칙 (예: 페널티 함수, 정적 재가중치) 에 의존합니다.
• 대조적 디코딩 (Contrastive decoding) 접근법 (예: VCD, ICD) 은 여러 번의 순전파를 필요로 하므로 일반적으로 추론 비용을 두 배로 증가시킵니다.

최근 연구인 DHCP(Cross-modal Attention Pattern 을 통한 환각 탐지) 는 환각이 발생한 샘플과 발생하지 않은 샘플이 구별 가능한 교차 모드 어텐션 패턴을 보인다는 것을 입증했습니다. 그러나 DHCP 는 탐지에만 국한되며 주로 문장 수준에서 작동하므로 완화를 위한 메커니즘을 제공하지 않습니다.

2. 방법론: MHSA 프레임워크

저자들은 교차 모드 어텐션 패턴을 학습하여 수정함으로써 탐지와 완화 사이의 간극을 메우는 경량, 비학습 (training-free) 프레임워크인 MHSA(Steered Attention 을 통한 환각 완화) 를 제안합니다.

핵심 아키텍처

MHSA 는 LVLM 백본 파라미터를 수정하지 않고 "탐지 후 수정" 파이프라인을 통해 작동합니다:

1. 식별자 ($D$): DHCP 에서 유래한 사전 학습된 경량 2 층 MLP 로, 토큰 수준의 탐지기 역할을 합니다. 이는 교차 모드 어텐션 가중치를 분석하여 환각 패턴을 식별합니다.
2. 생성자 ($G$): 원래 교차 모드 어텐션 텐서 ($A$) 를 입력으로 받아 수정 항 ($\Delta A$) 을 생성하는 경량 3 층 MLP 입니다.
3. 주도 메커니즘: 수정된 어텐션은 $A' = A + \Delta A$로 계산됩니다. 추론 중 식별자 $D$가 환각을 탐지하면, 생성자 $G$가 $\Delta A$를 생성하고 LVLM 은 최종 출력을 생성할 때 $A$ 대신 $A'$를 사용합니다.

학습 목표

생성자 $G$는 효과적이고 안정적인 수정을 보장하기 위해 세 가지 구성 요소로 이루어진 목적 함수를 사용하여 학습됩니다:

1. 식별자 유도 손실 ($\mathcal{L}_{dg}$): 식별자 $D$의 판단에 따라 환각성 어텐션 패턴을 비환각성 패턴으로 변환하도록 생성자를 장려하는 적대적 손실입니다.
2. 정규화 손실 ($\mathcal{L}_{reg}$): 수정이 최소적이고 국소화되도록 $\Delta A$의 크기 ($\|\Delta A\|_2^2$) 에 대한 제약으로, 원래 어텐션 의미론을 보존하고 아티팩트를 방지합니다.
3. LVLM 출력 품질 손실 ($\mathcal{L}_{LVLM}$): 수정된 어텐션이 기준 정답 (ground truth) 에 비해 LVLM 의 생성된 출력 품질을 유지하거나 향상시키도록 보장하는 교차 엔트로피 손실입니다.

생성 작업에의 적응

DHCP 가 원래 문장 수준에서 작동했던 반면, MHSA 는 생성 작업 (예: 이미지 캡셔닝) 을 위한 토큰 수준 수정으로 이를 확장합니다.

• 식별자와 생성자는 이미지 캡셔닝 중 추출된 토큰별 교차 모드 어텐션 텐서로 학습됩니다.
• 추론 중 시스템은 각 디코딩 단계에서 어텐션을 평가합니다. 특정 토큰의 어텐션 패턴이 환각성으로 플래그되면, 생성자는 해당 토큰을 샘플링하기 전에 수정을 적용합니다.

3. 주요 기여

1. 최초의 데이터 기반 완화 프레임워크: MHSA 는 고정 휴리스틱 규칙을 넘어 교차 모드 어텐션 패턴의 샘플 적응형 수정을 학습하여 LVLM 환각을 완화하는 최초의 프레임워크입니다.
2. 토큰 수준 확장: 저자들은 어텐션 기반 탐지를 문장 수준에서 토큰 수준으로 확장하여 판별 작업 (VQA) 과 생성 작업 (캡셔닝) 모두에서 완화를 가능하게 합니다.
3. 경량 및 효율성: 이 프레임워크는 LVLM 백본 파라미터를 수정하지 않습니다. 소규모 MLP 생성자만 학습하고 사전 학습된 식별자를 활용하므로, LVLM 의 추론 비용에 비해 계산 오버헤드가 미미합니다.
4. 종합적 평가: 이 방법은 여러 최첨단 LVLM(Qwen2.5-VL, InternVL2, LLaVA-v1.5) 과 다양한 데이터셋 (MSCOCO, Objects365, OpenImages, Flickr30k) 에서 검증되었습니다.

4. 실험 결과

판별 작업 (POPE 벤치마크)

• 성능: MHSA 는 모든 테스트된 모델과 데이터셋에서 일관되고 유의미한 F1 점수 개선을 달성합니다. 예를 들어, MSCOCO 를 사용한 Qwen2.5-VL-7B 에서 MHSA 는 F1 점수를 +7.42 점 (85.55 에서 92.97 로) 향상시켰고, Recall 은 +15.78 점 향상시켰습니다.
• 일반화: 이 방법은 다양한 모델 아키텍처와 데이터셋에서 강력한 일반화를 보여줍니다. 특히, 한 데이터셋 (예: Objects365) 에서 학습된 모델이 다른 데이터셋 (예: COCO) 에서 테스트될 때 효과적으로 환각을 완화하는 강력한 분포 외 (OOD) 성능을 보입니다. 이는 학습된 수정이 데이터셋 특유의 아티팩트가 아닌 근본적인 환각 서명을 포착함을 시사합니다.

생성 작업 (이미지 캡셔닝)

• 환각 감소: Flickr30k 데이터셋에서 MHSA 는 Recall 의 미미한 감소 (3.9%) 만으로 문장 수준 ($CHAIR_s$) 및 인스턴스 수준 ($CHAIR_i$) 환각률을 44% 감소시켰습니다.
• 트레이드오프: 이 방법은 공격적인 휴리스틱 기반 방법에서 볼 수 있는 심각한 Recall 감소 없이 환각 억제와 콘텐츠 보존 사이의 균형을 성공적으로 유지합니다.

효율성

• 지연 시간: MHSA 는 POPE-COCO 벤치마크에서 평균화 지연 시간 증가를 **0.43×**만 도입합니다. 이는 경량 식별자가 모든 샘플을 스크리닝하고, 생성자는 환각으로 플래그된 소수 샘플 (적대적 POPE 설정에서 약 12.3%) 에 대해서만 호출되기 때문입니다. 이는 모든 샘플에 대해 고정된 약 1.0×의 오버헤드가 필요한 대조적 디코딩 방법보다 훨씬 효율적입니다.

5. 중요성과 주장

이 논문은 MHSA 가 단순한 탐지에서 능동적 완화로 교차 모드 어텐션 메커니즘을 확장함으로써 환각 연구에 새로운 관점을 제시한다고 주장합니다.

• 메커니즘적 통찰: 시각화는 MHSA 가 표적 수정 메커니즘으로 작동함을 확인시켜 줍니다. 이는 작업 관련 영역에 어텐션을 집중시키고 공간 엔트로피를 감소시켜, 어텐션 구조의 광범위한 교란 없이 모델을 환각성 패턴에서 "주도"합니다.
• 실용성: 전체 모델 파인튜닝을 피하고 추론 오버헤드를 최소화함으로써 MHSA 는 실제 응용 분야에서 LVLM 의 신뢰성을 향상시키기 위한 실용적이고 배포 가능한 솔루션을 제시합니다.
• 한계: 저자들은 MHSA 가 지표를 크게 개선하지만 만병통치약은 아니라고 지적합니다. 향후 작업에서는 더 표현력 있는 생성자 아키텍처와 광범위한 모델 커버리지를 탐구할 필요가 있습니다.

요약하자면, MHSA 는 어텐션 패턴과 환각 간의 상관관계를 활용하여 경량이고 데이터 기반인 프레임워크를 구축함으로써 판별 및 생성 LVLM 작업 모두에서 환각을 효과적으로 감소시킵니다. 이는 효율성과 일반화 측면에서 기존 휴리스틱 및 학습 기반 접근법을 능가합니다.