💬 NLP

ADAPT: Attention Dynamics Alignment with Preference Tuning for Faithful MLLMs

이 논문은 시각적 앵커, 온라인 교정 메커니즘 및 선호도 튜닝을 통해 텍스트-이미지 교차 주의 역학을 정렬함으로써 멀티모달 거대 언어 모델의 환각 현상을 완화하는 어텐션 기반 프레임워크인 ADAPT를 소개하며, 이는 일반적인 능력을 보존하면서도 상당한 환각 감소를 달성한다.

원저자: Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhiyuan Yao, Zheren Fu, Zhixiao Zheng, Jiajun Li, Yi Tu, Zhendong Mao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

멀티모달 거대 언어 모델(MLLM)을 사진 한 장을 건네받은 매우 똑똑하고 박학다식한 투어 가이드라고 상상해 보세요. 이 가이드의 임무는 사진을 정확하게 묘사하는 것입니다. 하지만 이 가이드에게는 나쁜 습관이 하나 있습니다. 설명을 하는 동안 점점 딴 데로 눈을 돌린다는 점입니다. 가이드는 실제 사진에 무엇이 있는지보다는, 자신의 일반적인 지식에 기반해 무엇이 들어있을 것이라고 '생각'하는 것에 더 의존하기 시작합니다. 이것을 **환각(Hallucination)**이라고 하며, 예를 들어 사진에는 파란색 자동차만 있는데도 "빨간색 자전거"라고 가짜 디테일을 만들어내는 것을 말합니다.

ADAPT 논문은 왜 이런 현상이 발생하는지 조사하고, 가이드가 사진에 계속 집중할 수 있도록 돕는 세 가지 단계의 해결책을 제시합니다.

문제점: "시선의 표류 (The Drifting Gaze)"

연구진은 모델의 "눈"(내부 교차 주의 집중, cross-attention)이 처음에는 강력하게 작동하지만, 설명이 길어질수록 지치고 혼란스러워진다는 사실을 발견했습니다.

초반에는: 모델은 정확히 올바른 지점(예: 사진 속 비행기)을 바라봅니다.
후반에는: 시선이 "흐릿해집니다." 모델은 사진의 엉뚱한 구석을 응시하거나, 아예 이미지를 보는 것을 멈추고 방금 자신이 내뱉은 단어들에 기반해 추측하기 시작합니다.
결과: 모델은 더 이상 시각적 근거를 확인하지 않기 때문에 무언가를 지어내기 시작합니다.

이것은 마치 시험을 치르는 학생과 같습니다. 처음에는 답을 쓰기 위해 교과서(이미지)를 쳐다봅니다. 하지만 중간쯤 가면 학생은 지쳐서 책을 보는 것을 멈추고, 수업 시간에 기억했던 내용(언어적 사전 지식)을 바탕으로 찍기 시작합니다. 바로 그때부터 틀린 답을 내놓게 됩니다.

해결책: ADAPT

저자들은 이 문제를 해결하기 위해 ADAPT(Attention Dynamics Alignment with Preference Tuning)라는 시스템을 구축했습니다. 그들은 모델의 "시선"을 일정하게 유지하기 위해 세 가지 창의적인 도구를 사용합니다.

1. "황금 닻" (시각적 강화 - Visual Enhance)

모델이 긴 설명을 시작하기 전에, 시스템은 사진을 빠르게 훑어보며 가장 중요하고 부정할 수 없는 사실들을 찾아냅니다.

비유: 투어 가이드가 말을 시작하기 전에 형광펜을 받는 상황을 상상해 보세요. 가이드는 사진을 빠르게 스캔하여 주요 피사체(예: "이것은 흰색 비행기이다")를 강조 표시합니다.
해결책: 이 강조된 영역은 "황금 닻(Golden Anchor)"이 됩니다. 이는 "무슨 일이 있어도 이것이 비행기라는 점을 기억하라"는 안정적인 참조점이 됩니다. 시스템은 모델이 내용과 상관없이 항상 이미지의 왼쪽만 보는 것과 같은 편향(bias)을 제거하기 위해 이 닻을 정제합니다.

2. "스포트라이트 감독관" (주의 집중 감독 추론 - Attention-Supervised Inference)

모델이 말을 하는 동안, 이 감독관은 실시간으로 모델의 "시선"을 감시합니다.

비유: 가이드 옆에 서 있는 엄격한 선생님을 상상해 보세요. 가이드의 눈이 "황금 닻"에서 벗어나거나 빈 공간을 응시할 때마다, 선생님은 가볍게 어깨를 톡톡 칩니다.
해결책: 모델의 주의 집중이 흐트러지거나 "초점이 맞지 않게" 되면, 시스템은 즉시 모델의 주의력을 이미지의 관련 부분으로 다시 유도합니다. 이는 모델에게 똑같은 단어를 말하라고 강요하는 것이 아니라, 말을 하기 전에 올바른 시각적 근거를 바라보도록 강제하는 것입니다.

3. "눈가리개 훈련" (시각적 주의 집중 가이드 DPO - Visual Attention Guidance DPO)

이것은 모델이 추측하기보다 사진을 보는 것을 선호하도록 배우는 훈련 단계입니다.

비유: 모델은 두 가지 시나리오로 훈련받습니다:
1. 시나리오 A (올바른 방식): 모델은 "황금 닻"이 강조된 사진을 보고 올바른 답을 제시합니다.
2. 시나리오 B (잘못된 방식): 모델은 빈 화면이나 노이즈가 섞인 화면(눈가리개)을 보고 답을 추측합니다.
해결책: 시스템은 모델에게 다음과 같이 가르칩니다: "빈 화면을 보고 있다면 자신감을 가져서는 안 된다. 실제 사진을 보고 있다면 자신감을 가져야 한다." 이를 통해 모델이 단순히 무언가를 지어내는 대신 시각적 근거에 의존하도록 훈련합니다.

결과

연구진이 이 시스템을 다양한 AI 모델에 테스트했을 때 다음과 같은 결과가 나타났습니다:

환각 감소: 모델이 가짜 디테일을 만들어내는 경우가 40~60% 줄어들었습니다.
지능 유지: 모델은 일반적인 대화 능력이나 이해력을 잃지 않았으며, 단지 이미지의 사실에 더 잘 밀착하게 되었습니다.
효율성: 이 시스템은 매우 빠르게 작동하며, 과정에 추가되는 시간이 거의 없습니다.

요약

요약하자면, ADAPT는 AI 모델이 말을 하면서 "주의력이 분산"되고 추측을 시작한다는 점을 깨달았습니다. 이를 해결하기 위해, 시스템은 모델에게 안정적인 참조점(닻)을 주고, 방황하는 시선을 잡아줄 실시간 감독관을 배치하며, 상상보다 눈에 보이는 것을 더 가치 있게 여기도록 하는 특별한 훈련을 제공합니다. 그 결과, 보고 있는 사진에 대해 진실만을 말하는 AI가 탄생했습니다.

기술 요약: ADAPT (Attention Dynamics Alignment with Preference Tuning)

문제 정의

멀티모달 거대 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 설명을 생성하는 환각(hallucination) 현상을 빈번하게 겪습니다. 기존의 완화 전략들은 추론 시 토큰 수준의 확률을 조작하거나(예: 대비 디코딩) 학습 시 출력 분포를 정렬하는 방식(예: RLHF, DPO)과 같은 결과 중심적인 조정에 집중해 왔으나, 이러한 실패를 유발하는 내부 메커니즘에 대해서는 간과해 왔습니다.

본 논문은 환각의 핵심적인 내부 징후인 텍스트-이미지 교차 주의력(cross-attention)의 점진적 퇴화를 식별합니다. 저자들은 생성이 진행됨에 따라 모델의 주의력이 초기 단계의 시각적으로 근거가 확실한 상태에서 후기 단계의 사전 지식(prior) 중심 상태로 이동한다는 것을 관찰했습니다. 이러한 퇴화는 세 가지 구체적인 실패 패턴으로 나타납니다:

표류 및 편향(Drift and Bias): 주의력이 텍스트 관련 시각적 증거로부터 멀어져, 초점이 흐려지거나(분산) 무관한 영역에 집중되는(공간적 편향) 현상이 발생합니다.
반응성 감소(Reduced Responsiveness): 새로운 토큰이 생성됨에 따라 교차 주의력의 변화율이 감소하며, 이는 후속 컨텍스트를 위해 시각적 증거를 재탐색하는 데 실패함을 의미합니다.
가치 감소(Value Decay): 레이어를 거치며 시각적 토큰에 할당되는 주의력 값이 크게 떨어져, 시각적 제약력을 약화시키고 언어적 사전 지식이 지배하도록 허용합니다.

결과적으로, 긴 문장을 생성하는 후반부 단계에서 환각이 발생할 확률이 높아집니다.

방법론: ADAPT 프레임워크

이러한 내부 역학 관계를 해결하기 위해, 저자들은 세 가지 시너지 단계로 구성된 교차 주의력 역학에 직접 개입하는 프레임워크인 ADAPT(Attention Dynamics Alignment with Preference Tuning)를 제안합니다.

1. 교차 주의력 시각 강화 (추론 전 - Pre-Inference)

첫 번째 단계는 생성 초기 단계(첫 $K$ 개 토큰)로부터 신뢰할 수 있는 교차 주의력 시각 앵커( $A_{anchor}$ )를 구축하는 것입니다. 가공되지 않은 교차 주의력은 노이즈가 많고 "주의력 싱크(attention sinks)"(콘텐츠와 무관한 위치 편향)에 취약하므로, 저자들은 세 가지 상호 보완적인 기준을 사용하여 다층 주의력 맵을 정제합니다:

일관성 및 매끄러움(Consistency & Smoothness): 노이즈가 많고 파편화된 활성화를 억제하기 위해 고주파 에너지 비율과 역 총 변동(inverse Total Variation, TV) 정규화 도구를 통해 정량화합니다.
집중도(Focus): 섀넌 엔트로피(Shannon entropy)로 측정되며, 객체 수준과 전역적 집중 사이의 균형을 맞추기 위해 쿼리 의미론에 따라 동적으로 조정됩니다.
공간 편향 교정(Spatial Bias Correction): 노이즈 이미지를 대상으로 주의력 맵을 평균화하여 콘텐츠와 무관한 위치적 사전 지식을 식별하고 억제하는 디바이어싱 마스크를 도출합니다.

결과물인 앵커는 하위 감독을 위한 안정적이고 쿼리와 관련된 참조 역할을 하며, 전체 생성이 시작되기 전 시각적 근거를 강화하기 위한 "앵커 가이드형" 이미지를 생성하는 데 사용됩니다.

2. 주의력 감독 추론 (추론 시 - Inference-Time)

디코딩 과정에서 프레임워크는 현재의 교차 주의력 분포( $A_t$ )가 사전에 계산된 앵커( $A_{anchor}$ )와 얼마나 일치하는지 모니터링합니다.

탐지: 정렬 상태를 측정하기 위해 앵커 변조 집중(Anchor-Modulated Concentration, AMC) 지수( $S_{AMC}$ )를 계산합니다. 만약 $S_{AMC}$ 가 임계값 $\tau$ 미만으로 떨어지면 주의력 표류(초점 상실 또는 편향)가 발생한 것으로 간주합니다.
교정: 표류가 감지되면, 주의력 로짓(logits)에 희소 교정 스티어링 연산자(sparse corrective steering operator)를 적용합니다. 이 연산자는 주의력을 앵커와 일치하는 영역으로 재가중하여, 경직된 고정 타겟을 강요하지 않으면서도 모델이 언어적 사전 지식으로 빠지는 것을 효과적으로 방지합니다.

3. 시각 주의력 가이드 DPO (학습 시 - Training-Time)

모델의 내재적 선호도를 시각적 증거와 정렬하기 위해, 저자들은 VAG-DPO를 도입합니다. 텍스트 응답만을 대조하는 표준 DPO와 달리, VAG-DPO는 서로 다른 시각적 증거 조건 하에서의 응답을 대조합니다:

선택된 샘플(Chosen Sample): 시각적으로 강화된 이미지(앵커로부터 유도됨)와 결합된 사실적인 응답을 사용하여, 올바른 토큰과 두드러진 시각적 증거 사이의 연결을 강화합니다.
거절된 샘플(Rejected Sample): 노이즈 이미지와 결합된 환각 응답을 사용하여, 모델이 지원되지 않는 콘텐츠에 대해 높은 확신을 갖지 않도록 하는 "맹목적(blind)" 조건을 생성합니다.

이 목적 함수는 언어적 사전 지식에만 기반하여 높은 확신의 환각을 생성하는 것을 명시적으로 처벌합니다.

주요 기여

진단적 통찰: 본 논문은 두 단계의 주의력 퇴화 과정(시각적 근거 기반 $\rightarrow$ 사전 지식 중심)을 체계적으로 밝혀냈으며, 환각과 관련된 세 가지 구체적인 실패 패턴(표류, 반응성 감소, 가치 감소)을 식별했습니다.
정제 메커니즘: 세 가지 상호 보완적인 기준(스펙트럼, 매끄러움, 집중도)과 명시적인 공간 편향 교정을 사용하여 교차 주의력을 신뢰할 수 있는 앵커로 정제하는 새로운 방법을 제시했습니다.
통합 프레임워크: 추론 중 온라인 주의력 표류 교정과 학습 중 시각 주의력 가이드 선호도 정렬을 결합한 ADAPT 프레임워크를 설계했습니다.
실증적 검증: ADAPT가 주요 백본(LLaVA, Qwen-VL)에서 일반적인 멀티모달 능력을 유지하면서 환각 발생률을 40–60% 감소시킨다는 것을 포괄적인 실험을 통해 입증했습니다.

실험 결과

저자들은 네 가지 주요 환각 벤치마크인 Obj-Hal (Chair metrics), AMBER, MM-Hal, POPE에서 ADAPT를 평가했습니다.

성능: 전체 ADAPT는 모든 벤치마크와 백본에서 SOTA(최고 수준) 성능을 달しまいました. 예를 들어, LLaVA-v1.5-7B 모델에서 Chair 점수를 7.8에서 3.8로, AMBER의 Hal 점수를 36.4에서 15.2로 낮추었습니다.
효율성: 훈련이 필요 없는 변형 모델인 ADAPT-TF만으로도 많은 고급 방법론보다 뛰어난 성능을 보였습니다. 전체 프레임워크는 베이스라인 대비 단 1.42배의 약간의 런타임 오버헤드만을 도입하였으며, 이는 OPERA(7.20배)와 같은 다른 추론 시 개입 방법들보다 훨씬 효율적입니다.
일반화: 이 방법은 다양한 모델 제품군(LLaVA 및 Qwen의 7B 및 13B 변체)에 걸쳐 강력한 일반화 능력을 보여주었으며, vanilla DPO와 비교했을 때 일반적인 멀티모달 능력(MME, MMBench)의 저하가 거의 없이 유지되었습니다.
근거 형성(Grounding): 정제된 시각 앵커는 로컬라이제이션 작업(RefCOCO/RefCOCOg)에서 우수한 성능을 보였으며, 베이스라인 CLIP 및 기타 주의력 기반 방법들보다 더 높은 Accuracy와 mIoU를 달성했습니다.

의의 및 주장

본 논문은 ADAPT가 환각 완화에 있어 새로운 주의력 기반 관점을 제공한다고 주장합니다. 결과 중심적인 출력 조작에서 벗어나 내부의 텍스트-이미지 교차 주의력 행동에 초점을 맞춤으로써, 저자들은 환각이 단순히 학습 데이터나 디코딩 전략의 부족 때문이 아니라, 시간이 지남에 따라 주의력 역학이 퇴화하기 때문에 발생하는 결과임을 입증했습니다.

본 연구의 의의는 다음과 같습니다:

메커니즘 기반 개입: "블랙박스" 형태의 출력 튜닝을 넘어 모델의 내부 주의력 메커니즘에 직접 개입합니다.
시너지 설계: 추론 시의 주의력 감독과 학습 시의 선호도 튜닝을 결합하는 것이 각각의 접근 방식만 사용하는 것보다 더 우수한 결과를 낸다는 것을 보여줍니다.
실용성: 환각을 줄이는 데 매우 효과적이면서도 실제 배포가 가능할 만큼 계산 효율적인 솔루션을 제공합니다.

저자들은 내부 주의력 역학을 탐구하고 교정하는 것이 더 충실한 MLLM을 구축하기 위한 실질적이고 효과적인 경로라고 결론짓습니다.