💬 NLP

Towards Mitigating Hallucinations in Large Vision-Language Models by Refining Textual Embeddings

본 논문은 텍스트 임베딩을 정교화하여 언어적 사전 지식에 대한 과도한 의존도를 줄이고 시각적 단서의 보다 균형 잡힌 통합을 촉진함으로써 대규모 시각-언어 모델(Large Vision-Language Models)의 환각 현상을 완화하는 방법을 제안하며, 이를 통해 여러 환각 벤치마크에서 상당한 성능 향상을 달성한다.

원저자: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aakriti Agrawal, Gouthaman KV, Rohith Aralikatti, Gauri Jagatap, Jiaxin Yuan, Sarvesh Baskar, Vijay Kamarshi, Andrea Fanelli, Furong Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "지나치게 자신만만한 이야기꾼"

당신에게 도서관의 모든 책을 다 읽었지만, 실제 사진은 한 번도 본 적 없는 아주 똑똑한 이야기꾼(대규모 언어 모델, 즉 LLM)이 있다고 상상해 보세요. 당신이 이 이야기꾼에게 텅 빈 주방 조리대 사진을 보여주며 "무엇이 보이나요?"라고 묻습니다.

이 이야기꾼은 주방에 관한 이야기를 너무 많이 읽었기 때문에, 즉시 추측을 시작합니다. 조리대가 완전히 비어 있음에도 불구하고, "김이 모락모락 나는 커피 한 잔과 과일 그릇이 보입니다"라고 말할 수도 있습니다. 이들은 단어에 대한 기억에 의존하고 있을 뿐, 사진을 보고 있는 것이 아닙니다.

AI의 세계에서는 이를 **환각(Hallucination)**이라고 부릅니다. 모델은 유창하고 똑똑하게 들리지만, 시각적 증거보다 텍스트 학습을 더 신뢰하기 때문에 사실을 지어내고 있는 것입니다.

현재의 설정: "두 개의 궤도가 있는 기차"

이미지를 보는 대부분의 현재 AI 모델(LVLMs)은 마지막에 하나로 합쳐지는 두 개의 별개 궤도를 가진 기차처럼 작동합니다:

궤도 A (텍스트): 이야기꾼의 단어들.
궤도 B (시각): 사진의 데이터.

문제는 기차 엔진(AI)이 궤도 A(텍스트)에서 달리도록 설계되었다는 점입니다. 두 궤도가 만날 때, 엔진은 자연스럽게 궤도 A라는 매끄럽고 익숙한 길을 선호하게 됩니다. 엔진은 궤도 B(사진)에 있는 울퉁불퉁한 부분이나 세부 사항을 무시합니다. 모델은 사진을 주요 사실이 아닌 부차적인 제안 정도로 취급합니다.

해결책: "VisAlign" – "그려진 지도"

연구진은 VisAlign이라는 새로운 방법을 제안합니다. 단순히 마지막에 궤도를 합치는 대신, 이야기가 시작되기도 전에 그림을 단어 위에 직접 그려 넣기로 결정했습니다.

그들이 이 작업을 수행하는 방법은 다음과 같습니다:

전역 스냅샷 (The Global Snapshot): 먼저, AI는 전체 사진을 빠르게 훑어봅니다 (마치 그림의 전반적인 분위기를 파악하기 위해 눈을 가늘게 뜨고 보는 것처럼).
주입 (The Injection): 이 "분위기"를 AI가 말하려는 모든 단어의 DNA에 직접 섞습니다.
결과: 이제 AI가 "컵"이라는 단어를 생각할 때, 그 단어는 더 이상 단순한 텍스트 정의가 아닙니다. 그 단어는 실제로 보고 있는 이미지의 "질감"을 품게 됩니다.

비유:
친구에게 길을 안내한다고 상상해 보세요.

기존 방식: 당신은 "빵집에서 왼쪽으로 도세요"라고 말하지만, 정작 보고 있는 지도는 그곳에 빵집이 없는 지도입니다. 당신은 그저 대본을 읊고 있는 것입니다.
VisAlign 방식: 당신은 손에 지도를 들고 있으며, "빵집"이라고 말할 때마다 지도의 그 지점을 물리적으로 가리키고 있습니다. 단어와 이미지가 하나로 융합된 것입니다. 당신은 지도를 보지 않고서는 "빵집"이라고 말할 수 없습니다.

이를 해결하면 어떤 일이 벌어질까요?

연구진은 이 방법을 Video-LLaVA(비디오를 보고 질문에 답하는 모델)라는 모델에 테스트했습니다. 그들은 AI의 "주의력(Attention)"(뇌의 에너지를 어디에 집중하는지)이 어떻게 변했는지 살펴보았습니다.

VisAlign 적용 전: AI는 문장의 시작과 끝(텍스트)에 크게 집중했고, 사진 데이터가 존재하는 중간 부분은 거의 쳐다보지 않았습니다. 이는 마치 학생이 시험 문제를 읽으면서 도표는 무시하는 것과 같았습니다.
**Vis

결과: 만들어낸 사실의 감소

연구팀은 이 새로운 방법을 여러 "환각 벤치마크"(AI가 거짓말을 하도록 유도하도록 설계된 테스트)에서 테스트했습니다. 결과는 명확했습니다:

정확도 향상: 모델은 존재하지 않는 것(예: 존재하지 않는 개)을 찾아내거나 존재하는 것을 묘사하는 능력이 현저히 좋아졌습니다.
구체적인 성과:
- MMVP-MLLM 테스트에서 정확도가 9.33% 상승했습니다.
- POPE(객체 환각 테스트)에서 정확도가 거의 3% 가까이 올랐습니다.
- Merlin(객체의 존재 여부를 확인하는 테스트)에서 최대 3.4% 개선되었습니다.
일반화: 이 기술을 LLaVA 1.5 및 Open-Qwen2VL과 같은 다른 AI 모델에도 적용해 보았으며, 그곳에서도 효과가 있었습니다. 이는 "텍스트 과잉-시각 부족" 문제를 해결하는 보편적인 해결책입니다.

트레이드오프: 작은 대가

논문은 한 가지 작은 한계점을 언급합니다. AI가 이제 사진에 더 의존하고 일반적인 세상 지식에는 덜 의존하게 되므로, 일반적인 지식만을 필요로 하는 질문(예: "유명한 배우는 누구인가요?")에는 성능이 약간 떨어질 수 있습니다. 하지만 이미지를 보고 수행해야 하는 작업에 있어서는 그 개선 효과가 매우 큽니다.

요약

이 논문은 AI 모델이 환각을 일으키는 이유가 "텍스트는 무겁고 시각은 가볍기" 때문이라고 주장합니다. AI가 생각을 시작하기 전에 텍스트 단어 속에 시각 정보를 직접 섞음으로써, 모델이 사진을 보도록 강제하는 것입니다. 이 간단한 수정은 일종의 접지선(grounding wire) 역할을 하여, AI가 상상의 이야기 속으로 떠돌지 않고 시각적 현실에 단단히 고정되도록 돕습니다.

기술 요약: 텍스트 임베딩 정제를 통한 대규모 시각-언어 모델의 환각 완화 연구

1. 문제 정의

대규모 시각-언어 모델(LVLM)은 언어적으로는 유창하지만 사실과 다르거나 시각적 입력에 의해 뒷받받되지 않는 출력인 환각(hallucinations) 현상을 빈번하게 겪습니다. 이러한 오류는 객체 환각(존재하지 않는 아이템을 만들어냄), 속성 환각(색상이나 특성을 잘못 식별함), 관계 환각(공간적 관계를 조작함), 그리고 템포럴(temporal) 환각(비디오에서 동작을 지어냄)의 형태로 나타납니다.

저자들은 이러한 환각의 주요 원인이 기존의 아키텍처 패러다임에 뿌리를 둔 **모달리티 불균형(modality imbalance)**에 있다고 가설을 세웠습니다. 대부분의 LVLM(예: Video-LLaVA, LLaVA)은 사전 학습된 대규모 언어 모델(LLM)의 입력 토큰 스트림에 시각적 임베딩을 추가하는 방식으로 작동합니다. LLM 백본은 텍스트로만 학습되었기 때문에, 언어 중심의 추론에 대한 내재적인 편향을 가집니다. 파인튜닝 과정에서 모델은 텍스트 우선순위(textual priors)에 과도하게 의존하고 시각적 임베딩은 덜 활용하는 경향이 있으며, 시각적 토큰을 부차적인 것으로 취급합니다. 이는 모델이 시퀀스의 경계에 있는 텍스트 토큰에는 집중하고 그 사이의 시각적 토큰은 소홀히 하는 비대칭적 어텐션 분포를 초래하며, 결과적으로 의미론적으로는 그럴듯하지만 시각적으로는 근거가 없는 출력을 생성하게 만듭니다.

2. 방법론: VisAlign

이러한 불균형을 해결하기 위해 저자들은 토큰이 트랜스포머 레이어에 들어가기 전에 전역적인 시각적 컨텍스트를 통합하여 텍스트 임베딩을 정제하는 방법인 VisAlign을 제안합니다. 추론 중에 어텐션 메커니즘을 수정하거나 복잡한 교차 어텐션(cross-attention) 모듈을 추가하는 방식과 달리, VisAlign은 학습 과정에서 균형 잡힌 교차 모달 추론을 장려하기 위해 표현 수준(representation level)에서 작동합니다.

핵심 메커니즘은 다음 세 단계로 구성됩니다:

전역 시각적 집계(Global Visual Aggregation): 투영된 시각적 임베딩( $V_{proj}$ )을 파라미터가 없는 풀링 연산을 사용하여 평균화함으로써 단일 전역 시각 요약 벡터( $\hat{V}$ )를 생성합니다.
텍스트 임베딩 정제(Textual Embedding Refinement): 이 전역 시각 벡터를 원래의 텍스트 임베딩( $T$ )과 임베딩 차원을 따라 결합합니다. 그 후 선형 투영 레이어가 이 융합된 표현을 원래의 LLM 임베딩 차원으로 매핑하여, 시각적으로 근거가 있는 텍스트 임베딩( $\hat{T}$ )을 생성합니다.
재구성(Reconstruction): 베이스라인 모델에서 사용되는 표준 순서대로 정제된 텍스트 임베딩( $\hat{T}$ )과 원래의 시각적 임베딩( $V_{proj}$ )을 추가하여 시퀀스를 재구성합니다.

주요 설계 원칙:

표현 수준의 주입(Representation-Level Injection): 시각적 정보가 언어 표현에 직접 주입되어, 모델이 텍스트와 시각적 의미를 모두 담은 임베딩을 학습하도록 강제합니다.
아키텍처 불가지론(Architecture Agnostic): 이 방법은 LLM 백본 아키텍처를 변경하거나 복잡한 교차 어텐션 메커니즘을 요구하지 않으며, 단순히 입력 토큰 시퀀스를 수정합니다.
학습 전략: VisAlign은 베이스라인 LVLM(예: Video-LLaVA)의 표준 사전 학습 및 파인튜닝 단계와 함께 학습됩니다. 사전 학습 단계에서는 LLM이 고정된 상태에서 투영 및 선형 레이어가 학습되며, 파인튜닝 단계에서는 전체 모델이 엔드투엔드(end-to-end)로 학습됩니다.

3. 주요 기여

모달리티 불균형의 체계적 분석: 본 논문은 (어텐션 점수 시각화를 통해) 표준 LVLM이 강력한 텍스트 토큰 편향을 보이며, 이로 인해 시각적 콘텐츠에 대한 어텐션이 파편화된다는 실증적 근거를 제시합니다.
단순하고 효과적인 완화 전략: VisAlign은 시각적 컨텍스트를 텍스트 토큰에 직접 임베딩함으로써 어텐션을 재조정하는 경량 솔루션을 제공하며, 정렬(alignment)의 단계를 어텐션 단계에서 임베딩 단계로 전환합니다.
일반화 가능성: 이 방법은 Video-LLaVA뿐만 아니라 LLaVA 1.5 및 Open-Qwen2VL과 같은 다른 최첨단 모델에서도 효과적임을 입증했습니다.
상보성: 이 접근 방식은 추론 시 디코딩 전략(예: Visual Contrastive Decoding)과 직교(orthogonal)하며, 이를 결려 결합된 개선을 이룰 수 있습니다.

4. 실험 결과

저자들은 여러 환각 벤치마크에서 VisAlign을 평가하였으며, 일관되고 통계적으로 유의미한 향상을 보고했습니다:

MMVP-MLLM: 정확도에서 +9.33% 향상을 달성하여 미세한 시각적 식별 능력이 강화되었음을 보여주었습니다.
POPE (A-OKVQA): 정확도 +2.99%, 정밀도(precision) +1.76%, F1-스코어 **+1.18%**를 개선하여 객체 수준의 환각이 감소했음을 나타냈습니다.
Merlin: 사실적 일관성 및 객체 존재 검증에서 최대 **+3.4%**의 향상을 보였습니다.
HallusionBench: 암기된 지식보다 시각적 근거가 중요한 작업(예: 지도, OCR, 표)에서 하드 데이터 분할(hard-data split)에 대해 **+3%**의 향상을 달성했습니다.
Mementos: 로보틱스 도메인에서 객체(+1.13%) 및 동작(+0.97%) 환각 모두에서 이득을 보였으나, 만화(Comics)나 일상생활(Daily Life)과 같은 복잡한 도메인에서의 개선은 다소 완만했습니다.
일반화: LLaVA 1.5 및 Open-Qwen2VL에 적용했을 때, VisAlign은 일관되게 환각을 줄이고 POPE 벤치마크 성능을 향상시켰습니다.
비교: VisAlign은 추론 시점의 방법인 Visual Contrastive Decoding(VCD) 단독 사용보다 우수한 성능을 보였습니다. VisAlign과 VCD를 결합했을 때 가장 높은 전체 성능을 기록하여, 두 방법의 상보적 성격을 확인했습니다.

5. 의의 및 주장

본 논문은 LVLM의 환각이 현재 아키텍처의 구조적 비대칭성, 즉 사전 학습된 LLM이 추론 과정을 지배하는 것과 근본적으로 연결되어 있다고 주장합니다. 텍스트 임베딩을 정제하여 전역 시각 컨텍스트를 포함함으로써, VisAlign은 모델이 시각적 증거에 더 균등하게 주목하도록 강제하고 언어적 우선순위에 대한 의존도를 낮춥 most 합니다.

저자들은 VisAlign을 아키텍처의 전면적인 개편이나 외부 감독 없이도 시각적 근거 능력을 향상시키는 단순하면서도 원칙적인 접근법으로 포지셔닝합니다. 또한, 이 방법이 시각적 근거 작업에서는 성능을 크게 높이지만, 암기된 세상 지식(world knowledge)의 활용이 유리한 지식 집약적 카테고리(예: 랜드마크, 유명인)에서는 약간의 성능 트레이드오프가 발생할 수 있음을 언급합니다. 이 연구는 안전이 중요한 애플리케이션에서 다중 모달 추론의 신뢰성을 높이기 위한 표현 수준의 정렬(representation-level alignment) 연구에 영감을 주는 것을 목표로 합니다.