💻 computer science

Prefill-Time Intervention for Mitigating Hallucination in Large Vision-Language Models

본 논문은 사전 채우기 단계에서 표현을 보정하여 오류 누적을 방지함으로써 대규모 시각-언어 모델의 환각을 완화하는 새로운 모달리티 인식형 조향 패러다임인 사전 채우기 개입 (PTI) 을 제안하며, 이는 기존 디코딩 단계 방법보다 우수한 성능을 보이는 플러그 앤 플레이 솔루션을 제공한다.

원저자: Chengsheng Zhang, Chenghao Sun, Xinyan Jiang, Wei Li, Xinmei Tian

게시일 2026-04-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chengsheng Zhang, Chenghao Sun, Xinyan Jiang, Wei Li, Xinmei Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대 시각-언어 모델 (LVLM) 을 매우 똑똑하지만 약간 망상하기 쉬운 가이드로 상상해 보세요. 당신은 그에게 사진을 보여주고, 그가 무엇을 보는지 설명하기 시작하게 합니다. 문제는 이 가이드가 때로는 너무 몰입한다는 점입니다. 그는 사진 속 개를 보고도 "그 옆에 고양이가 앉아 있습니다"라고 자신 있게 말하는데, 실제 고양이 같은 것은 존재하지 않습니다. 이를 할루시네이션이라고 합니다.

오랫동안 연구자들은 가이드가 말하는 동안 바로잡아 주는 속삭임으로 이를 해결하려 했습니다. 가이드가 실수를 할 때마다 "잠깐, '고양이'라고 말하지 마!"라고 말했던 것입니다. 이 논문은 이를 **디코딩 시간 개입 (Decoding-Time Intervention)**이라고 부릅니다.

이 논문의 저자들은 이 접근법이 언덕을 굴러내려가는 눈덩이를 몇 인치마다 밀어붙여 멈추게 하려는 것과 같다고 주장합니다. 당신이 밀어붙일 때쯤이면 이미 많은 눈 (오류) 을 붙여놓았을 테고, 당신의 밀어붙임은 오히려 눈덩이를 더 빠르게 굴리거나 더 나쁜 방식으로 부서지게 만들 수 있습니다. 저자들은 이를 "눈덩이 효과"라고 부릅니다.

새로운 아이디어: 지붕이 아닌 기초를 수리하자

저자들은 **프리필 시간 개입 (Prefill-Time Intervention, PTI)**이라는 새로운 방법을 제안합니다.

가이드가 말하고 있는 동안 수정을 시도하는 대신, 그가 단 한 마디도 하기 전에 그의 정신 상태를 바로잡는 것입니다.

다음은 그들이 사용하는 간단한 비유를 통해 설명하는 방법입니다:

1. "프리필 (Prefill)" 단계: 식탁 차리기
가이드가 말을 시작하기 전에, 그는 사진을 보고 그곳에 있는 것들의 정신적 지도를 그립니다. 컴퓨터 용어로 이는 **KV 캐시 (Key-Value Cache)**라고 합니다. 이를 가이드의 "작업 기억"이나 연설을 시작하기 전에 작성하는 메모로 생각하세요.

옛 방식: 가이드가 메모를 작성하고, 말을 시작하며, 실수를 저지른 뒤, 누군가가 연설이 진행되는 동안 메모를 수정하려 합니다.
PTI 방식: 가이드가 메모를 작성하고, 말을 시작하기 전에 전문가가 개입하여 그 메모를 완벽하게 다듬습니다.

2. "모달리티 인식 (Modality-Aware)" 반전: 두 가지 다른 렌즈
이 논문은 가이드가 혼란을 겪는 이유는 그가 보는 것 (이미지) 과 읽는 것 (텍스트) 을 섞어놓기 때문이라고 지적합니다.

시각 렌즈: 저자들은 가이드에게 사진 속 객체 (말이나 싱크대 등) 에만 집중하고 배경 잡음 (잔디나 욕실 타일 등) 은 무시하도록 가르칩니다. 이를 위해 가이드에게 객체만 있는 사진을 보여주고, 그다음 배경만 있는 사진을 보여준 뒤 그 차이를 가르칩니다.
텍스트 렌즈: 그들은 또한 가이드에게 객체를 설명하는 특정 단어 (예: "말") 에 집중하고 불필요한 단어는 무시하도록 가르칩니다.

3. "한 번의" 수정
가이드가 이러한 완벽해진 메모 (강화된 KV 캐시) 를 갖게 되면, 말을 시작합니다. PTI 의 마법은 한 번만 개입한다는 점에 있습니다. 그들은 계속해서 속삭이며 수정하지 않습니다. 기초를 완벽하게 다져놓기 때문에 가이드는 자연스럽게 개만 있을 때 "고양이" 같은 없는 것을 만들어내지 않게 됩니다.

왜 이것이 더 나은가?

이 논문은 몇 가지 핵심 비유를 사용하여 기존 방법과 그들의 방법을 비교합니다:

눈덩이 대 씨앗: 기존 방법들은 눈덩이 (오류) 가 굴러가기 시작한 후 이를 멈추려 합니다. PTI 는 더 나은 씨앗 (초기 기억) 을 심어 눈덩이가 잘못된 방향으로 굴러가기 시작하지 않도록 합니다.
잡음 필터: 가이드가 시끄러운 방 안에 있다고 상상해 보세요. 옛 방법들은 가이드가 말하려고 시도하는 동안 잡음을 무시하라고 말하려 합니다. PTI 는 가이드가 방에 들어가기 전에 소음 제거 헤드폰을 끼워주어 처음부터 객체를 명확하게 듣게 합니다.
"플러그 앤 플레이" 도구: 저자들은 PTI 가 가이드의 뇌를 교체할 필요가 없음을 보여줍니다. 이는 기존 가이드 (다른 AI 모델) 에 추가하여 즉시 더 신뢰할 수 있게 만드는 플러그인 같은 것입니다. 처음부터 다시 학습시킬 필요 없이 말이죠.

결과

이들은 LLaVA, Qwen-VL, DeepSeek-VL 등 세 가지 다른 유형의 AI 가이드에서 이를 테스트했을 때 결과가 명확했습니다:

거짓말 감소: 가이드들이 사진 속 객체에 대해 훨씬 적은 실수를 저질렀습니다.
"눈덩이 효과" 부재: 가이드가 작은 실수를 저지르더라도 그것이 길고 혼란스러운 거짓말로 번지지 않았습니다.
속도: 처음에 메모를 한 번만 수정하기 때문에 가이드가 느려지지 않습니다. 이전과 똑같이 빠르게 말합니다.

요약하자면, 이 논문은 AI 가 말을 시작하기 전에 AI 의 "메모"를 정리하고 이미지와 텍스트를 별도로 처리함으로써, AI 가 존재하지 않는 것에 대해 망상하는 것을 막을 수 있다고 주장합니다.

"대형 시각 - 언어 모델의 환각 완화 위한 생성 전 개입" 논문에 대한 상세한 기술 요약입니다.

1. 문제 제기

대형 시각 - 언어 모델 (LVLM) 은 시각적 입력에 대해 사실적으로 잘못되거나 일관성 없는 설명 (예: 상상된 객체, 잘못된 속성, 존재하지 않는 관계) 을 생성하는 환각 현상을 겪습니다.

현재 해결책의 한계: 기존 최첨단 방법들은 주로 생성 시 개입 (Decoding-Time Intervention, DTI) 을 사용합니다. 이러한 방법들은 토큰 생성 (복호화) 단계 동안 은닉 상태에 지속적으로 조향 벡터를 적용합니다.
핵심 문제: 저자들은 DTI 의 치명적인 결함을 규명했습니다. DTI 는 환각의 빈도를 줄일 수는 있지만, 우연히도 잔류 오류의 심각성을 악화시킵니다. 초기 오류가 발생하면 LLM 의 자기회귀적 특성으로 인해 이러한 오류가 누적되어 "눈덩이"처럼 커지며, 점진적으로 열화되는 출력을 초래합니다. DTI 는 오류가 계산된 후 반응적으로 작동하며, 시각 및 텍스트 표현 간의 불일치 근본 원인을 해결하지 못하는 모달리티 무관 벡터를 종종 사용합니다.

2. 방법론: 생성 전 개입 (Prefill-Time Intervention, PTI)

저자들은 PTI를 제안했습니다. 이는 개입을 복호화 단계에서 생성 전 (prefill) 단계로 이동시키는 새로운 패러다임입니다. PTI 는 오류가 발생하는 즉시 수정하는 대신, 생성이 시작되기 전에 모델의 초기 상태를 형성합니다.

핵심 원칙

개입 시기: PTI 는 초기 키 - 값 (KV) 캐시가 구축되는 생성 전 단계 동안 단 한 번만 개입합니다. 이는 자기회귀 루프가 시작되기 전에 오류 누적을 방지합니다.
대상: PTI 는 거시적인 은닉 상태 대신 미세한 KV 캐시를 대상으로 합니다. KV 캐시는 후속 단계의 어텐션 메커니즘을 결정하는 활성 메모리입니다.
개입 방식 (모달리티 인식 및 분리): PTI 는 시각 및 텍스트 모달리티에 대한 고유한 조향 방향을 유도하며, 키(어디에 주의를 기울일지 결정) 와 값(무엇을 집계할지 결정) 에 대한 개입을 분리합니다.

기술 워크플로우

이 방법은 두 단계로 작동합니다:

1 단계: 객체 방향 추출 (학습 불필요)
MSCOCO 와 같은 데이터셋을 사용하여 저자들은 배경 노이즈에서 객체 신호를 분리하기 위해 대비 쌍을 구성합니다:

시각 추출:
- 양성 샘플: 배경을 마스킹한 대상 객체만 포함된 이미지.
- 음성 샘플: 객체를 마스킹한 배경만 포함된 이미지.
- 결과: KV 캐시의 차이를 계산하여 시각 조향 벡터( $S_{k,img}, S_{v,img}$ ) 를 유도합니다.
텍스트 추출:
- 양성 샘플: 앵커 단어 (객체 이름) 를 포함한 캡션.
- 음성 샘플: 앵커 단어가 마스킹된 캡션 (문맥만 포함).
- 결과: 차이를 계산하여 텍스트 조향 벡터( $S_{k,txt}, S_{v,txt}$ ) 를 유도합니다.
참고: 이 벡터에서 노이즈를 제거하기 위해 PCA 를 적용합니다.

2 단계: 하류 개입
새로운 작업에 대한 추론 중:

모델은 입력 프롬프트를 처리하여 초기 KV 캐시를 생성합니다.
시각 개입: 시각 조향 벡터가 시각 토큰 위치의 키 및 값 캐시에 추가됩니다.
- 키: 시각적으로 근거된 객체에 주의를 집중하도록 조향됩니다.
- 값: 배경 노이즈를 필터링하도록 조향됩니다.
텍스트 개입: 텍스트 조향 벡터가 특정 텍스트 토큰 위치 (보통 마지막 토큰) 의 키 및 값 캐시에 추가됩니다.
- 이는 언어적 표현을 객체 근거 개념으로 조향합니다.
모델은 이 강화된 초기 캐시를 사용하여 표준 자기회귀 복호화를 진행합니다.

3. 주요 기여

새로운 패러다임: 복호화 중 반응적으로 대응하는 대신 초기 KV 캐시를 수정함으로써 환각을 해결하는 생성 전 개입을 최초로 도입했습니다.
모달리티 인식 분리: 이전 방법들이 균일한 벡터를 사용한 것과 달리, PTI 는 시각 및 텍스트 입력에 대한 고유한 방향을 유도하고 키 (주요 집중) 와 값 (정보 집계) 을 별도로 조향합니다.
직교성: PTI 는 기존 복호화 단계 방법과 직교하여, 추가적인 성능 향상을 위해 다른 기법과 함께 ("플러그 앤 플레이") 결합될 수 있습니다.
효율성: 개입이 시작 시 한 번만 발생하므로, PTI 는 여러 순전파 또는 지속적인 개입이 필요한 방법에 비해 무시할 수 있는 계산 오버헤드를 도입합니다.

4. 실험 결과

저자들은 여러 벤치마크에 걸쳐 세 가지 다른 LVLM 아키텍처 (LLaVA-1.5, Qwen-VL-Chat, DeepSeek-VL-Chat) 에서 PTI 를 평가했습니다.

객체 환각 (CHAIR 벤치마크):
- PTI 는 문장 수준 (CHAIRS) 및 인스턴스 수준 (CHAIRI) 환각율을 모두 크게 감소시켰습니다.
- Greedy, Beam Search, Nucleus Sampling 전략 전반에 걸쳐 기존 최첨단 학습 불필요 방법 (VISTA, VTI, PAI) 을 능가했습니다.
- 특히 PTI 는 초기 오류의 전파를 방지하여 "눈덩이 효과"를 감소시켰습니다.
종합 벤치마크:
- POPE: PTI 는 특히 까다로운 "Adversarial" 분할에서 우수한 정확도와 F1 점수를 달성했습니다.
- AMBER: 존재, 속성, 관계 탐지 분야에서 성능이 향상되었습니다.
- MMHal-Bench 및 MME: PTI 는 복잡한 추론 작업 (계수, 공간 관계, 속성) 에서 상당한 향상을 보여주어 개선된 미세한 시각적 근거 능력을 입증했습니다.
효율성: PTI 는 거의 손실 없는 처리량 (원본의 0.98 배~0.99 배) 과 지연 시간을 유지한 반면, 대비 복호화 방법 (VCD 등) 은 지연 시간을 거의 두 배로 늘렸습니다.

5. 중요성 및 영향

이론적 통찰: 이 논문은 환각 완화는 복호화 중에 발생해야 한다는 지배적인 관점에 도전합니다. 이는 반응적 수정보다 초기 상태 (KV 캐시) 를 형성하는 것이 더 효과적임을 입증합니다.
실용적 유용성: PTI 는 계산적으로 효율적인 학습 불필요, 플러그 앤 플레이 솔루션을 제공합니다. 이는 지연 시간과 자원 제약이 중요한 실제 배포에 매우 적합합니다.
일반화 가능성: 이 방법은 다양한 모델 아키텍처 및 복호화 전략에서 작동하며, 추출된 조향 벡터는 모델 간 이전 가능성을 보여줍니다. 이는 객체 근거를 위한 보편적인 메커니즘을 포착하고 있음을 시사합니다.

요약하자면, PTI는 "누수를 수리하는 것 (복호화 스트림)" 대신 "원천을 청소하는 것 (초기 KV 캐시)"으로써 환각 문제를 해결하여 오류가 시작되기 전에 눈덩이처럼 커지는 것을 효과적으로 막습니다.