🤖 AI

Adaptive Residual-Update Steering for Low-Overhead Hallucination Mitigation in Large Vision Language Models

본 논문은 다양한 아키텍처에서 높은 처리량을 유지하면서 환각 발생률을 현저히 낮추기 위해, 프리필 잔여 업데이트에서 유도된 적응형 증거 기반 시각적 앵커를 디코딩 과정에 주입함으로써 대규모 비전-언어 모델의 환각을 완화하는 저오버헤드 프레임워크인 RUDDER를 제안합니다.

원저자: Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

게시일 2026-05-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhengtao Zou, Ya Gao, Jiarui Guan, Bin Li, Pekka Marttinen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 아주 똑똑한 로봇 비서가 사진을 보고 그 내용을 소리 내어 설명한다고 말입니다. 이 로봇은 훌륭하지만, 재미있는 버릇이 하나 있습니다. 때로는 자신의 '단어 연상'에 너무 확신을 가지게 되어, 사실 없는 것을 만들어 내는 것입니다.

예를 들어, 책이 놓인 탁자의 사진을 보여주면, 로봇은 "탁자 위에 책과 컵이 있습니다"라고 말할 수 있습니다. 사진에 컵이 전혀 없더라도, 로봇은 '책'과 '컵'이 이야기에서 자주 함께 등장한다는 것을 알고 있으므로, 컵을 환각 (상상) 합니다.

이런 일이 발생하는 이유는 로봇이 말을 이어갈수록 실제 사진에 대한 기억이 희미해지기 때문입니다. 마치 배경에서 노래가 점점 작아지는 동안 로봇의 내부 목소리가 더 커지는 것과 같습니다.

이 논문은 로봇의 속도를 늦추지 않고 이 문제를 해결하는 새로운 방법인 RUDDER를 소개합니다. 간단한 비유를 통해 작동 원리를 설명해 보겠습니다.

1. 문제: 희미해지는 닻

로봇이 보는 사진을 현실에 묶어 두는 닻이라고 생각해 보세요.

문제점: 로봇이 말을 시작하면 이 닻이 끌려가 버립니다. 로봇은 사진을 보지 않고, 그곳에 있어야 할 것이라고 생각하는 것에 기반해 추측하기 시작합니다.
기존 해결책: 이전 방법들은 로봇이 말을 멈추고, 다시 사진을 읽은 뒤 다시 시도하도록 하여 이를 고치려 했습니다. 이는 학생에게 에세이 쓰기를 멈추고, 도서관으로 돌아가 책을 다시 읽은 뒤 계속 쓰라고 하는 것과 같습니다. 효과는 있지만, 시간이 너무 오래 걸리고 매우 느립니다.

2. 해결책: RUDDER (시각적 닻 시스템)

RUDDER 는 로봇이 멈추거나 사진을 다시 읽지 않아도 닻이 로봇의 손에 묶여 있게 하는 영리한 방법입니다. 이는 두 단계로 이루어집니다.

단계 A: '스냅샷' (CARD)

로봇이 말을 시작하기 전에, 사진의 가장 중요한 세부 사항에 대한 빠르고 일회성 '스냅샷'을 찍습니다.

비유: 로봇이 사진의 정신적 사진을 찍고, 이미지에 정확히 무엇이 있는지 요약하는 강력하고 단일한 문장을 작성한다고 상상해 보세요. 로봇은 이를 CARD(Contextual Activation Residual Direction, 문맥 활성화 잔류 방향) 라고 부릅니다.
특별한 점: 이 정보는 사진이 로봇의 마음속에 아직 생생할 때 포착됩니다. 나중에 새로운 사진을 찍을 필요가 없습니다. 로봇은 이 '증거 방향'을 나침반처럼 붙잡고 있을 뿐입니다.

단계 B: '스마트 게이트' (Beta Gate)

이제 로봇이 한 단어씩 말을 이어갈 때, 그 나침반을 언제 사용해야 하는지 알아야 합니다.

기존 방법의 문제점: 로봇이 말을 할 때마다 나침반을 보도록 강요하면, 문법이나 연결어 (예: "the"나 "and") 에 대해 말할 때 혼란을 겪을 수 있습니다.
RUDDER 의 해결책: RUDDER 는 Beta Gate를 사용하며, 이는 신뢰할 수 있는 신호등처럼 작동합니다.
- 초록불: 로봇이 사진과 일치하는 것에 대해 말할 때 (예: "빨간 차"), 게이트는 초록불로 바뀝니다. "좋아, 길을 잘 가고 있어! 나침반을 계속 따라가."라고 말합니다.
- 빨간불: 로봇이 사진과 일치하지 않는 것에 대해 말하거나, 단순히 문법 단어를 사용할 때, 게이트는 빨간불로 바뀝니다. "멈춰! 여기서 사진 세부 사항을 강요하지 마. 문장을 자연스럽게 이어가."라고 말합니다.

3. 왜 이것이 중요한가

이 논문은 RUDDER 를 효율성을 위한 '마술'이라고 주장합니다.

추가 단계 없음: 사진을 다시 읽게 하여 속도를 늦추는 다른 방법들과 달리, RUDDER 는 단 한 번의 통과로 모든 작업을 처리합니다. 이는 로봇이 10 걸음마다 멈춰서 지도를 보는 대신, 걸으면서 나침반을 들고 있는 것과 같습니다.
속도: 로봇을 이전 속도의 거의 그대로 (원래 속도의 96%) 유지합니다.
정확도: 다양한 유형의 로봇 (모델) 에서 로봇이 (가짜 컵과 같은) 물체를 만들어 내는 것을 성공적으로 막아내며, 이러한 실수를 평균 약 24% 줄입니다.

요약

간단히 말해, RUDDER는 로봇에게 나침반 (시각적 증거) 과 스마트 신호등 (게이트) 을 제공합니다. 이 신호등은 로봇이 나침반을 볼 때와 그냥 말을 이어갈 때를 정확히 알려줍니다. 이로 인해 로봇은 느리거나 서툴러지지 않으면서도 자신이 보는 것에 대해 정직하게 유지됩니다.

기술 요약: 대규모 비전 언어 모델의 저오버헤드 환각 감소를 위한 적응형 잔차 업데이트 조향

1. 문제 제기

대규모 비전 - 언어 모델 (LVLM) 은 일반적으로 시각 입력을 언어 디코더의 접두어로 인코딩합니다. 모델이autoregressively(자기회귀적으로) 텍스트를 생성함에 따라, 이 초기 시각 정보는 "희석"되어 모델이 시각적 맥락보다는 내부 언어 사전 지식에 과도하게 의존하게 됩니다. 이러한 현상은 객체 환각의 주요 원인으로, 모델이 이미지에 존재하지 않는 객체를 자신 있게 묘사하는 경우 (예: "표면"이라는 언어적 연관성을 바탕으로 "컵"을 환각하는 경우) 가 발생합니다.

기존의 추론 시간 개입 (Inference-Time Intervention, ITI) 방법들은 대비 디코딩 (Contrastive Decoding) 또는 반복적 정제 (Iterative Refinement) 를 통해 이를 수정하려 시도합니다. 그러나 이러한 접근법들은 심각한 효율성 병목 현상에 직면해 있습니다. 일반적으로 여러 번의 순전파 (extra FWD) 또는 외부 분류기가 필요하여, 실제 배포를 저해하는 금지적인 지연 비용을 초래합니다. 효과성 (환각 감소) 과 효율성 (저지연 유지) 사이에는 중요한 절충 관계가 존재합니다.

2. 방법론: RUDDER

저자들은 추가적인 순전파 없이 지속적인 시각적 앵커를 생성하여 시각적 희석을 상쇄하도록 설계된 잔차 업데이트 지향 디코딩 규제 (Residual-Update Directed DEcoding Regulation, RUDDER) 프레임워크를 제안합니다. 이 방법은 단일 추론 pass 내에서 작동하며 두 가지 핵심 구성 요소로 이루어져 있습니다:

2.1. CARD 벡터 (Contextual Activation Residual Direction)

핵심 통찰은 시각적 신호가 필수적인 프리필 (prefill) 단계(이미지 및 프롬프트 토큰이 병렬로 처리되는 단계) 동안 잔차 스트림에서 최대한 보존된다는 점입니다.

추출: 프리필 단계 동안 RUDDER 은 대상 디코더 레이어 $l$ 에서 자기 주의 (self-attention) 잔차 업데이트 ( $\Delta^l_i$ ) 를 추출합니다.
집계: 이러한 업데이트는 모든 이미지 및 프롬프트 토큰에 걸쳐 풀링 (예: 평균 또는 크기 가중 평균) 되고 L2 정규화되어 샘플별 벡터 $v_{CARD}$ 를 형성합니다.
기능: 이 벡터는 토큰 표현에 대한 시각적 증거의 순 효과를 포착하는 견고한 이미지 조건부 방향을 나타냅니다. 이는 생성 궤적을 시각적 맥락으로 다시 유도하는 "시각적 앵커" 역할을 합니다.
비용: 추출은 표준 프리필 pass 동안 발생하므로 추가적인 순전파 비용은 0 입니다.

2.2. Beta 게이트 (적응형 조향 메커니즘)

문법적 또는 비시각적 토큰의 생성을 방해하지 않으면서 시각적 앵커를 주입하기 위해, RUDDER 은 베타 분포 (Beta Distribution) 기반의 적응형 게팅 메커니즘을 사용합니다.

신뢰 메커니즘: 오류 감지기로 작용하는 대신, 게이트는 "신뢰" 추정기로 기능합니다. 현재 은닉 상태 ( $h_{l,t}$ ) 와 $v_{CARD}$ 벡터 간의 코사인 유사도 ( $s_t$ ) 를 계산합니다.
수식화: 게이트 파라미터 ( $\alpha_t, \beta_t$ $α_{t}, β_{t}$ ) 는 $s_t$ $s_{t}$ 의 softplus 매핑을 사용하여 베타 - 베르누이 켤레 사후분포 (Beta-Bernoulli conjugate posterior) 에서 유도됩니다. 게이트 값 $g_t = \frac{\alpha_t}{\alpha_t + \beta_t}$ $g_{t} = \frac{α _{t}}{α _{t} + β _{t}}$ 는 개입의 강도를 결정합니다.
- 높은 정렬 ( $s_t \uparrow$ ): 생성이 시각적 증거와 일관됨을 나타냅니다. 게이트는 지상화된 궤적을 유지하기 위해 주입을 강화합니다.
- 낮음/부정적 정렬 ( $s_t \downarrow$ ): 불확실성 또는 비시각적 맥락 (예: 문법적 토큰) 을 나타냅니다. 게이트는 과도한 조향을 방지하고 유창성을 보존하기 위해 개입을 억제합니다.
주입: 조향 벡터 $v^{steer}_t = (\alpha_{max} \cdot g_t) \cdot v_{CARD}$ 는 디코딩 단계 중 Self-Attention 연산 직후, 구체적으로 답변 구간 (answer span) 내에서 잔차 스트림에 추가됩니다.

3. 주요 기여

CARD 벡터: 프리필 잔차 업데이트에서 지속적인 샘플별 시각적 앵커를 추출하는 방법으로, 추가 계산 없이 디코딩 전반에 걸쳐 모델을 시각적 맥락에 지상화 (grounded) 시킵니다.
Beta 게이트: 생성이 시각적 증거와 일치할 때만 교정을 적용하여 시각적 지상화와 유창성 사이의 균형을 맞추는, 베타 분포 기반의 훈련 불필요 (training-free) 적응형 게팅 메커니즘입니다.
일반화 능력: 이 방법은 아키텍처에 구애받지 않는 것으로 입증되었으며, 다양한 LVLM(LLaVA-1.5, Idefics2, InstructBLIP) 에서 효과적으로 작동하며 더 큰 모델 (LLaVA-1.5-13B) 과 현대적 아키텍처 (Qwen2.5-VL) 로 확장됩니다.
효율성: RUDDER 은 단일 순전파 내에서 작동하여 미미한 지연 (< 4% 오버헤드) 을 도입하고 원본 모델 대비 96.0% 처리량을 유지하며, 다중 pass 방법들을 크게 능가합니다.

4. 실험 결과

저자들은 RUDDER 을 표준 환각 벤치마크 (CHAIR, POPE) 와 일반 능력 벤치마크 (MME) 에서 평가했습니다.

환각 감소 (CHAIR): 오픈 엔디드 캡셔닝 벤치마크인 CHAIR 에서 RUDDER-Beta 는 일관되게 환각을 감소시켰습니다. 탐욕적 디코딩 (greedy decoding) 으로 테스트 시, 테스트된 모델들 간에 CHAIRs(문장 수준) 에서 평균 상대적 감소율 24.4%, CHAIRi(객체 수준) 에서 **23.6%**를 달성했습니다. 지연 비용을 피하면서 VISTA 및 VCD 와 같은 최첨단 방법들을 능가하거나 이에 필적하는 성능을 보였습니다.
객체 탐지 (POPE): 예/아니오 객체 질문 벤치마크인 POPE 에서 RUDDER 은 LLaVA-1.5, Idefics2, InstructBLIP 전반에 걸쳐 정확도와 F1 점수를 향상시켰으며, 종종 강력한 조향 기반 베이스라인들을 능가했습니다.
일반 능력 (MME): RUDDER 은 MME 벤치마크에서 일반 멀티모달 능력 (추론, 계수) 을 유지하거나 약간 향상시켜, 환각 감소가 일반 모델 성능의 대가를 치르지 않았음을 확인했습니다.
효율성: RUDDER-Beta 는 원본 모델 대비 96.0% 처리량을 유지했습니다. 반면, 추가 순전파가 필요한 방법들 (예: VISTA) 은 처리량이 약 58.1% 로 떨어졌습니다.
확장성: 이 방법은 LLaVA-1.5-13B 로 효과적으로 확장되었으며 Qwen2.5-VL-7B 로 일반화되어, POPE 성능을 향상시키면서 가장 낮은 인스턴스 수준 환각율 (CHAIRi: 7.0) 을 달성했습니다.

5. 중요성과 주장

본 논문은 RUDDER 이 환각 감소에서 흔히 발생하는 효과성 - 효율성 절충 관계를 해결한다고 주장합니다. 경량화된 "시각적 앵커"와 적응형 신뢰 메커니즘을 통해 시각 정보의 희석을 구조적으로 방지함으로써, RUDDER 은 실제 환경에서 LVLM 의 신뢰성을 향상시키기 위한 실용적이고 저오버헤드인 솔루션을 제공합니다.

저자들은 그들의 접근 방식이 **훈련 불필요 (training-free)**이며, 소수의 홀드아웃 검증 세트에서 하이퍼파라미터를 한 번만 보정하면 된다고 강조합니다. 그들은 RUDDER 을 반복적 정제나 여러 번의 순전파가 필요 없게 함으로써 고품질 모델 추론의 에너지 발자국을 줄이는 "그린 AI"를 향한 한 걸음으로 위치시킵니다.

한계점: 저자들은 RUDDER 이 하이퍼파라미터 (특히 개입 레이어, 조향 강도, 게이트 민감도) 에 민감하며, 각 특정 모델 아키텍처에 맞게 튜닝되어야 한다고 인정합니다. 향후 연구는 견고성과 배포 용이성을 개선하기 위한 자동화된 하이퍼파라미터 최적화에 초점을 맞출 것으로 제안됩니다.