HALP: Detecting Hallucinations in Vision-Language Models without Generating a Single Token

이 논문은 텍스트 생성 전에 VLM 의 내부 표현을 단일 순전파로 분석하여 토큰 생성 없이도 환각을 탐지할 수 있음을 입증하고, 이를 통해 안전성과 효율성을 동시에 개선할 수 있는 경량 프로브의 가능성을 제시합니다.

핵심

이 논문은 **"생각하기 전에 이미 '거짓말'을 할지 알 수 있을까?"**라는 흥미로운 질문에서 시작합니다.

최근 인공지능 (VLM) 이 사진을 보고 설명을 해주는 기술이 엄청나게 발전했지만, 문제는 이 AI 가 사실과 다른 내용을 아주 자신 있게 말해버리는 '환각 (Hallucination)' 현상이 자주 발생한다는 점입니다. 예를 들어, 사진에 없는 개가 있다고 하거나, 없는 숫자를 계산해내는 거죠.

기존에 이 문제를 해결하려는 방법들은 대부분 "AI 가 말을 다 끝낸 다음에" 그 내용을 검사하는 방식이었습니다. 마치 시험지를 다 쓴 후 채점하는 것과 비슷해서, 이미 잘못된 말을 해버린 뒤라 수정하기 어렵고 시간도 많이 걸립니다.

이 논문 (HALP) 은 그 방식을 완전히 뒤집었습니다. **"AI 가 한 마디도 하기 전에, 그 '생각하는 과정'만 보고 거짓말을 할지 미리 예측하자!"**는 것입니다.

🕵️‍♂️ 핵심 비유: "말하기 전의 표정 읽기"

이 기술을 이해하기 위해 무대 위의 배우를 상상해 보세요.

1. 기존 방식 (후발적 검사): 배우가 대본을 다 읽고 무대에서 연기를 끝낸 뒤, 감독이 "아까 그 대목은 대본과 달라서 틀렸네"라고 지적합니다. 이미 관객은 잘못된 연기를 보고 말았죠.
2. HALP 방식 (사전 예측): 배우가 대본을 보고 아직 입을 열기 직전, 눈빛이나 표정, 숨소리에서 "이 대목은 내가 잘 모르는 것 같아"라는 신호가 느껴지면, 감독이 즉시 "잠깐! 그 부분은 말하지 마!"라고 멈추게 합니다.

HALP 는 이 '표정'을 읽는 수석 감식관 (프로브) 역할을 합니다.

🛠️ 어떻게 작동할까요? (3 가지 신호)

HALP 는 AI 가 사진을 보고 질문을 받았을 때, **한 번의 계산 (Forward Pass)**만으로 AI 의 뇌속에서 일어나는 3 가지 신호를 살펴봅니다.

1. 순수한 눈 (Visual Features): AI 가 사진을 처음 봤을 때의 순수한 시각 정보입니다. "눈이 뭐가 보이는데?"라고 물어보는 단계죠.
2. 눈과 말의 중간 (Vision Tokens): 시각 정보를 언어 모델이 이해할 수 있게 변환하는 중간 단계입니다. "이게 개인가, 고양이인가?"라고 고민하는 단계죠.
3. 질문과 답변의 만남 (Query Tokens): 질문을 완전히 이해하고, 시각 정보와 합쳐서 정답을 말하기 직전의 상태입니다. "아, 이제 입을 열어야겠다"라고 결정하는 순간이죠.

🔍 연구 결과: 무엇이 가장 중요할까?

연구진은 8 가지 최신 AI 모델 (Gemma, Llama, Qwen 등) 을 실험해 보았습니다. 결과는 매우 흥미로웠습니다.

• 대부분의 모델: 질문을 이해하고 답변을 준비하는 **마지막 단계 (Query Tokens)**에서 거짓말을 할지 가장 잘 예측할 수 있었습니다. (정확도 93% 이상!)
  • 비유: 배우가 대본을 다 읽고 "자, 이제 연기 시작!"이라고 외치기 직전의 긴장감이 가장 진실한 신호를 보낸다는 뜻입니다.
• 일부 모델: 어떤 모델은 순수한 눈 (Visual Features) 단계만으로도 거짓말을 잘 예측했습니다.
  • 비유: 어떤 배우는 대본을 읽기 전, 무대만 보고도 "이건 내가 모른다"라고 직감하는 경우가 있다는 뜻입니다.

💡 왜 이 기술이 혁명적인가요?

1. 비용 절감: AI 가 긴 글을 다 생성하고 나서 검사할 필요 없이, 한 번의 계산으로 위험을 감지합니다. 전기세도 아끼고 시간도 절약됩니다.
2. 실시간 안전: 자율주행차나 의료 진단처럼 실시간이 중요한 분야에서, AI 가 엉뚱한 말을 하기 전에 "잠깐, 이 부분은 확신이 없으니 말하지 마"라고 막을 수 있습니다.
3. 선택적 대응:
   • 위험도가 낮으면: AI 가 바로 답변합니다.
   • 위험도가 높으면: AI 가 "저는 잘 모르겠어요"라고 정중히 거절하거나, 더 똑똑한 AI 로 넘겨줍니다.

🚀 결론

이 논문은 **"AI 가 거짓말을 할지, 그 '의도'를 말하기 전에 미리 알아챌 수 있다"**는 것을 증명했습니다.

마치 스무고개 게임에서 상대방이 정답을 말하기 직전의 표정만 보고 "아, 너 지금 거짓말하고 있구나!"라고 눈치채는 것과 같습니다. 이 기술이 상용화되면, 우리는 더 안전하고 신뢰할 수 있는 AI 와 함께 살 수 있게 될 것입니다.

한 줄 요약: "AI 가 거짓말을 하기 전, 그 '생각하는 뇌'를 훔쳐봐서 미리 경고하는 기술!"

기술 요약

1. 문제 정의 (Problem)

시각 - 언어 모델 (VLM) 은 이미지 기반의 텍스트 생성에서 뛰어난 성능을 보이지만, **할루시네이션 (Hallucination)**이라는 심각한 문제를 안고 있습니다. 이는 모델이 실제 이미지에 존재하지 않는 객체를 묘사하거나, 사실과 다른 정보를 확신에 차서 생성하는 현상입니다.

• 기존 방법의 한계: 현재 존재하는 할루시네이션 탐지 방법 (CHAIR, POPE 등) 은 대부분 텍스트 생성이 완료된 후 (Post-generation) 에 수행됩니다. 이는 생성된 전체 텍스트를 분석해야 하므로 계산 비용이 크고, 실시간으로 개입하기 어렵습니다.
• 핵심 과제: 텍스트를 생성하기 **전 (Pre-generation)**에 모델 내부의 상태를 분석하여 할루시네이션 발생 위험을 예측하고, 이를 통해 생성을 중단하거나 수정할 수 있는 효율적인 방법이 필요합니다.

2. 제안 방법: HALP (Methodology)

저자들은 **HALP (HALlucination Prediction via Pre-Generation Probing)**라는 경량 프레임워크를 제안합니다. 이는 텍스트 생성이 시작되기 전, 모델의 내부 표현 (Internal Representations) 을 단일 순전파 (Single Forward Pass) 로만 분석하여 할루시네이션 위험을 예측합니다.

핵심 메커니즘

HALP 는 VLM 의 파이프라인에서 생성 전 단계에 세 가지 유형의 내부 표현을 추출하여 경량 MLP(다층 퍼셉트론) 프로브 (Probe) 를 학습시킵니다.

1. 시각적 특징 (Visual Features, VF):
   • 비전 인코더 (Vision Encoder) 에서 이미지를 처리한 후, 멀티모달 프로젝션 레이어를 거치기 전의 전역 평균 풀링 (Mean-pooled) 된 시각적 특징 벡터입니다.
   • 순수한 시각적 인식 신호를 기반으로 합니다.
2. 비전 토큰 표현 (Vision Token Representations, VT):
   • 텍스트 디코더 (LLM) 내부에서, 마지막 비전 토큰 (Vision Token) 위치의 숨겨진 상태 (Hidden States) 입니다.
   • 멀티모달 융합이 진행 중인 디코더 레이어의 시각 정보 처리 상태를 반영합니다.
3. 쿼리 토큰 표현 (Query Token Representations, QT):
   • 텍스트 디코더 내부에서, 마지막 쿼리 토큰 (질문 텍스트) 위치의 숨겨진 상태입니다.
   • 시각 토큰과 텍스트 토큰이 완전히 통합된 후, 텍스트 생성 직전의 멀티모달 추론 상태를 포함합니다.

이 세 가지 표현 각각에 대해 이진 분류기 (할루시네이션 발생 여부) 를 학습시켜, 생성 시작 전 위험 점수 (0~1) 를 산출합니다.

3. 주요 기여 (Key Contributions)

1. 생성 전 탐지 가능성 입증: 텍스트를 한 토큰도 생성하지 않고도 VLM 의 내부 표현만으로 할루시네이션 위험을 높은 정확도로 예측할 수 있음을 증명했습니다.
2. 다양한 아키텍처에 대한 포괄적 평가: Llama-3.2-Vision, Gemma-3, Phi-4-VL, Qwen2.5-VL 등 최신 8 개의 오픈소스 VLM 을 대상으로 실험하여 방법론의 일반화 가능성을 검증했습니다.
3. 모델별 최적 신호의 차이 규명: 모든 모델에서 동일한 레이어나 표현이 최적인 것은 아니며, 아키텍처에 따라 할루시네이션 신호가 가장 강하게 나타나는 지점 (Visual-only vs. Query-token) 이 다르다는 것을 발견했습니다.
4. 실용적 적용 가능성 제시: 생성 비용 없이 실시간으로 위험을 평가할 수 있어, '조기 거부 (Early Refusal)'나 '선택적 라우팅 (Selective Routing)'과 같은 안전 장치를 구현할 수 있는 기반을 마련했습니다.

4. 실험 결과 (Results)

10,000 개의 샘플로 구성된 벤치마크 (AMBER, POPE, MathVista 등) 를 사용하여 8 개 모델에 대한 실험을 수행했습니다.

• 성능 지표 (AUROC):
  • 쿼리 토큰 (QT) 표현이 대부분의 모델에서 가장 우수한 성능을 보였습니다. 특히 Gemma-3-12B, Phi-4-VL, Molmo-7B에서 QT 기반 프로브가 0.93 AUROC에 달하는 높은 정확도를 기록했습니다.
  • **시각적 특징 (VF)**만으로도 Qwen2.5-VL-7B (0.79 AUROC) 와 Llama-3.2-Vision (0.77 AUROC) 에서 강력한 탐지 성능을 보여주어, 일부 모델은 멀티모달 융합 전에도 위험 신호가 명확함을 시사했습니다.
  • **비전 토큰 (VT)**은 모델에 따라 성능이 일관되지 않았으며, 일반적으로 QT 보다 낮은 성능을 보였습니다.
• 레이어별 분석:
  • 대부분의 모델에서 디코더의 **깊은 레이어 (Deep Layers)**일수록 할루시네이션 예측 신호가 강해졌습니다 (예: Gemma-3 의 경우 레이어 1 에서 0.71 에서 시작해 마지막 레이어에서 0.93 으로 상승).
  • 반면, FastVLM-7B 와 같은 일부 모델은 중간 레이어에서 비전 토큰 기반의 최적 성능을 보여 아키텍처별 특이성을 드러냈습니다.
• 도메인별 분석:
  • 시간/비디오 (Temporal & Video) 및 지식/정체성 (Knowledge & Identity) 도메인에서는 할루시네이션 발생률이 높고 탐지 난이도도 높았습니다.
  • 속성 인식 (Attribute Recognition) 및 OCR 도메인에서는 상대적으로 낮은 위험과 높은 탐지 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 실시간 안전성 확보: HALP 는 생성 과정에 개입하지 않고도 (Zero-generation overhead) 할루시네이션 위험을 예측하므로, 자율 주행, 의료 영상 분석 등 고위험 분야에서 실시간으로 모델의 출력을 차단하거나 신뢰도를 평가하는 데 필수적입니다.
• 효율성: 전체 텍스트를 생성하고 검증하는 기존 방식에 비해 계산 비용이 극도로 낮습니다. 프로브 추론 시간은 생성 시간의 1% 미만이었습니다.
• 적용 전략:
  • 조기 거부 (Early Refusal): 위험 점수가 임계값을 초과하면 답변을 생성하지 않고 "불확실함"을 표기하거나 요청을 거절합니다.
  • 선택적 라우팅: 위험도가 높은 입력은 더 강력한 모델이나 도구 (Tool-augmented) 로 라우팅하고, 낮은 입력은 기본 모델로 처리하여 효율성을 극대화합니다.

결론적으로, HALP 는 VLM 의 할루시네이션 문제를 사후 처리가 아닌 사전 예방 (Pre-emptive) 차원에서 해결할 수 있는 강력한 도구이며, 모델 아키텍처에 따라 최적의 탐지 지점을 선정함으로써 안전하고 효율적인 멀티모달 AI 배포를 가능하게 합니다.