🤖 machine learning

Instruction Lens Score: Your Instruction Contributes a Powerful Object Hallucination Detector for Multimodal Large Language Models

본 논문은 보조 모델이나 추가 학습 없이 기존 방법들을 능가하는 멀티모달 대규모 언어 모델을 위한 플러그 앤 플레이 객체 할루시네이션 탐지기인 인스트럭션 렌즈 스코어 (InsLen) 를 소개하며, 이는 인스트럭션 토큰 임베딩을 활용합니다.

원저자: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Runhe Lai, Xinhua Lu, Yanqi Wu, Jinlun Ye, Weijiang Yu, Ruixuan Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑한 로봇 도우미 (멀티모달 대규모 언어 모델) 가 있다고 상상해 보세요. 이 로봇은 사진을 보고 상세하게 설명할 수 있습니다. 당신이 "무엇이 보이나요?"라고 묻자 로봇이 말하기 시작합니다. 하지만 때때로 이 로봇은 너무 상상력이 풍부해지기도 합니다. 예를 들어, 스키를 타는 사람들이 있는 눈 덮인 산의 사진을 보고 자신 있게 "스키어 위에 빨간색 가방이 보입니다"라고 말하는데, 사실 사진에는 가방이 하나도 없습니다. 이를 **객체 환각 (Object Hallucination)**이라고 합니다.

이 논문은 이러한 거짓말을 잡아내기 위한 새로운 도구인 **지시 렌즈 점수 (Instruction Lens Score, InsLen)**를 소개합니다. 간단한 비유를 들어 작동 원리를 설명해 보겠습니다.

문제: "노이즈가 있는 카메라" 대 "똑똑한 안내자"

로봇의 시각 시스템을 때로는 나쁜 조명이나 반사에 혼란을 겪는 카메라로 생각해보세요. 카메라는 가방처럼 보이는 그림자를 보고 로봇의 뇌에 "야, 가방이 있어!"라고 말할 수 있습니다.

보통 다른 방법들은 로봇의 답변을 확인하기 위해 카메라의 원시 데이터 (시각 임베딩) 를 살펴봅니다. 하지만 카메라가 혼란스러우면 이 확인 과정은 실패합니다.

저자들은 놀라운 사실을 발견했습니다. 로봇의 지시 (Instructions) (즉, "이 이미지를 설명해 주세요"와 같이 당신이 입력한 텍스트) 는 똑똑한 안내자처럼 작용한다는 것입니다. 카메라에 노이즈가 있더라도, 이 똑똑한 안내자는 노이즈를 걸러내는 방법이 있습니다. 로봇이 당신의 지시를 읽을 때, 암묵적으로 사진에 실제로 무엇이 있는지 "알고" 있으며, 혼란스러운 카메라에서 오는 가짜 "가방" 신호를 무시할 수 있습니다.

해결책: "지시 렌즈 (Instruction Lens)"

연구자들은 스마트 안내자의 생각에 초점을 맞춘 확대경 역할을 하는 InsLen이라는 탐지기를 개발했습니다. 카메라의 것이 아니라요.

이들은 이를 두 가지 주요 검사로 나누어 설명합니다.

1. "현실 확인 (Reality Check)" (보정된 로컬 점수)

비유: 탐정 (카메라) 이 가방처럼 보이는 단서를 발견했다고 가정해 보세요. 하지만 현명한 판사 (지시) 는 같은 단서를 보며 "그건 가방이 아닌 것 같아. 그냥 그림자야"라고 말합니다.
작동 원리: 이 방법은 로봇이 가방을 보는 것에 대해 가진 "신뢰도"를 취합니다. 카메라는 가방에 대해 흥분하지만, "똑똑한 안내자 (지시)"는 매우 회의적이며 이에 대한 확률을 매우 낮게 부여한다면, 시스템은 신뢰도를 **보정 (낮추는)**해야 한다는 것을 알게 됩니다. 이는 효과적으로 "카메라는 거짓말을 하고 있어. 안내자가 더 잘 알아"라고 말하는 것과 같습니다.

2. "맥락 확인 (Context Check)" (맥락 일관성 점수)

비유: 군중 속에서 사람을 식별하려고 한다고 상상해 보세요.
- 로컬 확인: 당신은 얼굴처럼 보이는 흐릿한 픽셀 덩어리를 봅니다.
- 맥락 확인: 당신은 "똑똑한 안내자"에게 "이 사람이 전체 장면의 이야기와 어울리나요?"라고 묻습니다. 장면이 스키 슬로프라면, 안내자는 스키어와 눈이 있어야 하지만 하늘에 떠 있는 "가방"은 없어야 한다는 것을 압니다.
작동 원리: 이 방법은 "똑똑한 안내자"가 전체 장면을 어떻게 이해하는지 살펴봅니다. 로봇이 본다고 주장하는 객체 (예: "가방") 가 안내자가 전달하는 전체 이야기와 부합하는지 확인합니다. 만약 안내자의 이야기가 가방의 존재를 지지하지 않는다면, 시스템은 이를 환각으로 표시합니다.

왜 이것이 더 나은가요?

대부분의 이전 방법들은 로봇을 고치기 위해 더 무거운 장비를 추가하거나 (예: 작업을 확인하기 위해 두 번째 초고가의 AI 에게 요청) 로봇이 완벽하도록 훈련시키는 방식 (이는 영원히 걸립니다) 을 사용했습니다.

InsLen 은 다음과 같은 이유로 다릅니다:

"플러그 앤 플레이 (Plug-and-Play)"입니다: 로봇을 다시 훈련시키거나 새로운 비싼 도구를 추가할 필요가 없습니다. 로봇이 자신의 작업을 확인하기 위해 로봇의 내부 "똑똑한 안내자" 생각만 사용하면 됩니다.
빠릅니다: 로봇의 사고 과정에 거의 추가 시간이 들지 않습니다.
정확합니다: 테스트에서 이 방법은 다른 어떤 방법보다 더 많은 거짓말을 잡아냈습니다. 심지어 로봇이 실제 객체와 가짜 객체가 매우 비슷하게 보이는 까다로운 사진 (예: 숟가락과 칼) 을 볼 때조차 그랬습니다.

요약

이 논문은 로봇의 **눈 (카메라)**뿐만 아니라 **지시 (똑똑한 안내자)**에 귀 기울임으로써 가짜 객체를 효과적으로 걸러낼 수 있다고 주장합니다. **지시 렌즈 점수 (Instruction Lens Score)**는 카메라의 신뢰도를 보정하는 "현실 확인"과 객체가 이야기와 부합하는지 확인하는 "맥락 확인"을 결합하여 AI 이미지 설명을 위한 매우 신뢰할 수 있는 거짓말 탐지기를 만듭니다.

기술 요약: 객체 환각 감지를 위한 Instruction Lens Score

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 시각적 이해와 추론에서 상당한 능력을 입증해 왔습니다. 그러나 신뢰할 수 있는 배포를 위한 주요 장벽은 입력 이미지에 존재하지 않는 객체에 대한 설명을 생성하는 **객체 환각 (Object Hallucination, OH)**입니다. 기존 감지 방법은 두 가지 주요 한계에 직면해 있습니다:

보조 모델 의존성: 외부 모델 (예: GPT-4) 이나 전용 환각 감지기에 의존하는 방법은 상당한 계산 오버헤드를 초래하고 추가 학습을 요구합니다.
오해의 소지가 있는 시각적 신호에 대한 취약성: 비전 기반 감지 점수 (예: 어텐션 가중치, 국소 유사도) 는 시각 인코더가 오해의 소지가 있는 정보를 도입하거나 환각된 객체의 국소 시각적 패턴이 실제 객체와 유사할 때 (예: 숟가락과 칼의 유사한 질감) 종종 부당한 높은 신뢰도를 보입니다.

방법론: Instruction Lens Score (InsLen)

본 논문은 오해의 소지가 있는 시각적 정보를 필터링하기 위해 지시 토큰의 내부 임베딩을 활용하는 학습이 불필요하고 플러그 앤 플레이 방식인 감지기인 **Instruction Lens Score (InsLen)**을 제안합니다. 핵심 통찰력은 지시 임베딩이 시각 임베딩에 의해 도입된 오류 신호를 효과적으로 억제하면서 이미지 기반의 신뢰할 수 있는 시각 정보를 암묵적으로 인코딩한다는 점입니다.

이 방법은 중간 레이어 임베딩을 어휘 공간에 투영하여 신뢰도 분포를 분석하는 Logit Lens 기술을 활용합니다. InsLen 은 두 가지 상호 보완적인 구성 요소로 구성됩니다:

1. 보정된 국소 점수 ( $S_{cls}$ )

이 구성 요소는 비전 기반 점수에서의 부당한 과도한 확신 문제를 해결합니다.

메커니즘: 모든 지시 임베딩에 대해 객체 토큰에 할당된 최대 신뢰도를 측정하여 **보정 신뢰도 ( $S_{cafe}$ )**를 도입합니다.
논리: 지시 임베딩은 오해의 소지가 있는 시각적 신호를 필터링하므로, 이 투영에서 환각된 객체는 더 낮은 신뢰도를 받습니다.
융합: $S_{cafe}$ 는 기존 비전 기반 점수 (예: 국소 유사도 점수, 내부 신뢰도) 와 곱셈으로 융합되어 국소 시각적 증거를 보정합니다:
$S_{cls}(o) = S_{cafe}(o) \cdot S_{local}(o)$

2. 문맥 일관성 점수 ( $S_{ccs}$ )

이 구성 요소는 유사한 국소 질감을 가진 객체를 구별하지 못할 수 있는 패치 수준의 시각 임베딩의 한계를 해결합니다.

메커니즘: 객체 토큰에 높은 확률을 할당하는 지시 임베딩을 집계하여 글로벌 문맥 표현 ( $\bar{z}$ ) 을 형성합니다.
논리: 지시 임베딩은 글로벌 객체 문맥을 포착합니다. 생성된 객체 토큰 임베딩 ( $h_o$ ) 과 집계된 지시 문맥 ( $\bar{z}$ ) 간의 일관성은 정규화된 $\ell_2$ 거리를 사용하여 측정됩니다.
가중치: 일관성 점수는 선택된 지시 임베딩의 평균 신뢰도로 가중되어 신뢰성을 보장합니다:
$S_{ccs}(o) = S_{con}(o) \cdot p(o|\{\hat{z}_1, ..., \hat{z}_m\})$

최종 점수 산출

최종 InsLen 점수는 보정된 국소 점수와 문맥 일관성 점수의 가중 합입니다:
$S_{Ins}(o) = \omega \cdot S_{cls}(o) + (1 - \omega) \cdot S_{ccs}(o)$
여기서 $\omega$ 는 하이퍼파라미터입니다.

주요 기여

지시 임베딩 분석: 저자들은 MLLM 의 지시 임베딩이 신뢰할 수 있는 시각적 의미를 암묵적으로 인코딩하며 시각 임베딩에서 기원한 오해의 소지가 있는 정보를 효과적으로 필터링할 수 있음을 밝혔습니다. 이는 환각 감지를 위해 이전에 간과되었던 능력입니다.
제안된 감지기 (InsLen): 보조 모델이나 추가 학습 없이 보정된 시각적 증거와 지시 기반 문맥 일관성을 통합하는 새로운 학습 불필요 감지기입니다.
종합 평가: 여러 벤치마크 (MSCOCO, Objects365, POPE, CLEVR) 와 다양한 MLLM 아키텍처 (LLaVA-1.5, InstructBLIP, mPLUG-Owl3, Qwen3-VL, LLaVA-OneVision) 에 걸친 광범위한 실험을 통해 방법의 유효성을 입증했습니다.

실험 결과

성능: InsLen 은 모든 테스트된 벤치마크와 모델 아키텍처에서 기존 최첨단 방법 (예: GLSIM, SVAR, Internal Confidence) 보다 일관되게 우수한 성과를 냅니다.
- Qwen3-VL 을 사용한 MSCOCO 벤치마크에서 InsLen 은 가장 강력한 베이스라인 (GLSIM) 대비 AUROC 를 7.70% 향상시켰습니다.
- POPE 벤치마크에서 LLaVA-1.5 의 경우 베이스라인 대비 최대 13.81% 높은 AUROC 를 달성했습니다.
- CLEVR 벤치마크 (속성 및 관계적 환각 테스트) 에서 InsLen 은 특히 Qwen3-VL 과 같은 강력한 모델에서 우수한 성능을 보였습니다 (77.72% AUROC 대 SVAR 의 73.01%).
강건성: 이 방법은 사후 학습된 모델 (예: LLaVA-RLHF, LLaVA-RLAIF-V) 에서도 효과적이며, 다양한 입력 지시 길이와 하이퍼파라미터 설정 ( $\omega$ , $m$ , $\tau$ ) 에서 안정성을 입증했습니다.
효율성: 일부 베이스라인 (예: LLaVA-1.5 의 경우 약 104ms 대 95ms) 보다 계산 오버헤드가 약간 높지만, 답변 생성 비용에 비해 미미하며 보조 모델이나 영구화 (zeroing) 연산이 필요한 방법 (예: EAZY) 에 비해 훨씬 낮습니다.

중요성과 주장

본 논문은 Instruction Lens Score가 MLLM 생성의 신뢰성을 향상시키는 가치 있고 미탐구된 신호를 제공한다고 주장합니다. 지시 임베딩이 오해의 소지가 있는 시각적 정보를 효과적으로 억제할 수 있음을 입증함으로써, 이 연구는 외부 자원이나 재학습에 의존하지 않는 환각 감지에 대한 새로운 관점을 제시합니다. 저자들은 InsLen 을 객체 환각이 실질적인 위험을 초래하는 실세계 응용 분야에서 MLLM 의 신뢰성을 강화하는 견고한 플러그 앤 플레이 솔루션으로 위치시킵니다.