💻 computer science

Mitigating Object Hallucinations via Sentence-Level Early Intervention

본 논문은 오픈-보카불러리 검출기를 통해 도메인 내 선호 데이터를 부트스트랩하고, 인간 주석이 필요 없이 생성 과정 초기에 개입하기 위해 문장 수준의 문맥 인식 선호 학습을 적용함으로써 멀티모달 대규모 언어 모델의 객체 환각을 완화하는 SENTINEL 프레임워크를 소개합니다.

원저자: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

게시일 2026-05-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shangpin Peng, Senqiao Yang, Li Jiang, Zhuotao Tian

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 매우 똑똑하고 예술적인 친구가 있어, 당신에게 그림을 묘사하는 것을 좋아한다고 말입니다. 이 친구는 큰 그림을 보는 데 탁월하지만, 특이한 버릇이 하나 있습니다. 이야기를 이어갈수록 실제로 존재하지 않는 것들을 만들어내기 시작한다는 것이죠.

만약 조용한 부엌 사진이 있는 친구에게 보여준다면, 처음에는 "테이블과 의자가 보입니다"라고 말할 수 있습니다. 이는 사실입니다. 하지만 장면을 묘사하는 것을 계속해 나가는 동안, 갑자기 "그리고 보세요, 테이블 위에 꽃병이 있습니다"라고 덧붙일 수 있습니다. 비록 꽃이 없더라도 말입니다. 그다음, 그들은 흥분해서 "그리고 고양이가 꽃병 위에 잠자고 있습니다"라고 말할지도 모릅니다. 비록 고양이가 없더라도요.

이것이 바로 해당 논문이 **객체 환각 (Object Hallucination)**이라고 부르는 현상입니다. 모델이 고의로 거짓말을 하는 것이 아니라, 자신의 이야기에 너무 매료되어 시각적 현실과 모순되는 세부 사항을 만들어내는 것입니다.

기존 해결책의 문제점

저자들은 다른 연구자들이 이를 해결하려 시도했지만, 그들의 해결책은 "땅콩을 깨기 위해 망치를 사용하는" 것과 같다고 설명합니다.

"인간 편집자" 접근법: 일부 방법은 비싼 인간 편집자나 초고성능 AI 모델에게 이야기가 쓰인 후 다시 쓰도록 요청합니다. 이는 느리고 비용이 많이 들며, 종종 원래 모델의 "목소리"를 변경합니다.
"중단하고 확인" 접근법: 다른 방법들은 모델이 문장마다 멈추어 객체가 존재하는지 확인하려 시도합니다. 이는 운전자가 지도를 확인하기 위해 10 피트마다 차를 멈추게 하는 것과 같습니다. 작동은 하지만, 과정을 극도로 느리고 어색하게 만듭니다.

큰 발견: "눈덩이 효과"

이 논문의 저자인 SENTINEL 은 중요한 관찰을 했습니다. 그들은 환각이 한 번에 발생하지 않으며, 초기에 발생하고 그 후 눈덩이처럼 커진다는 사실을 깨달았습니다.

이를 "전화 게임"과 같다고 생각해 보세요. 줄의 첫 번째 사람이 잘못된 사실을 속삭이면, 그 뒤의 모든 사람이 그 잘못된 사실을 반복하고 그 위에 더 많은 거짓말을 덧붙입니다. 논문은 모델이 두 번째 문장에서 환각을 일으키면, 세 번째, 네 번째, 다섯 번째 문장에서 환각을 일으킬 가능성이 훨씬 더 높아진다는 것을 발견했습니다. 오류가 전파되는 것입니다.

해결책: SENTINEL (초기 개입자)

저자들은 SENTINEL이라는 새로운 프레임워크를 제안합니다. 전체 이야기가 쓰일 때까지 기다렸다가 수정하는 대신, SENTINEL 은 첫 번째 거짓말이 나오는 순간에 개입하는 경계적인 편집자처럼 행동합니다.

다음은 간단한 비유를 사용하여 SENTINEL 이 작동하는 방식입니다:

연습 주행 (부트스트래핑):
모델이 장면을 연기하는 배우라고 상상해 보세요. SENTINEL 은 모델에게 장면을 수행하도록 (이미지를 묘사하도록) 여러 번 요청합니다.
- 1 회: "테이블이 보입니다." (사실)
- 2 회: "테이블과 꽃병이 보입니다." (꽃병은 없습니다!)
- 3 회: "테이블과 고양이가 보입니다." (고양이는 없습니다!)
사실 확인 (교차 검증):
SENTINEL 은 사진과 모델의 대본을 살펴보는 두 명의 간단하고 빠른 "탐정"(객체 탐지기) 을 사용합니다.
- 대본에 "꽃병"이라고 되어 있지만 사진에 꽃병이 없으면, 탐정들은 이를 환각으로 표시합니다.
- 대본에 "테이블"이라고 되어 있고 사진에 테이블이 있으면, 이를 사실로 표시합니다.
- 탐정들이 동의할 수 없다면, 혼란을 피하기 위해 무시합니다.
교훈 (선호 학습):
이제 SENTINEL 은 모델에게 "나만의 모험을 선택하라" 스타일의 교훈을 만듭니다.
- 옵션 A (좋은 길): "테이블은 의자로 둘러싸여 있습니다." (이는 사진과 일치합니다).
- 옵션 B (나쁜 길): "테이블은 의자와 꽃병으로 둘러싸여 있습니다." (이는 거짓말을 포함합니다).
  모델은 "아! 옵션 A 가 내가 선택해야 할 것입니다. 옵션 B 는 가짜 꽃병을 포함하고 있으므로 틀렸습니다"라고 깨닫도록 훈련받습니다.
"맥락"의 반전:
이것이 비밀 소스입니다. 모델은 단순히 고립된 올바른 문장을 선택하는 법을 배우는 것이 아닙니다. 이전의 내용에 기반하여 올바른 문장을 선택하는 법을 배웁니다.
- 이전 문장이 사실이었다면 ("테이블이 보입니다"), 모델은 다음 문장도 사실로 유지하도록 배웁니다.
- 일단 "거짓말"(환각) 이 시작되면 전체 이야기가 궤도에서 벗어난다는 것을 배웁니다. 따라서 모델은 거짓말이 처음 나타날 때 즉시 멈추는 법을 배웁니다.

결과

논문에 따르면, 이러한 거짓말을 매우 초기 (문장 수준 초기 개입) 에 잡아냄으로써 SENTINEL 은 "눈덩이"가 굴러가는 것을 막습니다.

덜어지는 환각: 원래 모델 대비 객체 환각을 90% 이상 줄였습니다.
더 나은 일반 기술: 모델을 "바보" 만들거나 느리게 만드는 다른 방법들과 달리, SENTINEL 은 실제로 모델이 질문에 답하고 사물을 정확하게 묘사하는 능력을 향상시켰습니다.
추가 비용 없음: 비싼 인간 편집자나 슈퍼컴퓨터가 실행을 위해 필요하지 않습니다. 모델이 스스로 사실 확인을 하도록 가르칩니다.

요약

원래 AI 모델을 너무 흥분해서 무언가를 만들어내는 이야기꾼이라고 생각해 보세요.

기존 방법은 이야기가 끝난 후 전체 이야기를 다시 쓰도록 엄격한 편집자를 고용하려 했습니다 (비싸고 느립니다).
SENTINEL은 이야기꾼이 자신의 내면의 목소리에 귀 기울이도록 가르칩니다. 사실이 아닌 것을 말하려 하는 순간, 그들은 멈추고 사실을 확인하며 대신 진실을 말하도록 배웁니다. 이는 거짓말이 퍼지기 전에 막아주어, 정확하면서도 창의적인 이야기를 만들어냅니다.

기술 요약: SENTINEL

문제 정의

멀티모달 대규모 언어 모델 (MLLM) 은 교차 모달 이해 능력을 향상시켰지만, 객체 환각으로 고통받고 있습니다. 이는 모델이 시각적 입력과 사실적으로 일치하지 않음에도 의미론적으로 일관된 텍스트를 생성하는 현상입니다. 기존 완화 전략은 다음과 같은 중대한 한계에 직면해 있습니다:

디코딩 기반 방법(예: 대비적 디코딩) 은 종종 막대한 계산 비용과 증가된 추론 지연 시간을 초래합니다.
선정 정렬 방법은 종종 재작성을 위한 독점적 대규모 언어 모델 (LLM) 이나 데이터 큐레이션을 위한 인간 주석가와 같은 비싼 외부 자원에 의존합니다. 또한, 이러한 방법들은 종종 훈련 데이터 (외부 모델에 의해 재작성됨) 와 대상 모델의 원래 출력 분포 간의 분포 불일치를 도입하여 일반화 능력을 해칠 수 있습니다.

방법론: SENTINEL

저자들은 SENTINEL(Sentence-level Early iNtervention Through IN-domain prEference Learning, 도메인 내 선정 학습을 통한 문장 수준 초기 개입) 을 제안합니다. 이는 외부 재작성이나 인간 주석에 의존하지 않고 환각 발생의 가장 초기 단계에서 개입하여 환각을 완화하도록 설계된 프레임워크입니다. 이 방법은 여섯 가지 핵심 단계를 통해 작동합니다:

도메인 내 후보 부트스트래핑:
- 현재 MLLM 이 샘플링을 통해 여러 후보 응답을 생성합니다.
- Scene-GraphParser 를 사용하여 이러한 출력에서 언급된 객체들을 추출합니다.
- 교차 검증: 두 개의 오픈-보카불러리 객체 감지기 (GroundingDINO 및 YOLO World) 를 사용하여 입력 이미지 내 이러한 객체의 존재를 교차 확인합니다.
- 객체는 사실적(두 감지기 모두 존재 확인), 환각(두 감지기 모두 부재 확인), 또는 불확실로 분류됩니다. 환각 객체를 포함한 문장은 부정 샘플로 플래그가 지정되고, 사실적 객체만 포함된 문장은 긍정 샘플로 간주됩니다. 데이터 품질을 보장하기 위해 불확실한 객체는 무시됩니다.
맥락 인식 선정 데이터 생성:
- 프레임워크는 환각이 없는 문장인 $y_w^+$ 와 환각이 있는 문장인 $y_l$ 로 구성된 선정 쌍 $(y_w^+, y_l)$ 을 구성합니다.
- 핵심적으로, 긍정 샘플 $y_w^+$ 는 맥락 일관성을 갖도록 선택됩니다. 즉, 문장에 설명된 객체들이 명시적으로 참조되거나 이전 맥락과 논리적으로 연결되어야 합니다. 이는 저자들이 일반화에 덜 효과적이라고 판단한 맥락 무관 샘플과 대조됩니다.
반복적 맥락 부트스트래핑 (ICB):
- 다양한 시나리오 전반에 걸친 견고성을 향상시키기 위해, 프레임워크는 생성 맥락을 반복적으로 확장합니다. 환각이 없는 긍정 샘플을 식별한 후, 이를 다음 반복을 위한 맥락 $c$ 에 추가합니다. 이를 통해 모델은 환각 없는 기반을 유지하면서 점진적으로 복잡하고 다양한 맥락에서 학습할 수 있습니다.
맥락 인식 선정 학습 (C-DPO):
- 모델은 C-DPO라고 명명된 수정된 직접 선정 최적화 (DPO) 손실 함수를 사용하여 훈련됩니다.
- 정책 모델의 입력은 맥락 $c$ 가 증강되어 $x' = [v, q, c]$ 가 됩니다.
- 손실 함수는 맥락 일관성을 가진 긍정 샘플 $y_w^+$ 생성의 가능성을 최대화하면서 환각이 있는 부정 샘플 $y_l$ 을 최소화합니다.
- 핵심 설계: 맥락 $c$ 는 손실 계산에서 제외됩니다 (마스크 처리). 기울기는 오직 $y_w^+$ 와 $y_l$ 간의 구별에서 파생되므로, 모델이 최적화 과정에서 맥락 토큰에 편향되지 않고 문장 수준에서 환각을 구별하도록 학습합니다.

주요 기여

초기 개입 통찰: 저자들은 분석을 통해 환각 강도가 텍스트 길이에 따라 증가하며, 환각의 첫 발생 시점에서 개입하는 것이 후속 출력에서의 전파를 크게 방지한다는 것을 입증했습니다.
효율적인 도메인 내 프레임워크: SENTINEL 은 외부 독점 모델이나 인간 주석가에 대한 의존성을 제거합니다. 모델 자체의 출력과 경량 오픈-보카불러리 감지기를 사용하여 고품질이고 스타일 일관성이 있는 선정 데이터를 구성합니다.
모델 중립적 성능: 이 방법은 환각 벤치마크에서 최첨단 결과를 달성하면서도 일반 능력을 유지하거나 향상시켜, 재작성 기반 접근법보다 도메인 내 선정 학습이 우수함을 입증했습니다.

실험 결과

LLaVA-v1.5(7B 및 13B) 모델을 대상으로 여러 벤치마크에서 실험이 수행되었습니다:

환각 완화:
- Object HalBench에서 SENTINEL 은 7B 모델의 응답 수준 환각률을 기준선인 52.7% 에서 **4.3%**로 감소시켜 이전 최첨단 (TPO) 을 크게 앞섰습니다.
- AMBER에서 환각은 원래 모델 대비 Object HalBench에서 약 92%, AMBER에서 65% 감소했습니다.
- 이 방법은 모든 여섯 가지 카테고리 (존재, 속성, 상태, 관계, 행동, 숫자) 에서 환각을 효과적으로 감소시켰습니다.
일반 능력:
- 많은 완화 방법들이 일반 성능을 저하시키는 것과 달리, SENTINEL 은 VQAv2, TextVQA, ScienceQA, MM-Vet에서 점수를 유지하거나 향상시켰습니다.
- 예를 들어, MM-Vet 에서 7B 모델은 31.0 에서 32.6으로, 13B 모델은 36.0 에서 36.2로 향상되었습니다.
절대 연구:
- 재작성 vs 도메인 내: GPT-4 를 통한 재작성 데이터로 훈련한 경우 성능 저하가 발생하여 모델의 고유한 분포를 유지하는 것의 중요성을 확인했습니다.
- 맥락 일관성: 맥락 무관 샘플보다 맥락 일관성 긍정 샘플 ( $y_w^+$ ) 을 사용할 때 더 좋은 결과가 나왔습니다.
- 교차 확인: 검증을 위해 두 개의 감지기를 사용하는 방식은 단일 감지기 접근법보다 크게 우월했습니다.
- 확장성: 훈련 데이터 규모가 증가함에 따라 성능이 향상되어, 비용이 많이 드는 주석 없이 더 큰 데이터셋을 효율적으로 활용함을 입증했습니다.

중요성 및 주장

이 논문은 SENTINEL 이 MLLM 의 신뢰성을 향상시키기 위한 확장 가능하고 효율적이며 모델 중립적인 솔루션을 제공한다고 주장합니다. 그 주요 중요성은 비싸고 분포를 변화시키는 외부 개입에서 도메인 내, 문장 수준의 초기 개입으로 패러다임을 전환하는 데 있습니다. 환각이 발생하는 정확한 순간에 집중하고 모델 자체의 분포를 활용함으로써, SENTINEL 은 모델의 일반 추론이나 언어 생성 능력을 훼손하지 않으면서 오류의 전파를 성공적으로 억제합니다.

저자들은 한계를 지적합니다: 현재 프레임워크는 시공간 추론 능력이 부족하여 장기 추론이 필요한 비디오 기반 MLLM 의 환각 문제를 완전히 해결하지 못할 수 있습니다. 그러나 정적 이미지 이해의 경우, 이는 효율적인 환각 완화의 새로운 기준을 수립합니다.