🤖 AI

GHOST: Hallucination-Inducing Image Generation for Multimodal LLMs

이 논문은 이미지 임베딩을 최적화하여 멀티모달 거대 언어 모델의 환각 취약성을 능동적으로 유도하고 노출함으로써 자연스러워 보이는 객체 없는 이미지를 생성하는 자동화된 방법인 GHOST를 소개하며, 이는 기존 방식보다 현저히 높은 성공률을 달ей는 동시에 미세 조정을 통해 모델의 강건성을 향상시키는 도구로도 활용될 수 있다.

원저자: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aryan Yazdan Parast, Parsa Hosseini, Hesam Asadollahzadeh, Arshia Soltani Moakhar, Basim Azam, Soheil Feizi, Naveed Akhtar

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "과잉 상상"을 하는 AI

당신에게 사진을 보고 그 안에 무엇이 있는지 설명할 수 있는 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 이 비서는 대부분의 일을 잘 해내지만, 이상한 결함이 하나 있습니다. 가끔 존재하지 않는 것을 본다고 믿는 것이죠.

만약 당신이 접시 위의 바나나 사진을 보여주면, 이 비서는 옆에 칼이 없는데도 자신 있게 "네, 바나나 옆에 칼이 보입니다"라고 말할 수 있습니다. AI의 세계에서는 이를 **환각(Hallucination)**이라고 부릅니다. 이는 마치 누군가가 상대방을 기쁘게 하고 싶어서, 혹은 특정 패턴에 너무 익숙해진 나머지 빈칸을 채우기 위해 스스로 디테일을 지어내는 것과 같습니다.

기존 방식: 고정된 목록 확인하기

이전에는 연구자들이 AI에게 고정된 사진 목록(마치 객관식 시험처럼)을 보여주며 이러한 실수를 찾아내려 했습니다. 그들은 "칼이 보이나요?"라고 물으며 AI가 틀리는지 확인했습니다.

결함: 이것은 운전자에게 특정 빈 주차장에서만 운전 테스트를 하는 것과 같습니다. 도로 위로 빨간 공이 굴러 들어올 때 운전자가 당황할 수 있다는 사실을 놓칠 수 있죠. 기존의 테스트는 너무 경직되어 있어서, AI가 저지를 수 있는 새롭거나 기이한 방식의 오류들을 찾아내지 못했습니다.

새로운 솔루션: GHOST ( "마술사" 아티스트)

저자들은 GHOST(Stealth Token 최적화를 통한 환각 생성)를 소개합니다. GHOST를 단순한 사진을 보여주는 것이 아니라, AI가 유령(Ghost)을 보게끔 설계된 새로운 그림을 그려내는 마술사라고 생각해보세요.

GHOST가 작동하는 단계별 과정은 다음과 같습니다.

1. "투명 잉크" 최적화 (The "Invisible Ink" Optimization)

GHOST는 일반적인 사진(예: 접시 위의 바나나)에서 시작합니다. GHOST의 목표는 AI가 칼이 있다고 믿게 만드는 것입니다.

눈에 띄는 칼을 직접 그리는 대신(그렇게 하면 사람에게 너무 명확히 보이니까요), GHOST는 **임베딩(Embeddings)**이라 불리는 "비밀 언어" 속에서 작업합니다. 이것을 AI의 내부적인 '꿈의 상태'라고 상상해 보세요.
GHOST는 이 꿈의 상태를 아주 미세하게 조정합니다. "투명 잉크" 같은 단서들을 추가하는 것이죠. 예를 들어, 바나나 줄기의 곡선을 아주 살짝 수정하여 AI에게는 칼 손잡이처럼 보이게 만들지만, 사람의 눈에는 여전히 평범한 바나나로 보이게 만듭니다.

2. "번역가" (The "Translator" / Mapper)

문제는 사진을 보는 AI(MLLM)와 그림을 그리는 AI(Diffusion Model)가 서로 다른 언어를 사용한다는 점입니다.

GHOST는 번역가(매퍼, Mapper)를 구축합니다. 이 번역가는 화가(Diffusion Model)로부터 온 "비밀스러운 꿈의 수정 사항"을 받아, 매번 관찰자(MLLM)에게 도움을 요청하지 않고도 화가가 이해할 수 있는 지침으로 번양해 줍니다. 덕분에 이 과정은 매우 빠르게 진행됩니다.

3. "꿈을 그리는 화가" (The "Dream Painter" / Diffusion)

비밀 지침이 준비되면, GHOST는 디퓨전 모델(Diffusion Model)(노이즈로부터 이미지를 생성하는 종류의 AI)을 사용하여 최종 그림을 그립니다.

GHOST는 원래의 바나나 사진에서 시작하여 비밀 지침에 따라 부드럽게 "노이즈를 제거(denoise)"합니다.
결과: 최종 이미지는 사람에게 100% 자연스럽게 보입니다. 여전히 접시 위의 바나나일 뿐입니다. 하지만 AI에게는 빛의 밝기나 형태의 미세한 변화가 충분한 자극이 되어, AI가 "칼이 보여요!"라고 외치게 만듭니다.

이것이 왜 중요한가요?

이 논문은 GHOST가 거둔 세 가지 주요 승리를 주장합니다.

탁월한 탐정 (Master Detective):
- 기존 방식은 환각 사례의 약 **1%**만을 찾아냈습니다.
- GHOST는 28% 이상의 사례를 찾아냈습니다. 이는 거의 모든 동전을 찾아내지 못하는 금속 탐지기를, 거의 모든 것을 찾아내는 탐지기로 업그레이드한 것과 같습니다.
보편적인 함정 (Transferability):
- GHOST는 한 AI(예: Qwen)를 속인 뒤, 그 "속임을 당한" 이미지를 완전히 다른 AI(예: GPT-4o)에게 보여줄 수 있습니다.
- 결과: 두 번째 AI 역시 환각을 일으킵니다! 이는 서로 다른 AI들이 동일한 약점을 공유하고 있음을 증명합니다. 이는 특정 종류의 착시 현상이 당신의 눈뿐만 아니라 친구의 눈까지도 속이는 것과 같습니다.
단순한 테스트가 아닌 치료제 (A Cure, Not Just a Test):
- 저자들은 단순히 무언가를 망가뜨리기 위해 GHOST를 사용한 것이 아니라, 이를 통해 문제를 해결했습니다.
- 그들은 GHOST가 만들어낸 "속임수 이미지"를 AI에게 보여주며 정답("아니요, 칼은 없습니다")을 함께 제시했습니다.
- 결과: AI는 앞으로 환각을 일으키지 않는 능력이 향상되었습니다. 이는 학생에게 틀린 문제의 정확한 트릭을 알려주어 올바른 답을 배울 수 있게 하는 것과 같습니다.

핵심 요약 (The Bottom Line)

GHOST는 AI 시각 시스템을 스트레스 테스트하기 위해 "트릭 사진"을 자동으로 생성하는 도구입니다. 이는 현재의 AI 모델들이 얼마나 취약하며, 미세하고 자연스러운 변화에 얼마나 쉽게 속을 수 있는지를 보여줍니다. 하지만 더 중요한 것은, GHOST가 이러한 약점을 찾아내고 AI를 훈련시켜 더욱 신뢰할 수 있게 만드는 방법을 제공한다는 점입니다. 이를 통해 AI가 칼이 보인다고 말할 때, 실제로 칼이 있을 때만 그렇게 말하도록 보장할 수 있습니다.

기술 요약: GHOST – 멀티모달 LLM을 위한 환각 유도 이미지 생성 기술

문제 정의

멀티모달 대규모 언어 모델(MLLM)은 객체 환각(object hallucination) 문제를 겪고 있습니다. 이는 모델이 입력 이미지에 존재하지 않는 객체를 잘못 예측하는 실패 모드입니다. 현재의 평가 방식은 고정된 시각적 시나리오와 큐레이션된 이미지 세트를 사용하는 정적 벤치마크에 의존합니다. 이러한 접근 방식은 분석 범위를 이미 알려진 시나리오로 제한하여, 모델 특유의 취약점이나 예상치 못한 환각 패턴을 찾아내는 데 한계가 있습니다. 또한, 환각을 발견하기 위한 기존 방법들은 어떤 유형의 이미지가 오류를 유발하는지 판단하는 체계적인 방법이 부족하거나, 최적화와 이미지 생성을 효과적으로 분리하지 못하는 자원 집약적인 파이프라인에 의존합니다.

방법론: GHOST

저자들은 타겟 객체를 삽입하지 않고도 환각을 유도하는 이미지를 합성함으로써 MLLM을 스트레스 테스트하도록 설계된 완전 자동화된 비지도 학습 파이프라인인 GHOST(Generating Hallucinations via Optimizing Stealth Tokens)를 소개합니다.

핵심 아키텍처

GHOST는 픽셀 공간이 아닌 이미지 임베딩 공간에서 최적화를 수행하며, 최종 이미지를 생성하기 위해 확산 모델(diffusion model)을 활용합니다. 이 파이프라인은 세 가지 주요 구성 요소로 이루어져 있습니다.

임베딩 공간 매퍼 ( $\Pi$ ):
타겟 MLLM의 비전 인코더( $V_M$ )와 확산 모델에서 사용되는 CLIP 임베딩 공간 사이의 간극을 메우기 위해, GHOST는 경량 멀티 레이어 퍼셉트론(MLP)을 채택합니다. 이 매퍼는 MSE 손실을 사용하여 CLIP 임베딩을 MLLM의 비전 토큰과 정렬하도록 학습됩니다. 이러한 디커플링(decoupling)을 통해 전체 MLLM과 확산 파이프라인을 동시에 역전파하지 않고도 효율적인 최적화가 가능해집니다.
최적화 목적 함수:
입력 이미지 $X_v$ (타겟 객체 $t$ 가 없는 상태)와 쿼리 프롬프트 $X_q$ (예: " $t$ 가 보입니까?")가 주어졌을 때, GHOST는 다음 세 가지 제약 조건을 만족하도록 CLIP 임베딩 $c$ 를 최적화합니다.
- 근접성(Proximity): 최적화된 임베딩 $c$ 는 고차원적 의미를 보존하기 위해 원래 이미지의 임베딩 $c_0$ 와 가까워야 합니다( $\ell_2$ 페널티를 통한 정규화).
- 객체 의미 부재(Absence of Object Semantics): 임베딩은 타겟 객체 자체를 인코딩해서는 안 됩니다. 이는 타겟 객체에 대한 다양한 텍스트 설명(직접적인 묘사, 일반적인 템플릿, 마이닝된 COCO 캡션 포함)으로부터 도출된 "구성적 임베딩(compositional embedding)"과의 코사인 유사도를 페널티를 부여함으로써 강제됩니다.
- 환각 유도(Inducing Hallucination): 임베딩은 MLLM이 "Yes" 토큰을 출력할 확률을 극대화해야 합니다. 적대적 손실(adversarial loss)은 $-\log p(y^* | X_q, \Pi(c))$ 로 정의되며, 여기서 $y^*$ 는 타겟 토큰입니다.
가이드된 확산(Guided Diffusion):
임베딩 $c$ 가 환각 임계값을 충족하면, 이는 잠재 확산 모델(특히 Stable Diffusion unCLIP)을 조건화합니다. 노이즈로부터 시작하는 표준 생성 방식과 달리, GHOST는 원래 이미지의 **부분적으로 노이즈가 추가된 잠재 변수(partially noised latent)**로부터 역확산 과정을 시작합니다. 이를 통해 생성된 이미지는 입력의 구조적 무결성을 유지하면서도 미묘하고 오해를 불러일으킬 수 있는 의미적 단서를 도입합니다.
- 필터링: 엄격한 오픈 보카불러리 객체 탐지기(OWLv2)가 생성된 이미지를 필터링합니다. 만약 탐지기가 타겟 객체를 식별하면 해당 샘플은 폐기됩니다. 성공의 기준은 MLLM은 객체가 있다고 환각을 일으키지만, 탐지기는 객체의 부재를 확인하는 경우로 정의됩니다.

주요 기여

실패 사례의 능동적 생성: 정적 벤치마크와 달리, GHOST는 특정 모델의 사각지대를 드러내는 이미지를 능동적으로 합성하여, 새로운 형태의 예상치 못한 시각적 트리거를 발견합니다.
디커플링된 최적화: CLIP 임베딩을 MLLM의 비전 공간으로 매핑함으로써, GHOST는 픽셀 공간에서의 엔드 투 엔드 최적화가 가진 계산적 병목 현상을 피하며, 기존 방식인 DASH 대비 5배 빠른 속도를 달alt합니다.
의미 수준의 섭동(Semantic-Level Perturbations): 이 방법은 인간에게는 자연스러운 변형으로 보이지만 모델을 결정 경계 너머로 밀어붙이기에는 충분한 미묘한 의미적 단서(예: 바나나 줄기를 칼날처럼 보이도록 수정)를 도입합니다.
전이 가능성(Transferability): 특정 모델을 위해 최적화된 환각 유도 이미지가 다른 모델에도 전이되어, 서로 다른 MLLM 아키텍처 간의 공통된 취약점을 드러낸다는 점을 입증했습니다.

실험 결과

저자들은 세 가지 오픈 소스 MLLM인 Qwen2.5-VL, LLaVA-v1.6, GLM-4.1V-Thinking에 대해 GHOST를 평가했습니다.

성공률: GHOST는 테스트된 모델 전반에서 28.1%에서 32.4% 사이의 환각 성공률을 달성했습니다. 반면, 이전의 최첨단 방식인 DASH는 동일한 COCO 기반 데이터셋에서 **0.1%**의 성공률만을 기록했습니다.
전이 가능성: Qwen2.5-VL를 위해 최적화된 이미지는 GPT-4o에서 **66.5%**의 환각을 유도했으며, 다른 모델들(LLaMA3.2, Aya, Gemini)에서는 42%에서 72% 사이의 비율로 환각을 유도하여 공유된 실패 모드를 보여주었습니다.
이미지 품질: 정량적 지표(FID) 및 인간 평가를 통해 생성된 이미지가 고품질이며 시각적으로 자연스러움을 확인했습니다. 인간 평가자들은 GHOST 이미지의 **86~89%**에서 타겟 객체가 없다는 점에 동의했으며, 이는 베이스라인 확산 모델 방식과 유사한 수준입니다.
완화(Mitigation): Qwen2.5-VL을 GHOST 생성 합성 이미지로 미세 조정(fine-tuning)한 결과, 일반적인 시각-언어 능력(VQAv2, COCO Captioning)을 유지하면서도 다운스트림 환각 벤치마크(POPE 및 CHAIR)에서의 강건성이 향려되었습니다.

의의 및 주장

본 논문은 GHOST를 신뢰할 수 있는 멀티모달 시스템을 구축하기 위한 진단 및 교정 도구로 규정합니다.

진단적 측면: GHOST는 MLLM이 견고한 객체 탐지가 아닌, 부적절한 상관관계와 미묘한 시각적 단서에 의존하고 있음을 드러내며, 정적 벤치마크가 놓치는 취약점을 폭로합니다.
교정적 측면: 저자들은 이러한 합성된 실패 사례를 통한 학습이 환각을 완화할 수 있음을 보여줌으로써, 모델의 강건성을 개선하기 위한 경로를 제시합니다.
확장성: 최적화를 이미지 생성기와 분리함으로써, GHOST는 GLM-4.1V-Thinking과 같이 추론 기반 모델을 포함한 미래의 MLLM을 스트레스 테스트할 수 있는 확장 가능한 프레임워크를 제공합니다. 실제로 GHOST는 모델의 추론 궤적을 변화시켜 존재하지 않는 객체를 정당화하도록 유도하는 데 성공했습니다.

저자들은 이 방법이 unCLIP과 같이 이미지 임베딩 조건화가 가능한 확산 모델에 의존한다는 점과, 현재 주로 객체 중심의 환각에 초점을 맞추고 있다는 한계를 인정했으나, 예비 실험을 통해 속성(attribute) 및 관계(relation) 환각에도 적용 가능함을 시사했습니다.