💻 computer science

VIGIL: Tackling Hallucination Detection in Image Recontextualization

이 논문은 이미지 재맥락화 과정에서의 환각을 다섯 가지의 세밀한 충실도 유형으로 분류함으로써 기존 방식보다 더 정밀한 오류 식별과 설명을 가능하게 하는 새로운 벤치마크 데이터셋이자 다단계 탐지 프레임워크인 VIGIL을 소개한다.

원저자: Joanna Wojciechowicz, Maria Łubniewska, Jakub Antczak, Justyna Baczyńska, Wojciech Gromski, Wojciech Kozłowski, Maciej Zieba

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Joanna Wojciechowicz, Maria Łubniewska, Jakub Antczak, Justyna Baczyńska, Wojciech Gromski, Wojciech Kozłowski, Maciej Zieba

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화 촬영장의 감독이라고 상상해 보세요. 하지만 배우를 고용하는 대신, 마법 같고 초지능적인 로봇 화가를 부리고 있습니다. 당신은 로봇에게 당신이 가장 좋아하는 빨간색 운동화 사진 한 장과 햇살 가득한 공원 사진 한 장을 건네며 이렇게 말합니다. "운동화를 공원에 넣어줘." 로봇은 윙윙거리며 움직여 걸작을 그려내고는 당신에게 돌려줍니다. 하지만 가끔 로봇은 지나치게 창의력을 발휘하곤 합니다. 예를 들어, 빨간색 운동화를 파란색 부츠로 바꿔버리거나, 운동화를 그리는 것을 아예 잊어버리거나, 신발을 유령처럼 공중에 둥둥 떠 있게 배치하기도 합니다. 이것이 바로 멀티모달 이미지 재맥락화(multimodal image recontextualization), 즉 인공지능(AI)을 사용하여 당신의 지시에 따라 한 사진에서 물체를 가져와 새로운 장면 속에 떨어뜨리는 기술의 세계입니다.

오랫동안 과학자들은 이러한 AI 예술가들이 저지르는 실수, 즉 **환각(hallucinations)**을 어떻게 포착할 것인지 알아내기 위해 노력해 왔습니다. 여기서 환각이란 꿈이 아니라, 컴퓨터가 스스로에게 하는 거짓말을 의미합니다. 과거에 연구자들은 주로 텍스트-이미지 생성 작업(설명을 입력하면 그림이 나오는 방식)에 집중했습니다. 그들은 그림이 얼마나 좋은지를 나타내는 단 하나의 '점수'를 주는 도구를 만들었는데, 이는 마치 선생님이 시험지에 "B-"라는 성적을 매기는 것과 비슷했습니다. 하지만 그것만으로는 왜 신발이 빨간색 대신 파란색이 되었는지, 혹은 왜 그림자가 잘못된 방향을 향하고 있는지 설명해주지 못합니다. AI가 더 사실적인 이미지를 만드는 데 능숙해짐에 따라, 우리는 광고나 디자인 같은 분야에서 이 그림들을 신뢰할 수 있도록 이 구체적이고 교묘한 오류들을 잡아낼 방법이 필요합니다.

여기, 매우 엄격하고 세심한 디테일을 따지는 미술 비평가 역할을 하는 새로운 시스템인 VIGIL이 등장했습니다. VIGIL은 단순히 AI에게 점수를 주는 대신, 그림을 다섯 가지 특정 오류 범주로 나누어 무엇이 잘못되었는지 정확히 설명합니다. 연구진은 AI가 생성한 이미지에서 어떤 종류의 오류가 가장 자주 발생하는지 수동으로 확인하기 위해 1,269개의 사례로 구성된 방대한 데이터셋을 구축했습니다. 그 결과 AI가 다섯 가지 주요 방식으로 어려움을 겪는다는 것을 발견했습니다. 물체의 외형을 바꾸거나(Object Visual Fidelity), 배경을 망치거나(Background Fidelity), 물체를 잘못된 위치에 두거나(Spatial & Instructional Fidelity), 물체가 물리적으로 어울리지 않게 보이게 하거나(Physical & Integration Fidelity), 혹은 단순히 물체를 그리는 것을 잊어버리는(Object Omission) 경우입니다.

이 논문은 이미지를 단계별로 검사하기 위해 오픈 소스 AI 도구 팀을 사용하는 영리한 파이프라인을 소개합니다. 먼저, '세그멘테이션(segmentation)' 도구(디지털 가위 같은 역할)를 사용하여 물체를 잘라냅니다. 그다음, 잘라낸 조각들을 원래의 참조 사진들과 비교하여 모양이나 색상이 변했는지 확인합니다. 배경이 그대로 유지되었는지, 조명과 그림자가 타당한지, 그리고 물체가 실제로 존재하는지를 확인합니다. 만약 AI가 실수를 했다면, VIGIL은 단순히 "오류"라고 말하는 대신, "의자는 나무 팔 의자를 요청했는데 지금은 흔들의자입니다"라거나 "소파가 공중에 떠 있습니다"와 같이 메모를 남깁니다.

연구진이 이 시스템을 테스트했을 때, 이 단계별 접근 방식은 다른 오픈 소스 AI 탐지기들보다 종종 더 뛰어난 성능을 보이며 오류를 잡아내는 데 매우 효과적이었습니다. 실제로 가구 이미지에 있어서 VIGIL은 실수를 찾아내는 데 가장 뛰어났습니다. 하지만 논문은 이 시스템이 아직 완벽하지는 않다고 언급합니다. 예를 들어, 자동차의 왜곡된 번호판이나 전자 기기의 흐릿한 로고 같은 아주 작은 디테일은 AI가 잘라낸 후에는 너무 작아서 명확하게 볼 수 없기 때문에 놓치는 경우가 있습니다. 저자들은 자신들의 방식이 큰 진전이지만, 현재 가장 큰 과제는 AI가 전체적인 그림을 놓치지 않으면서도 어떻게 하면 저해상도의 아주 작은 디테일까지 확대해서 확인할 수 있게 하느냐는 것이라고 제안합니다. 궁극적인 목표는 이미지가 단순히 "좋다"라고 추측하는 수준을 넘어, 왜 망가졌는지 정확히 알아내어 이를 수정하고 우리가 보는 것을 신뢰할 수 있게 만드는 것입니다.

기술 요약: VIGIL – 이미지 재맥락화에서의 환각 탐지 해결

문제 정의
조건부 이미지 생성, 특히 이미지 재맥락화(특정 참조 이미지의 시각적 피사체와 텍스트를 결합하여 새로운 장면을 합성하는 작업)는 대규모 멀티모달 모델(LMM)의 발전과 함께 급격히 진보했습니다. 그러나 이러한 모델들은 입력 프롬프트나 참조 이미지에 근거하지 않은 시각적 아티팩트, 정체성 변화, 의미론적 불일치와 같은 환각(hallucination)을 빈번하게 생성합니다. 환각 탐지는 텍스트-투-이미지(T2I) 작업에서는 잘 연구되어 왔으나, 멀티모달 재맥락화에 대한 기존 방법론은 제한적입니다. 현재의 접근 방식은 일반적으로 0~10 사이의 모호하고 불투명한 수치 점수와 구조화되지 않은 텍스트 설명을 보고하며, 이는 정체성 왜곡과 환경 불일치 같은 구체적인 오류 유형을 구분하지 못합니다. 이러한 세밀하고 해석 가능한 평가의 부재는 자동 광고 및 디지털 콘텐츠 제작과 같은 프로덕션 환경에 이러한 시스템을 배포하는 데 필요한 진단적 분석을 저해합니다.

방법론
저자들은 환각을 다섯 가지 별개의 범주로 분해하도록 설계된 벤치마크 데이터셋과 다단계 탐지 파이프라인을 포함하는 프레임워크인 VIGIL(Visual Inconsistency & Generative In-context Lucidity)을 제안합니다.

환각의 분류 체계(Taxonomy): 이 프레임워크는 다섯 가지의 중복되지 않는 범주를 정의합니다:
- 객체 시각적 충실도(Object Visual Fidelity): 삽입된 객체의 외관(질감, 재질, 색상, 기하학적 구조)이 참조 이미지와 달라지는 현상.
- 배경 충실도(Background Fidelity): 변하지 않아야 할 주변 환경(벽, 조명, 기존 가구 등)의 변화.
- 공간 및 지시 충실도(Spatial & Instructional Fidelity): 공간 추론 실패 또는 고수준 편집 지시 사항 준수 실패(예: 잘못된 배치, 객체 교체/제거 실패, 의도하지 않은 객체 도입).
- 물리 및 통합 충서도(Physical & Integration Fidelity): 조명, 그림자, 원근법, 규모, 폐쇄(occlusion)를 포함한 현실 세계의 물리적 일관성 위반.
- 객체 누락(Object Omission): 입력 지시사항에 의해 명시적으로 요구된 객체가 완전히 누락된 경우.
탐지 파이프라인: "올인원(all-in-one)" 탐지기와 달리, VIGIL은 특화된 단계별로 이미지를 처리하기 위해 조정된 오픈 소스 모델 세트를 사용합니다:
- 객체 추출: Qwen3.5가 프롬프트를 파싱하여 피사체를 식별하고, Segment Anything Model 3(SAM 3)가 참조 이미지와 생성된 이미지 모두에서 이 엔티티들에 대한 마스크를 생성합니다.
- 객체 충실도 검증: DINO v3가 분할된 객체의 임베딩을 생성합니다. 선형 할당 알고리즘(Linear Sum Assignment)은 코사인 유사도( $S_{cos} > \tau$ )를 기반으로 참조 객체를 생성된 크롭(crop) 이미지와 매칭합니다. 불일치하거나 매칭이 누락된 경우 플래그가 지정됩니다.
- 배경 충실도 검증: 접촉 그림자를 제외하기 위해 여유 마진을 둔 마스킹을 통해 배경을 격리합니다. 파이프라인은 직접적인 비교 분석과 차이 유도 국소화(difference-guided localization)를 사용하여 구조적 불일치를 식별하고, 시각-언어 모델(VLM)이 주요 오류와 자연스러운 통합 아티팩트를 구분하도록 유도합니다.
- 물리적 충실도 검증: VLM은 두 가지 세분화된 수준에서 물리적 타당성을 평가합니다: 객체 수준(조명, 그림자, 맥락 대비 규모) 및 장면 수준(전역적 불일치, 떠 있는 객체, 일관되지 않은 광원).
- 공간 및 지시 검증: 프롬프트는 원자적 제약 조건(위치 관계 또는 교체 지시)으로 정제됩니다. VLM은 각 제약 조건을 생성된 이미지와 개별적으로 대조하여 잘못된 배치, 교체 실패 또는 원치 않는 객체의 존재를 탐지합니다.

데이터셋
저자들은 의류, 가구, 화장품, 전자제품, 자동차의 다섯 가지 제품 도메인에 걸쳐 1,269개의 수동 주석 샘플을 포함하는 VIGIL 데이터셋을 소개합니다. 이 데이터셋은 참조 이미지, 배경 이미지, 텍스트 프롬프트, 그리고 그 결과물인 Gemini 2.5 Flash Image로 생성된 재맥락화 이미지를 포함합니다. 주석은 JSON 형식으로 제공되며, 특정 환각 클래스를 레이블링하고 설명적 근거를 제공합니다. 데이터셋은 환각이 포함된 이미지 1,024개(80.7%)와 깨끗한 샘플 245개로 구성됩니다. 상호 주석자 일치도는 LLM-as-a-Judge 프레임워크를 사용하여 0.8129(Positive Specific Agreement)로 측정되었습니다.

결과
파이프라인은 leave-one-domain-out 전략을 사용하여 VIGIL을 단독 VLM(Gemini 2.5 Flash, Qwen3.5-9B, Gemma 3 12B IT) 및 적응형 베이스라인(VIEScore, CIGEval)과 비교 평가했습니다. 평가 지표로는 멀티 레이블 분류를 위한 macro-F1과 LLM-as-a-Judge 시맨틱 평가가 사용되었습니다.

성능: VIGIL은 가구 카테고리에서 비-Gemini 방법 중 가장 높은 macro-F1 점수(0.5064)를 기록했으며, 의류, 화장품, 전자제품에서도 경쟁력 있는 결과를 보였습니다. VIGIL은 모든 도메인에서 현저히 낮은 점수를 기록한 적응형 베이스라인(VIEScore 및 CIGEval)을 지속적으로 능가했습니다.
독점 모델과의 비교: Gemini 2.5 Flash가 전반적으로 가장 높은 점수를 달성했으나, 저자들은 이것이 판정 모델(역시 Gemini)이 유사한 출력 스타일을 선호하기 때문일 수 있다고 언급했습니다. 결정적으로, Qwen3.5-9B를 사용하는 VIGIL의 분해된 파이프라인은 Qwen3.5-9B를 단독 탐지기로 사용했을 때보다 더 나은 성능을 보였는데, 이는 집중된 하위 작업을 해결하는 것이 신뢰성을 높인다는 것을 시사합니다.
오류 분석: 저자들은 "자동차" 및 "전자제품" 분야의 성능 격차가 주로 미세하고 국소적인 텍스트 왜곡(예: 번호판)이나 생성된 크롭 이미지에서 흐릿하거나 다운샘플링되는 미세한 디테일(예: 로고, 포트)을 탐지하는 어려움 때문임을 확인했습니다. 이는 전체적인 분해 전략보다는 국소적 검증 단계의 병목 현상을 나타냅니다.

의의 및 주장
본 논문은 VIGIL이 불투명한 단일 점수 평가를 넘어 구조화되고 세밀하며 설명 가능한 피드백을 제공함으로써 이 분야의 중요한 공백을 메운다고 주장합니다. 주요 기여는 다음과 같습니다:

다섯 가지 환각 범주에 걸쳐 그라운드 트루스(ground truth)를 가진 1,269개의 수동 주석 샘플로 구성된 벤치마크 데이터셋.
환각을 자동으로 식별하고 고립된 점수가 아닌 각 오류에 대한 텍스트 설명을 반환하는 분해된 탐지 방법.
이미지 재맥락화에 특화되어 모델의 신뢰성 진단을 지원하는 분류 체계(Taxonomy).

저자들은 VIGIL의 접근 방식이 인간이 해석 가능한 피드백을 제공한다는 점을 강조하며, 이는 제품 속성을 높은 충실도로 보존해야 하는 도메인에서 생성 모델을 연구 단계에서 실제 프로덕션으로 전환하는 데 필수적이라고 말합니다. 저자들은 코드와 데이터셋을 공개할 예정임을 명시했습니다.

유사한 논문