Do Not Leave a Gap: Hallucination-Free Object Concealment in Vision-Language Models

1. 문제 정의 (Problem)

비전 - 언어 모델 (VLM) 은 시각적 이해와 생성 능력에서 뛰어난 성과를 보이지만, 시각 콘텐츠에 대한 적대적 조작에 취약합니다. 기존 객체 은닉 (Object Concealment) 공격들은 주로 특정 영역 (ROI) 의 시각적 정보를 **억제 (Suppression)**하거나 **차단 (Blocking)**하는 방식 (예: 패치 마스킹, 어텐션 가중치 감소) 을 취했습니다.

그러나 이러한 억압 기반 공격들은 심각한 부작용을 초래합니다.

• 할루시네이션 (Hallucination) 유발: 모델이 시각적 증거가 사라진 공백 (Gap) 을 메우기 위해, 원래 이미지에 존재하지 않는 사물이나 속성을 " plausible 하지만 잘못된 " 내용으로 생성하는 현상이 발생합니다.
• 원인: 저자들은 할루시네이션이 단순히 객체의 부재 때문이 아니라, 억압 기반 공격이 초래하는 **의미론적 불연속성 (Semantic Discontinuity)**에서 비롯된다고 주장합니다. 시각 인코더 내에서 표현의 공백이 생성되면, 언어 모델이 이를 보충하기 위해 할루시네이션을 일으키게 됩니다.

2. 방법론: 배경 일관성 재부호화 (Background-Consistent Re-encoding, BCR)

저자들은 객체를 제거하거나 억제하는 대신, **배경과 통계적·의미론적으로 일관되게 재부호화 (Re-encoding)**하여 은닉하는 새로운 접근법을 제안합니다. 이 방법은 시각 토큰의 구조와 어텐션 흐름을 유지하면서 대상 객체를 배경에 자연스럽게 융합시킵니다.

핵심 원리:

• 표현의 연속성 유지: 객체를 '없애는' 것이 아니라, 배경 토큰의 분포와 유사하도록 변환하여 시각적 공백을 만들지 않습니다.
• 피크셀 수준의 최적화: 모델 파라미터를 수정하지 않고, 입력 이미지의 픽셀에 미세한 교란 (Perturbation) 을 가하여 구현됩니다.

최적화 목적 함수 (Loss Function):
BCR 은 여러 Transformer 레이어에 걸쳐 다음 세 가지 손실 함수를 최소화합니다:

1. 통계적 정렬 손실 (Statistical Alignment Loss): ROI(대상 영역) 토큰의 1 차 및 2 차 통계량 (평균, 분산) 을 배경 토큰과 일치시킵니다.
2. 사전 기반 투영 손실 (Dictionary Projection Loss): ROI 토큰이 배경 토큰들의 볼록 결합 (Convex Combination) 으로 재구성되도록 강제하여, ROI 특징이 배경 특징 매니폴드 내에 존재하도록 합니다.
3. 배경 보존 손실 (Background Preservation Loss): 대상 영역이 아닌 배경 토큰의 특징이 원래 이미지와 달라지지 않도록 penalize 하여 전역적 의미 왜곡을 방지합니다.
4. 총 변동 정규화 (Total Variation Regularization): 교란이 공간적으로 매끄럽도록 하여 시각적 아티팩트를 최소화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 은닉 패러다임 (BCR): 토큰 구조와 어텐션 흐름을 유지하면서 객체를 은닉하는 '배경 일관성 재부호화' 방식을 제안했습니다.
2. 원칙적인 최적화 프레임워크: 비전 Transformer 의 여러 레이어에 걸쳐 배경 일관성 시각 표현을 강제하는 픽셀 수준의 최적화 기법을 개발했습니다.
3. 할루시네이션 인식 평가 지표: 객체 은닉 성공률, 전역 보존률, 그리고 Grounded Hallucination Rate(시각적 증거가 없는 할루시네이션 비율) 를 포함한 새로운 평가 메트릭을 설계하고 실험했습니다.

4. 실험 결과 (Results)

LLaVA-1.5, BLIP-2, InstructBLIP 등 최신 VLM 모델과 ImageNet, COCO 데이터셋을 사용하여 실험한 결과는 다음과 같습니다.

• 할루시네이션 감소: 기존 억압 기반 공격 (예: VIP) 대비 Grounded Hallucination Rate 를 최대 3 배까지 감소시켰습니다 (예: Instruct-BLIP 에서 0.43 → 0.19).
• 전역 의미 보존: 공격 후에도 비대상 객체 (Non-target objects) 를 최대 86% 까지 보존했습니다 (기존 방법 대비 현저히 높음).
• 은닉 성공률: 대상 객체를 성공적으로 은닉하는 능력 (Concealment Success) 은 기존 방법과 동등하거나 더 높은 수준을 유지했습니다.
• 지각적 충실도 (Perceptual Fidelity): SSIM 은 높고 LPIPS 는 낮아, 생성된 적대적 이미지가 원본과 시각적으로 매우 유사하며 인간 관찰자에게도 자연스러움을 유지했습니다.

정성적 분석:
기존 방법 (VIP 등) 은 객체를 지우면 모델이 빈 공간을 채우기 위해 불연관한 사물 (예: 소방전, 불꽃놀이) 을 생성하거나 장면의 의미를 완전히 왜곡하는 반면, BCR 은 은닉된 객체를 배경에 자연스럽게 녹여내어 모델이 할루시네이션을 일으키지 않고 일관된 장면 설명을 생성하도록 유도했습니다.

5. 의의 및 결론 (Significance)

이 연구는 VLM 에서 할루시네이션이 단순히 객체 부재가 아니라 **표현의 불연속성 (Representational Discontinuity)**에서 비롯된다는 중요한 통찰을 제공합니다.

• 할루시네이션의 근본 원인 규명: 시각적 표현의 공백이 언어 모델의 보정 추론을 유발한다는 것을 증명했습니다.
• 새로운 적대적 분석 방향: 생성형 멀티모달 모델에 대한 적대적 공격 및 방어 연구에서 '연속성 유지 (Continuity-aware manipulation)'가 핵심 요소임을 제시했습니다.
• 실용적 가치: 민감한 정보를 보호하면서도 모델의 전반적인 이해 능력과 생성 품질을 해치지 않는 프라이버시 보호 기술의 새로운 지평을 열었습니다.

요약하자면, 이 논문은 "객체를 지우는 것이 아니라 배경에 녹여내어 (Re-encoding) 표현의 공백을 만들지 않음으로써, VLM 의 할루시네이션을 근본적으로 차단한다"는 혁신적인 접근법을 제시했습니다.