How Do Inpainting Artifacts Propagate to Language?

이 논문은 확산 기반 인페인팅으로 인한 시각적 아티팩트가 비전 - 언어 모델의 언어 생성에 어떻게 전파되는지 분석하여, 재구성 품질과 캡션 성능 간의 연관성을 규명하고 다중 모달 시스템의 진단 프레임워크를 제시합니다.

핵심

이 논문은 **"AI 가 그림의 일부가 지워지고 다시 그려질 때, 그 그림을 보고 설명하는 AI 가 얼마나 헷갈리는가?"**를 연구한 내용입니다.

비유를 들어 쉽게 설명해 드릴게요.

🎨 1. 상황 설정: "수리공과 해설가"

이 연구를 이해하기 위해 두 명의 가상의 인물을 상상해 보세요.

1. 수리공 (Inpainting AI): 그림의 일부가 찢어지거나 지워졌을 때, 빈 공간을 채워 그림을 완성하는 사람입니다. 최근의 AI 는 이 일을 아주 잘해서, 눈으로 보기엔 원래 그림과 거의 구별이 안 될 정도로 완벽하게 채웁니다.
2. 해설가 (Captioning AI): 그림을 보고 "이건 뭐가 그려져 있니?"라고 설명하는 사람입니다.

이 논문은 수리공이 빈 공간을 채운 그림을 해설가가 봤을 때, 해설가가 어떤 실수를 하는지를 분석했습니다.

🔍 2. 핵심 발견: "눈에는 안 보이지만, 말에는 큰 오류가 생긴다"

연구진은 다음과 같은 실험을 했습니다.

• 원래 그림의 중앙 부분을 가리고, AI(수리공) 로 하여금 그 부분을 다시 그리게 했습니다.
• 그 결과물을 다른 AI(해설가) 에게 보여주고 설명을 시켰습니다.

놀라운 결과는 무엇일까요?

• 눈으로 보면: 채워진 그림이 아주 자연스럽게 보입니다. 사람 눈으로는 "아, 여기가 다시 그려졌네"라고 거의 알 수 없습니다.
• 하지만 해설가 AI 는: 그림을 설명할 때 완전히 엉뚱한 말을 합니다.
  • 예: 원래 그림에 **'남자'**가 있었는데, AI 가 다시 그렸더니 해설가는 **"여자"**라고 말합니다.
  • 예: 원래 **'테니스를 치는 사람'**이었는데, 다시 그려진 그림을 보고 **"검은색 반바지를 입은 사람"**이라고 말합니다. (색깔이나 옷이 바뀌었습니다.)
  • 예: **'소'**가 있었는데, AI 가 다시 그리는 과정에서 **'말'**로 변해버려서 해설가는 "말이 있다"고 말합니다.

결론: AI 가 그림을 '수리'할 때, 눈에는 안 보일 정도로 미세한 변화가 생기지만, 그 변화가 AI 의 '이해'에는 치명적인 오류를 일으킨다는 것입니다. 마치 수리공이 벽지 무늬를 아주 비슷하게 다시 붙였는데, 해설가는 그 무늬를 보고 "이 집은 원래 다른 집이었다"고 착각하는 상황과 비슷합니다.

📊 3. 왜 이런 일이 일어날까? (연구의 통찰)

연구진은 이 현상을 세 가지 관점에서 분석했습니다.

1. 화질과 설명의 관계:
   그림을 다시 그릴 때 '화질'이 얼마나 좋은지 (픽셀이 얼마나 정확한지) 를 측정했습니다. 그랬더니 화질이 좋을수록 해설가의 설명도 정확해졌습니다. 즉, 그림이 조금이라도 더 정확하게 복원되면, AI 는 그 그림을 더 잘 이해하게 됩니다.

2. AI 의 두뇌 (레이어) 가 어떻게 변하는가:
   해설가 AI 가 그림을 볼 때, 그 정보가 AI 의 뇌를 통과하는 과정을 들여다봤습니다.

   • 그림의 초기 단계 (단순한 선이나 색) 는 크게 변하지 않았습니다.
   • 하지만 **고급 단계 (의미를 파악하는 단계)**로 갈수록, 다시 그려진 부분 때문에 AI 의 '주의 (Attention)'가 완전히 다른 곳으로 쏠렸습니다. 마치 사람이 그림을 볼 때, 원래는 '사람'을 보려다가 다시 그려진 부분 때문에 '개'를 보는 것처럼 뇌의 초점이 흐트러진 것입니다.

3. 어떤 방식으로 지우느냐가 중요:
   그림을 지울 때, 뚝 잘라낸 것처럼 딱딱하게 지우면 (가장 심한 오류 발생) 해설가가 가장 많이 헷갈렸습니다. 반면, 흐릿하게 번지거나 색을 살짝 변하게 지우면 해설가가 원래 그림을 더 잘 기억했습니다.

💡 4. 이 연구가 우리에게 주는 교훈

이 연구는 우리에게 중요한 메시지를 줍니다.

• "완벽해 보이는 것도 믿지 마세요": AI 가 만든 그림이 눈으로 보기엔 완벽해 보여도, 그 안에 숨겨진 미세한 오류가 AI 의 판단을 완전히 뒤흔들 수 있습니다.
• 의료나 안전 분야에 주의: 만약 이 기술이 X-ray(엑스레이) 나 의료 영상을 분석하는 데 쓰인다면, AI 가 병변을 '수리'하는 과정에서 중요한 진단 정보를 잃어버리고 엉뚱한 병을 진단할 수도 있습니다.
• 새로운 진단 도구 필요: 앞으로 AI 시스템을 평가할 때는 단순히 "그림이 예쁜가?"만 보는 게 아니라, **"그림이 다시 그려진 후에도 AI 가 원래 의미를 잘 기억하는가?"**를 함께 확인해야 합니다.

🏁 요약

이 논문은 **"AI 가 그림을 고칠 때, 눈에는 안 보이지만 AI 의 '이해'에는 큰 구멍이 생길 수 있다"**는 사실을 발견했습니다. 마치 수리공이 벽을 고칠 때, 벽지 무늬는 똑같아 보이지만 그 뒤에 숨겨진 구조가 변해버려 집이 무너질 수 있는 위험과 비슷하다고 할 수 있습니다. 따라서 우리는 AI 가 만든 그림을 볼 때, 그 그림이 '원래의 의미'를 얼마나 잘 지키고 있는지 꼼꼼히 확인해야 합니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLMs) 은 종종 다단계 파이프라인 내에서 배포되며, 이 과정에서 시각적 입력이 생성되거나 재구성된 후 언어 모델에 입력됩니다. 대표적인 예로 이미지 인페인팅 (Image Inpainting) 이 있으며, 이는 누락되거나 손상된 영역을 채워 넣는 작업입니다.
• 문제: 최신 확산 기반 (Diffusion-based) 인페인팅 모델은 픽셀 수준의 사실적인 재구성을 생성하지만, 이는 주로 시각적 현실감에 최적화되어 있습니다. 따라서 시각적으로는 자연스러워 보이지만 의미론적으로 중요한 오류 (예: 객체 교체, 속성 변경, 카테고리 오류) 를 포함할 수 있습니다.
• 핵심 질문: 캡션 생성 모델은 재구성된 영역이 합성된 것인지 알지 못하므로, 이를 실제 시각적 증거로 간주합니다. 따라서 재구성의 충실도 (Fidelity) 가 하류 (Downstream) 캡션의 정확성과 의미적 근거 (Semantic Grounding) 에 어느 정도 영향을 미치는지 규명하는 것이 본 연구의 목적입니다.

2. 방법론 (Methodology)

저자들은 2 단계 진단 프레임워크를 도입하여 이 상호작용을 분석했습니다.

• 실험 설정 (Degradation-Reconstruction-Captioning Framework):

  1. 손상 (Degradation): 입력 이미지의 특정 영역 (중앙 마스크, 가우시안 블러, 저차원 압축 등) 을 인위적으로 손상시킵니다.
  2. 재구성 (Reconstruction): 확산 기반 인페인팅 모델 (Stable Diffusion 1.5, 2.0, 3.0) 을 사용하여 손상된 영역을 복원합니다.
  3. 캡션 생성 (Captioning): 원본 이미지와 재구성된 이미지를 동결 (Frozen) 된 비전 - 언어 모델 (LLaVA, BLIP, Qwen2.5-VL) 에 입력하여 캡션을 생성합니다.
  4. 비교: 생성된 캡션 간의 차이를 언어적 및 의미적 지표로 분석합니다.

• 분석 축 (Axes of Analysis):

  1. 상관관계 분석: 재구성 충실도 지표 (MSE, PSNR, SSIM, LPIPS) 와 캡션 품질 지표 (BLEU, METEOR, ROUGE-L, SimCSE, SBERT) 간의 상관관계를 분석합니다.
  2. 내부 표현 분석: 동결된 비전 인코더 (ViT-Base) 의 임베딩 유사성, 레이어별 주시 (Attention) 드리프트, 엔트로피 변화를 측정하여 인페인팅 아티팩트가 모델 내부에서 어떻게 전파되는지 파악합니다.

3. 주요 기여 (Key Contributions)

1. 모델 중립적 진단 프레임워크: 비전 - 언어 파이프라인에서 재구성으로 인한 영향을 분석하기 위한 모델에 구애받지 않는 진단 도구를 제시했습니다.
2. 다중 데이터셋 실증적 증거: 다양한 도메인 (자연 이미지, 의료 영상, 오디오 스펙트로그램, 시계열 차트) 에서 재구성 충실도와 캡션 품질 간의 연관성을 입증했습니다.
3. 아티팩트의 전파 메커니즘 규명: 인페인팅 아티팩트가 비전 인코더의 레이어별 (Layer-wise) 및 공간적으로 국소화된 (Spatially localized) 변화를 유발함을 보여주었습니다.

4. 주요 결과 (Key Results)

A. 재구성 충실도와 캡션 품질의 상관관계

• 강한 연관성: 픽셀 수준 (MSE) 및 지각적 (LPIPS) 재구성 지표와 캡션 품질 (단어 및 의미 수준) 간에 일관된 상관관계가 관찰되었습니다. 지각적 현실감 (Perceptual Realism) 이 하류 작업의 근거 (Grounding) 에 중요합니다.
• SSIM 의 한계: 구조적 유사성 (SSIM) 은 자연 이미지 (Flickr) 에서 캡션 정확도를 예측하는 데 약하거나 일관성이 없었습니다. 이는 전역적 구조 유사성만으로는 캡션의 정확성을 보장할 수 없음을 의미합니다.
• 도메인별 차이:
  • 성공 사례 (Flickr, RefCOCOg, TRUCE, ROCOv2): 재구성 오류가 감소할수록 캡션 품질이 향상되는 명확한 경향을 보였습니다. 특히 RefCOCOg(지역 기반 참조) 에서 상관관계가 가장 강력했습니다.
  • 실패 사례 (GTZAN, X-ray): 캡션이 매우 짧거나 반복적이며 언어적 다양성이 부족할 경우, 재구성 품질의 변화가 캡션 지표에 영향을 미치지 않았습니다. 이는 의미가 풍부한 캡션이 재구성 - 언어 상관관계 분석의 전제 조건임을 시사합니다.

B. 마스킹 전략의 영향

• 부드러운 손상 (가우시안 블러, 저차원 압축) 이 경직된 중앙 마스크 (Hard Center Mask) 보다 캡션 품질을 더 잘 보존했습니다.
• 경직된 마스크는 시각적으로 그럴듯해 보일지라도, 객체 정체성과 관계적 단서를 급격히 끊어내어 의미론적 오류를 유발합니다.

C. 내부 표현 및 주시 (Attention) 변화

• 레이어 의존적 드리프트: 인페인팅 아티팩트는 비전 인코더의 심층 레이어 (Deep Layers) 에서 가장 큰 주시 드리프트 (Attention Drift) 를 유발했습니다. 초기 레이어는 상대적으로 안정적이었습니다.
• 공간적 국소화: 주시 드리프트는 재구성된 영역 (예: 중앙 마스크 영역) 에 국소화되어 발생하며, 재구성되지 않은 영역은 안정적으로 유지되었습니다. 이는 의미적 불안정성이 전역적 이미지 열화 때문이 아니라 재구성된 콘텐츠 자체에서 기인함을 확인시켜 줍니다.

5. 의의 및 결론 (Significance)

• 다중 모달 시스템의 취약성 규명: 시각적 재구성의 미세한 오류가 언어 생성 단계에서 의미론적 오류 (Object Hallucination 등) 로 이어질 수 있음을 체계적으로 증명했습니다.
• 실용적 진단 도구: 단순히 픽셀 품질만 평가하는 것이 아니라, 재구성 품질이 하류 언어 작업에 미치는 영향을 평가하는 프레임워크를 제공했습니다.
• 향후 방향: 비전 - 언어 시스템의 견고성 (Robustness) 을 평가할 때 재구성을 고려한 진단이 필수적임을 강조하며, 특히 의료나 안전 관련과 같이 높은 정확성이 요구되는 분야에서 재구성 아티팩트의 위험성을 경고합니다.

요약하자면, 이 논문은 확산 모델 기반 인페인팅이 생성한 시각적 아티팩트가 단순히 이미지 품질 문제를 넘어, 비전 - 언어 모델의 언어 생성 정확도와 의미적 이해에 직접적인 영향을 미친다는 것을 실험적으로 입증하고, 그 메커니즘을 내부 표현 수준에서 분석했습니다.