When Visual Evidence is Ambiguous: Pareidolia as a Diagnostic Probe for Vision Models

이 논문은 파레idolia(의인화) 현상을 활용하여 다양한 비전 모델이 모호한 시각적 증거를 해석하는 메커니즘을 분석하고, 비전 - 언어 모델이 의미적 과활성화를 보이는 반면 탐지 기반 모델은 보수적 경향을 보임을 규명하여 모델의 표현 방식이 모호성 하에서의 행동과 편향을 결정한다는 것을 제시합니다.

핵심

이 논문은 **"컴퓨터가 눈을 감고도 (또는 흐릿하게 볼 때) 무얼 보고 있다고 착각하는가?"**를 연구한 흥미로운 내용입니다.

전문 용어인 **'파레이돌리아 (Pareidolia)'**라는 개념부터 시작해 보겠습니다. 파레이돌리아는 인간의 뇌가 구름, 벽의 얼룩, 전구 같은 무작위적인 모양을 보다가 **"아, 저건 사람 얼굴이네!"**라고 착각하는 심리 현상입니다. (예: 전구에서 눈과 입을 보는 것)

이 논문은 **"인간은 그렇게 착각할 수 있지만, 인공지능 (AI) 은 어떻게 반응할까?"**를 실험했습니다. AI 가 흐릿한 이미지에서 '사람 얼굴'을 잘못 찾아내는 현상을 통해, 각 AI 모델이 세상을 어떻게 이해하고 있는지 진단한 것입니다.

---

🕵️‍♂️ 연구의 핵심: "AI 의 착각을 통해 본 성격 테스트"

연구진은 다양한 AI 모델들을 '파레이돌리아'라는 미묘한 상황 (얼굴처럼 보이지만 사실은 아닌 이미지) 에 노출시켰습니다. 그리고 각 모델이 어떻게 반응하는지 세 가지 유형으로 나누어 분석했습니다.

1. VLM(시각 - 언어 모델): "과도한 상상력의 화가" 🎨

• 모델 예시: CLIP, LLaVA
• 성격: "무조건 사람 얼굴이야!"라고 믿는 열정적인 추리꾼 같습니다.
• 특징: 이 모델들은 언어 (텍스트) 와 이미지를 함께 학습했기 때문에, 흐릿한 무언가를 보더라도 **'사람 (Human)'**이라는 개념에 너무 쉽게 반응합니다.
  • 특히 LLaVA라는 모델은 "저건 사람 얼굴이야!"라고 100% 확신을 가지고 말하지만, 사실은 전구나 동물일 수도 있습니다.
  • 비유: 친구가 "저 구름이 사람처럼 보이네?"라고 말하면, 이 모델은 "맞아! 저건 화난 얼굴이야!"라고 아주 자신 있게 맞장구칩니다. 부정적인 감정 (화남, 슬픔) 이 담긴 이미지일수록 더 심하게 착각합니다.

2. ViT(순수 시각 모델): "신중한 회의론자" 🤷‍♂️

• 모델 예시: ViT
• 성격: "글쎄... 잘 모르겠는데?"라고 말하는 신중한 관찰자입니다.
• 특징: 이 모델은 언어의 영향을 받지 않고 순수하게 이미지만 봅니다. 흐릿한 것을 볼 때 "사람일 수도 있고, 동물일 수도 있고, 그냥 얼룩일 수도 있어"라고 확신하지 않고 여러 가능성을 열어둡니다.
• 결과: 그래서 "사람 얼굴"이라고 잘못 말하는 실수는 거의 없습니다. 하지만 확신도 없기 때문에, 명확한 얼굴이 있어도 "아마 사람일 거야"라고 딱 잘라 말하지는 않습니다.
• 비유: 친구가 "저 구름이 사람처럼 보이네?"라고 하면, 이 모델은 "음... 사람 같기도 하고, 고양이 같기도 하고, 그냥 구름일 수도 있겠네. 확실하지 않아."라고 답합니다.

3. 탐지기 모델 (YOLO, RetinaFace): "엄격한 보안 요원" 🚫

• 모델 예시: YOLOv8, RetinaFace
• 성격: "진짜 얼굴이 아니면 절대 인정하지 않아!"라고 말하는 엄격한 경비원입니다.
• 특징: 이 모델들은 실제 얼굴을 찾기 위해 훈련되었습니다. 그래서 전구나 벽에 있는 얼굴 모양을 보면, "저건 진짜 얼굴이 아니야"라고 아예 반응조차 하지 않습니다.
• 결과: 착각 (오류) 을 거의 하지 않지만, 진짜 얼굴이 가려져 있거나 흐릿하면 놓치는 경우도 있습니다.
• 비유: 친구가 "저 구름이 사람처럼 보이네?"라고 하면, 이 경비원은 "아니, 그건 구름일 뿐이야. 진짜 사람이 아니니까 무시해."라고 딱 잘라 말합니다.

---

💡 이 연구가 우리에게 알려주는 중요한 교훈

이 논문은 AI 를 평가할 때 **"얼마나 확신 (Confidence) 을 가지고 있는가?"**만 보면 안 된다고 경고합니다.

1. 확신 ≠ 안전:

   • LLaVA는 "100% 확신"으로 틀린 답을 내놓을 수 있습니다 (과도한 착각).
   • **보안 요원 (탐지기)**은 "100% 확신"으로 아예 반응하지 않기도 합니다 (안전한 억제).
   • 즉, AI 가 "확신"한다고 해서 그 답이 맞는 것은 아닙니다.

2. 불확실성 ≠ 위험:

   • ViT는 "모르겠다"라고 말하며 불확실성을 보이지만, 오히려 가장 안전하고 편향되지 않습니다.

3. 감정의 함정:

   • AI 모델 중에는 화난 표정이나 슬픈 표정이 담긴 이미지일수록, 무언가를 '사람 얼굴'로 더 자주 착각하는 경향이 있습니다. 이는 AI 가 감정을 '사람'의 증거로 잘못 해석하기 때문입니다.

🏁 결론: AI 를 더 똑똑하게 만드는 법

이 연구는 AI 를 단순히 "얼굴을 잘 찾는다"고 평가하는 것을 넘어, **"AI 가 흐릿한 상황에서 어떻게 의미를 부여하는지"**를 살펴봐야 한다고 말합니다.

• **과도한 상상력 (VLM)**을 가진 모델은 "무조건 사람"이라고 생각하게 만드는 훈련을 고쳐야 합니다.
• **신중한 태도 (ViT)**는 유지하되, 확실한 상황에서는 더 명확하게 판단할 수 있게 해야 합니다.
• **엄격한 태도 (탐지기)**는 유지하되, 진짜 얼굴을 놓치지 않도록 균형을 잡아야 합니다.

한 줄 요약:

"AI 가 흐릿한 그림을 볼 때, 무엇을 보고 있다고 '확신'하는지가 얼마나 중요한지, 그리고 그 '확신'이 얼마나 위험할 수 있는지를 파레이돌리아 (착각) 실험을 통해 밝혀낸 연구입니다."

이 연구는 앞으로 AI 가 의료, 감시, 콘텐츠 필터링 등 중요한 일을 할 때, 흐릿한 상황에서 실수하지 않도록 시스템을 개선하는 데 큰 도움을 줄 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 파레돌리아 (Pareidolia) 의 활용: 파레돌리아는 비인간적 객체 (예: 콘센트, 구름) 에서 얼굴 패턴을 지각하는 심리적 현상입니다. 본 논문은 이를 단순한 심리 현상이 아닌, 시각 모델이 모호한 (ambiguous) 입력을 어떻게 해석하고 의미 부여를 하는지를 분석하는 통제된 프로브 (probe) 로 활용합니다.
• 기존 연구의 한계: 기존 연구는 주로 얼굴 탐지 모델이 파레돌리아 자극에 얼마나 반응하는지 (False Positive) 에만 초점을 맞추었습니다. 그러나 이는 모델의 의사결정 구조, 불확실성 표현, 그리고 다양한 표현 체계 (Representational Regimes) 간의 편향 (Bias) 차이를 포괄적으로 분석하지 못했습니다.
• 핵심 질문: 시각적 증거가 약할 때, 모델은 얼굴과 유사한 패턴을 어떻게 분류하며, 모델의 아키텍처와 사전 지식 (Priors) 이 편향과 불확실성에 어떤 영향을 미치는가?

2. 방법론 (Methodology)

저자는 FacesInThings 데이터셋 (약 5,000 장의 인간 주석 파레돌리아 이미지) 을 기반으로 통일된 진단 프레임워크를 제안했습니다.

2.1 평가 대상 모델 (4 가지 표현 체계)

총 6 개의 모델을 4 가지 범주로 나누어 비교 분석했습니다.

1. 시각 - 언어 모델 (VLMs):
   • CLIP (ViT-B/32, ViT-L/14): 대비 학습 (Contrastive) 기반. 텍스트 프롬프트를 통해 5 가지 클래스 (Human, Animal, Cartoon, Alien, Other) 에 대한 임베딩을 생성하여 분류.
   • LLaVA-1.5-7B: 생성형 VLM. 텍스트 생성을 통해 영역을 분류.
2. 순수 시각 분류 (Pure Vision Classification):
   • ViT-B/16 (ImageNet 사전학습): 언어 정보를 배제하고 순수 시각 특징만으로 5 가지 클래스를 분류.
3. 일반 객체 탐지 (General Object Detection):
   • YOLOv8: COCO 데이터로 학습된 고용량 탐지기.
4. 전용 얼굴 탐지 (Face-Specific Detection):
   • RetinaFace: 실제 인간 얼굴 탐지에 특화된 모델.

2.2 진단 메트릭 (Diagnostic Metrics)

모델의 반응을 5 가지 차원에서 정량화했습니다.

• 탐지 및 국소화 (Detection & Localization): 전체 반응률 (Detection Rate) 과 실제 파레돌리아 영역에 대한 정확한 위치 매칭률 (PPDR) 을 분리 측정.
• 난이도 조건부 성능: Easy/Medium/Hard 로 분류된 난이도에 따른 성능 변화 분석.
• 불확실성 정량화 (Uncertainty): **표현 모호성 지수 (RAI, Representation Ambiguity Index)**를 도입. 5 클래스 확률 분포의 엔트로피를 계산하여 모델의 예측이 얼마나 집중되어 있는지 측정.
• 편향 측정 (Bias Measurement): 비인간 영역을 'Human'으로 잘못 분류하는 비율 (False Bias Score, Non-human→Human rate) 을 측정.
• GT 박스 제어 평가 (GT-box-controlled): 탐지 모델의 국소화 실패와 의미론적 편향을 분리하기 위해, 주석된 박스 (Ground Truth crops) 를 입력으로 주어 탐지 모델이 해당 영역을 'Human'으로 판단하는지 확인.

3. 주요 기여 (Key Contributions)

1. 통일된 파레돌리아 진단 파이프라인: 탐지, 국소화, 불확실성, 편향을 통합적으로 측정하는 평가_suite 를 제안.
2. 교차 체계 비교 (Cross-regime Comparison): 단일 프로토콜 하에 VLM, 순수 시각 모델, 탐지 모델 등 서로 다른 아키텍처를 직접 비교.
3. 불확실성과 편향의 분리 (Decoupling): 예측 불확실성 (Confidence/Uncertainty) 이 편향 (Bias) 의 안전한 지표가 아님을 증명.
4. 감정 및 구조적 변조 분석: 감정 (특히 부정적 감정) 이 모델의 편향에 미치는 영향을 규명.

4. 주요 결과 (Key Results)

4.1 세 가지 해석 메커니즘의 발견

모호한 입력에 대한 모델의 반응은 크게 세 가지 메커니즘으로 나뉩니다.

1. 의미론적 과활성화 (Semantic Overactivation) - VLMs:
   • CLIP 및 LLaVA는 모호한 비인간 영역을 일관되게 'Human' 개념으로 끌어당기는 강한 편향을 보입니다.
   • 특히 LLaVA-1.5-7B는 가장 높은 확신 (Low Uncertainty/RAI) 을 가지면서도 가장 극단적인 'Human' 오분류 (Over-call) 를 보입니다.
   • **부정적 감정 (Fear, Anger 등)**이 있을 때 CLIP 모델의 'Human' 오분류율이 더욱 증가합니다.
2. 불확실성 기반의 거절 (Uncertainty-as-abstention) - 순수 시각 모델:
   • ViT는 높은 불확실성 (High RAI) 을 보이며, 특정 클래스에 확신을 갖지 않고 확률을 여러 클래스에 분산시킵니다.
   • 이로 인해 체계적인 'Human' 편향은 거의 발생하지 않습니다.
3. 사전 지식에 의한 억제 (Conservative Priors) - 탐지 모델:
   • YOLOv8와 RetinaFace는 강력한 사전 지식 (Real-face prior) 으로 인해 파레돌리아 반응 자체를 억제합니다.
   • GT 박스 제어 실험 결과, 국소화 (Localization) 문제를 제거해도 탐지 모델은 여전히 'Human'으로 판단하지 않았습니다. 이는 편향이 국소화 실패가 아닌, **의미론적 게이트 (Semantic Gating)**에 기인함을 의미합니다.

4.2 불확실성과 편향의 분리 (Uncertainty-Bias Decoupling)

• 핵심 발견: 낮은 불확실성 (높은 확신) 이 반드시 '안전함'을 의미하지 않습니다.
  • 안전한 억제: 탐지 모델은 낮은 불확실성으로 인해 파레돌리아를 무시합니다 (안전).
  • 극단적 과해석: LLaVA 는 낮은 불확실성으로 파레돌리아를 확신 있게 'Human'으로 잘못 분류합니다 (위험).
• 반대로, 높은 불확실성 (ViT) 은 편향을 방지하는 방어 기제로 작용할 수 있습니다.

4.3 모델 규모와 아키텍처의 영향

• 모델 규모가 커지거나 (CLIP-B vs CLIP-L), 생성형 모델 (LLaVA) 을 사용한다고 해서 편향이 줄어들지 않았습니다. 오히려 LLaVA 는 가장 확신 있는 편향을 보였습니다.
• 이는 임계값 (Threshold) 조정보다는 프롬프트, 사전 학습 데이터, 아키텍처적 사전 지식이 편향을 결정한다는 것을 시사합니다.

5. 의의 및 결론 (Significance)

• 새로운 평가 패러다임: 기존의 정확도 (Accuracy) 중심 벤치마크를 넘어, 모델이 모호한 상황에서 의미를 어떻게 구성하는지를 분석하는 '스트레스 테스트'로서 파레돌리아를 제안합니다.
• 안전성 (Safety) 에 대한 시사점: 시각 - 언어 시스템 (VLM) 이 모호한 상황에서 과도하게 인간 얼굴을 인식할 경우 (예: 의료 영상, 감시 시스템), 단순한 임계값 조정으로는 해결할 수 없는 체계적인 오작동 (False Positive) 이 발생할 수 있음을 경고합니다.
• 향후 방향: 파레돌리아와 같은 모호한 입력은 모델의 의미론적 경계를 sharpen 하는 '하드 네거티브 (Hard Negatives)'로 활용되어, 편향을 줄이고 의미론적 견고성 (Semantic Robustness) 을 높이는 데 사용될 수 있습니다.

요약하자면, 이 논문은 시각 모델의 편향이 단순한 오작동이 아니라, 모델의 표현 체계 (Representation) 와 사전 지식에 의해 구조적으로 결정된다는 점을 파레돌리아를 통해 입증하고, 불확실성만으로는 모델의 안전성을 판단할 수 없다는 중요한 통찰을 제공합니다.