The Invisible Gorilla Effect in Out-of-distribution Detection

이 논문은 OOD(분포 외) 검출 성능이 모델의 관심 영역 (ROI) 과 시각적 유사성이 있는 아티팩트일 때 향상되고 그렇지 않을 때 저하되는 '보이지 않는 고릴라 효과'라는 새로운 편향을 발견하고, 이를 통해 더 견고한 검출기 개발을 위한 통찰을 제시합니다.

핵심

이 논문은 인공지능 (AI) 이 실수할 때, 우리가 그 실수를 얼마나 잘 알아차릴 수 있는지에 대한 흥미로운 발견을 담고 있습니다. 제목인 **'보이지 않는 고릴라 효과 (The Invisible Gorilla Effect)'**는 이 현상을 설명하는 아주 좋은 비유입니다.

간단히 말해, **"AI 가 집중하는 부분과 비슷한 색이나 모양의 이상한 것이 보이면 AI 는 그걸 잘 찾아내지만, 전혀 다른 색이나 모양이면 AI 는 그걸 눈치채지 못하고 넘어간다"**는 뜻입니다.

이 내용을 일상적인 언어와 비유로 풀어서 설명해 드릴게요.

---

1. 배경: AI 는 '중요한 부분'만 봅니다

우리가 AI(딥러닝) 에게 사진을 보여주고 "이게 암인가, 아니면 건강한 피부인가?"를 가르칠 때, AI 는 피부 병변 (종양) 이 있는 **특정 부분 (관심 영역, ROI)**에 집중해서 학습합니다. 마치 의사가 환자의 병변 부위만 유심히 살피는 것과 비슷하죠.

하지만 현실에서는 훈련 데이터에 없던 이상한 것들 (예: 사진 위에 찍힌 펜 줄무늬, 색도, 기기의 흔적 등) 이 섞여 들어올 수 있습니다. 이를 **'OOD(분포 외) 데이터'**라고 합니다. AI 는 이런 이상한 게 보이면 "아, 이건 내가 배운 게 아니야!"라고 경고해야 합니다.

2. 발견된 문제: '보이지 않는 고릴라'

연구진은 40 가지 이상의 다양한 AI 경고 시스템을 테스트했습니다. 그리고 놀라운 사실을 발견했습니다.

비유: 농구 경기와 고릴라
심리학 실험에서 사람들은 흰색 셔츠를 입은 선수들이 공을 패스하는 횟수를 세라고 하면, 검은색 고릴라 복장을 한 사람이 화면을 지나가는 것을 못 봅니다. (집중하다 보니 놓치는 것)

하지만 이 논문은 그 반대의 상황을 발견했습니다.

• 상황 A: 피부 병변이 붉은색인 경우, AI 는 붉은색 펜으로 쓴 글씨 (이상한 것) 를 보면 **"오! 이건 붉은색이니까 이상하네!"**라고 잘 찾아냅니다.
• 상황 B: 그런데 같은 펜으로 검은색이나 초록색으로 썼다면, AI 는 **"음... 이건 붉은 병변과 색이 달라서 그냥 배경인가?"**라고 생각하며 눈을 감고 넘어갑니다.

즉, 이상한 것이 AI 가 집중하는 '주요 부분'과 색이 비슷할수록 AI 는 그걸 더 잘 찾아내고, 색이 다르면 오히려 못 찾는다는 것입니다. 이것이 바로 '보이지 않는 고릴라 효과'입니다. AI 는 자신이 집중하는 대상과 비슷한 것에는 민감해지지만, 전혀 다른 것은 무시해버리는 경향이 있는 것입니다.

3. 왜 이런 일이 일어날까요?

AI 는 사진을 볼 때 픽셀들의 색과 밝기를 수학적으로 분석합니다. 연구진은 AI 의 뇌 (잠재 공간) 를 분석해보니, 색상 변화가 AI 가 가장 민감하게 반응하는 '큰 진동수' 방향과 일치할 때 문제가 발생한다는 것을 발견했습니다.

• 비유: AI 가 '붉은색'을 감지하는 안테나가 매우 강력하게 켜져 있다면, 붉은색 이상 신호는 그 안테나에 크게 잡힙니다. 하지만 검은색 신호는 그 안테나에 잘 잡히지 않아서 AI 가 "아무 일도 없다"고 착각하는 것입니다.

4. 해결책 제안

이 문제를 고치기 위해 연구진은 두 가지 방법을 시도했습니다.

1. 색상 교란 (Color Jitter): 훈련할 때 이미지의 색을 임의로 바꿔주는 것.
   • 결과: 효과가 일정하지 않았습니다. 어떤 AI 는 좋아지고, 어떤 AI 는 더 나빠졌습니다.
2. 불필요한 신호 제거 (Subspace Projection): AI 의 뇌에서 '색상'에 민감하게 반응하는 특정 부분을 잘라내는 기술.
   • 결과: 성공! AI 가 색상에 너무 민감하게 반응하지 않도록 조정하자, 붉은 펜이든 검은 펜이든 이상한 것을 골고루 잘 찾아내게 되었습니다.

5. 결론: 왜 이 연구가 중요한가요?

의료나 자율주행 같은 위험한 분야에서 AI 를 쓸 때, "이건 내가 배운 게 아니야"라고 경고하는 시스템이 필수적입니다. 하지만 이 연구는 **"지금 우리가 쓰는 경고 시스템은 색만 바뀐 이상한 상황에서는 무용지물이 될 수 있다"**는 치명적인 약점을 지적합니다.

한 줄 요약:

"AI 는 자신이 집중하는 대상과 비슷한 이상한 것은 잘 찾아내지만, 완전히 다른 이상한 것은 '보이지 않는 고릴라'처럼 눈앞에 있어도 못 봅니다. 우리는 AI 가 이런 편향을 갖지 않도록 색상에 덜 민감하게 만들어야 합니다."

이 연구는 AI 가 더 안전하고 신뢰할 수 있도록, 우리가 놓치고 있던 '시각적 편향'을 찾아낸 중요한 발견입니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 딥러닝 모델 (DNN) 은 이미지 내의 관심 영역 (Region of Interest, ROI) 에서 특징을 학습하여 높은 성능을 보이지만, 훈련 데이터와 분포가 다른 Out-of-Distribution (OOD) 데이터가 입력될 경우 성능이 급격히 저하됩니다. 이를 방지하기 위해 OOD 검출 (OOD Detection) 이 필수적입니다.
• 기존 연구의 한계: 기존 연구들은 OOD 검출 성능이 아티팩트 (artefact) 의 종류에 따라 달라진다는 것을 보여주었으나, 그 근본적인 원인은 충분히 탐구되지 않았습니다.
• 핵심 문제: OOD 검출 성능이 단순히 OOD 데이터와 훈련 데이터의 '전체적인 유사도'에 비례하여 감소한다는 기존의 가설 (Near-OOD 는 Far-OOD 보다 검출이 어렵다) 이 항상 성립하지 않습니다. 오히려 모델이 주시하는 ROI 와 시각적으로 유사한 OOD 아티팩트일수록 검출이 더 잘 되고, 반대로 유사하지 않으면 검출이 어려워지는 역설적인 현상이 발견되었습니다.

2. 방법론 (Methodology)

이 연구는 11,355 개의 이미지와 40 가지 OOD 검출 방법을 대상으로 한 대규모 실증 연구를 수행했습니다.

• 데이터셋 및 아티팩트:

  • CheXpert (흉부 X-ray), ISIC (피부 병변), MVTec-AD (산업 검사) 등 3 개의 공개 데이터셋 사용.
  • 아티팩트: 잉크 주석 (Ink annotations), 컬러 차트 (Colour charts) 등을 OOD 데이터로 활용.
  • 색상 제어: 아티팩트의 색상을 모델의 ROI(예: 피부 병변의 평균 색상) 와 유사한 색상 (Red) 과 불유사한 색상 (Black, Green 등) 으로 분류 및 제어.
  • Counterfactuals 생성: 데이터셋 편향을 배제하기 위해 아티팩트의 색상을 인위적으로 변경 (Color-swapped) 한 반事实 (Counterfactual) 데이터를 생성하여 실험.

• 평가 지표:

  • 40 가지 OOD 검출 방법 (Internal Post-hoc, Internal Ad-hoc, External 방법 포함) 을 7 개의 벤치마크에서 평가.
  • 주요 지표: AUROC, AURC, FPR@95 등.
  • 시각적 유사도 정의: ROI 와 아티팩트의 평균 RGB 값 간의 유클리드 거리 (Euclidean distance) 를 계산하여 '유사 (Similar)'와 '불유사 (Dissimilar)'로 구분.

• 메커니즘 분석 (Subspace Attribution):

  • PCA 기반 분석: OOD 아티팩트의 색상 변화가 모델의 잠재 공간 (Latent Space) 에서 고분산 (High-variance) 방향과 정렬되어 있는지 분석.
  • ** nuisance subspace (불필요 부분 공간) 정의:** OOD 아티팩트가 큰 변동을 일으키는 고분산 특징 방향을 식별.

• 완화 전략 (Mitigation Strategies):

  1. Color Jitter Augmentation: 훈련 중 색상 교란 증강 적용.
  2. Subspace Projection: 식별된 nuisance subspace 에 수직인 방향으로 특징을 투영 (Projection) 하여 색상 민감도를 제거.

3. 주요 기여 (Key Contributions)

1. Invisible Gorilla Effect 발견: OOD 검출에서 시각적 유사성 (특히 색상) 이 검출 성능에 결정적인 영향을 미친다는 새로운 편향을 처음 보고했습니다. 이는 심리학의 '무시된 고릴라 실험' (Inattentive Blindness) 에서 유래한 개념으로, 모델이 ROI 에 집중할 때 ROI 와 유사한 OOD 아티팩트는 쉽게 감지되지만, 불유사한 아티팩트는 '보이지 않게' 되는 현상을 의미합니다.
2. 대규모 실증 연구: 3 개의 데이터셋, 3 가지 아키텍처 (ResNet, VGG, ViT), 40 가지 OOD 방법 (총 3,795 개의 하이퍼파라미터 설정) 에 걸쳐 체계적인 평가를 수행하여 이 현상이 보편적임을 입증했습니다.
3. 메커니즘 규명: 특징 기반 (Feature-based) OOD 방법들이 잠재 공간의 고분산 방향 (색상 변화가 주로 존재하는 방향) 을 과도하게 정규화하거나 가중치를 낮추기 때문에, 불유사한 색상 아티팩트가 ID(In-distribution) 데이터와 유사하게 점수화되어 검출이 실패함을 PCA 분석을 통해 규명했습니다.
4. 해결 방안 제시: 색상 증강 (Color Jitter) 은 일관된 효과가 없었으나, nuisance subspace 투영 (Subspace Projection) 기법을 통해 특징 기반 방법들의 성능 격차를 유의미하게 줄이고 검출 안정성을 높이는 것을 입증했습니다.

4. 실험 결과 (Results)

• 성능 저하 패턴:

  • 대부분의 OOD 방법에서 **ROI 와 시각적으로 불유사한 아티팩트 (예: 검은색 잉크)**에서 검출 성능 (AUROC) 이 유의하게 떨어졌습니다.
  • Mahalanobis Score의 경우, 피부 병변 (ROI) 과 유사한 붉은색 잉크를 검출할 때 AUROC 가 31.5% 더 높게 나타났으며, 검은색 잉크에서는 성능이 급감했습니다.
  • **특징 기반 방법 (Feature-based)**이 신뢰도 기반 방법 (Confidence-based) 보다 색상 변화에 따른 성능 저하 폭이 훨씬 컸습니다 (평균 AUROC 감소 7.1%p vs 1.5%p).

• 통계적 유의성:

  • Wilcoxon signed-rank 검정을 통해 유사/불유사 아티팩트 간의 성능 차이가 통계적으로 유의미함 ($p < 10^{-5}$) 을 확인했습니다.

• 완화 전략 효과:

  • Subspace Projection: 특징을 nuisance subspace 에 수직으로 투영한 결과, Mahalanobis Score 와 FeatureNorm 등의 방법에서 유사/불유사 아티팩트 간의 성능 격차가 크게 줄어들었습니다 (예: Mahalanobis 의 불유사 아티팩트 AUROC 가 63.6% → 75.8% 로 향상).
  • Color Jitter: 일관된 완화 효과를 보이지 않았으며, 오히려 ID 데이터의 정확도를 저하시키는 부작용이 있었습니다.

5. 의의 및 중요성 (Significance)

• OOD 검출의 새로운 패러다임: OOD 검출의 난이도가 단순히 '데이터의 전역적 유사도'에 의해 결정되지 않으며, 모델이 주시하는 ROI 와의 국소적 시각적 유사성에 크게 의존함을 보여줍니다.
• 안전한 AI 배포: 의료 영상 (피부암 진단 등) 과 같은 고위험 분야에서, 모델이 놓칠 수 있는 '보이지 않는' OOD 사례 (ROI 와 색상이 다른 아티팩트) 를 식별하고 대응할 수 있는 가이드를 제공합니다.
• 강건한 검출기 설계: 기존 OOD 방법들이 색상 변화에 취약할 수 있음을 지적하며, **잠재 공간의 불필요한 변동을 제거하는 기법 (Subspace Projection)**이 보다 강건한 OOD 검출 시스템 설계에 필수적임을 시사합니다.

이 논문은 OOD 검출 분야에서 간과되어 왔던 중요한 실패 모드 (Failure Mode) 를 규명하고, 이를 해결하기 위한 구체적인 방법론을 제시함으로써 실제 환경에서의 AI 시스템 신뢰성 향상에 기여합니다.