💻 computer science

DAVIS: OOD Detection via Dominant Activations and Variance for Increased Separation

이 논문은 전역 평균 풀링 (GAP) 으로 인한 정보 손실을 보완하기 위해 채널별 분산과 주요 활성화 값을 특징 벡터에 통합한 새로운 사후 OOD 검출 기법인 DAVIS 를 제안하며, 다양한 아키텍처에서 기존 방법보다 우수한 성능을 입증합니다.

원저자: Abid Hassan, Tuan Ngo, Saad Shafiq, Nenad Medvidovic

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abid Hassan, Tuan Ngo, Saad Shafiq, Nenad Medvidovic

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 인공지능 (AI) 이 **"내가 모르는 것"을 어떻게 알아챌 수 있을까?**라는 아주 중요한 질문에 대한 해답을 제시합니다.

이해하기 쉽게 요리사와 식당의 비유를 들어 설명해 드릴게요.

1. 문제 상황: 요리사의 "무감각한" 입맛

지금까지 AI 모델 (요리사) 은 훈련받은 데이터 (예: 고양이 사진) 만 보고 학습했습니다. 그런데 갑자기 훈련받지 않은 이상한 음식 (예: 고양이 얼굴이 달린 피자) 이 들어오면, 기존 AI 는 "아, 이건 고양이야!"라고 아주 자신 있게 잘못 말해버립니다. 이를 OOD(Out-of-Distribution, 분포 밖) 데이터라고 합니다.

기존의 AI 는 이 이상한 음식을 판단할 때, **GAP(Global Average Pooling)**라는 과정을 거칩니다.

비유: 요리사가 접시 위에 있는 모든 재료를 다 섞어서 한 숟가락만 떠서 맛을 본다고 상상해 보세요.
문제: 이 한 숟가락 (평균값) 만으로는 재료가 얼마나 고르게 퍼져 있는지, 혹은 어떤 재료는 유독 튀어서 많이 들어있는지 (최대값) 같은 세부적인 정보를 모두 잃어버리게 됩니다. 그래서 이상한 음식도 평범한 음식처럼 느껴져서 AI 가 "이거 정상이다"라고 착각하게 됩니다.

2. 해결책: DAVIS (다비스)

이 논문은 DAVIS라는 새로운 방법을 제안합니다. 이름은 Dominant Activations and Variance for Increased Separation(우세한 활성화와 분산을 이용한 분리 강화) 의 약자입니다.

DAVIS 의 아이디어: "한 숟가락만 떠서 맛보는 게 아니라, 접시 전체를 훑어보자!"
1. 우세한 활성화 (Dominant Activations): 재료 중 가장 많이 들어간 것, 혹은 가장 강하게 튀어나온 부분을 집중해서 봅니다. (예: "이 피자에 고양이 귀 모양이 너무 뚜렷하게 튀어나왔네?")
2. 분산 (Variance): 재료들이 얼마나 고르게 퍼져 있는지, 혹은 들쑥날쑥한지 그 불규칙성을 봅니다. (예: "이 음식은 재료가 너무 불규칙하게 섞여 있네?")

이 두 가지 정보를 평균값에 더해서 AI 에게 주면, AI 는 "아, 이건 훈련받지 않은 이상한 음식이구나!"라고 훨씬 정확하게 감지할 수 있게 됩니다.

3. 왜 이것이 중요한가요? (실생활 예시)

자율주행차: 비가 오거나 눈이 오는 날, 혹은 훈련받지 않은 이상한 물체가 도로에 나타나면, 기존 AI 는 "차다"라고 잘못 인식할 수 있습니다. 하지만 DAVIS 를 쓰면 "이건 뭔가 이상해, 멈춰!"라고 더 빨리 경고할 수 있어 사고를 막을 수 있습니다.
의료 진단: AI 가 훈련받지 않은 희귀 병이나 새로운 종류의 종양을 보았을 때, "모르겠다"라고 솔직하게 말하고 인간 의사의 도움을 요청하게 만들어 줍니다.

4. 핵심 성과

재학습 불필요: 이미 만들어진 AI 모델을 뜯어고치지 않고, 마지막 단계에서 이 'DAVIS'라는 장치를 끼우기만 하면 됩니다. (플러그 앤 플레이)
오류 감소: 기존 방법들보다 거짓 경보 (정상인 것을 이상하다고 생각하는 경우) 를 7%~25% 까지 크게 줄였습니다.
현대 모델에도 강력함: 최신 AI 모델 (Swin Transformer 등) 에서 기존 방법들이 잘 작동하지 않았는데, DAVIS 는 그 모델들에서도 뛰어난 성능을 발휘했습니다.

요약

기존의 AI 는 "평균"만 보고 판단해서 이상한 것을 놓쳤다면, DAVIS는 **"가장 튀는 부분"과 "불규칙한 부분"**까지 꼼꼼히 살피게 만들어 AI 가 **"이건 내가 모르는 거야!"**라고 더 정확하게 외치게 해주는 똑똑한 보조 장치입니다.

이 방법은 AI 를 더 안전하게, 그리고 현실 세계에 더 잘 적용할 수 있게 해주는 중요한 기술입니다.

1. 문제 정의 (Problem Statement)

머신러닝 모델을 현실 세계에 배포할 때 가장 중요한 안전 장치 중 하나는 분포 외 (Out-of-Distribution, OOD) 입력을 정확하게 탐지하고 불확실성을 표시하는 능력입니다. 기존의 사후 (Post-hoc) OOD 탐지 방법들은 대부분 신경망의 최종 특징 표현 (Penultimate feature representation) 을 사용하는데, 이는 전역 평균 풀링 (Global Average Pooling, GAP) 을 통해 생성됩니다.

핵심 한계: GAP 은 각 채널의 공간적 활성화 맵을 단일 스칼라 값 (평균) 으로 요약합니다. 이 과정에서 활성화 분포의 분산 (Variance) 과 최대값 (Dominant/Maximum activation) 과 같은 중요한 통계적 정보가 영구적으로 손실됩니다.
연구자의 주장: 저자들은 이러한 손실된 통계 정보 (특히 채널별 분산과 최대 활성화) 가 ID(분포 내) 와 OOD(분포 외) 샘플을 구분하는 데 매우 강력한 신호가 될 수 있음을 발견했습니다. GAP 은 분류에는 유리할 수 있지만, 분포 불확실성을 인코딩하는 이러한 보완적 통계를 억제하여 OOD 탐지 성능을 저하시킨다고 주장합니다.

2. 방법론 (Methodology: DAVIS)

저자들은 GAP 으로 인한 정보 손실을 보완하기 위해 DAVIS (Dominant Activations and Variance for Increased Separation) 라는 간단한 사후 (Post-hoc) 모듈을 제안합니다. 이 방법은 모델 재학습 없이 기존 분류기에 플러그 앤 플레이 (Plug-and-play) 방식으로 적용 가능합니다.

핵심 아이디어: 전역 평균 풀링 (GAP) 이 적용되기 직전의 활성화 맵에서 평균뿐만 아니라 채널별 최대 활성화 (Dominant Activation, $m(x)$ ) 와 표준 편차 (Variance, $\sigma(x)$ ) 를 추출하여 특징 벡터를 풍부하게 만듭니다.
구현 방식:
1. DAVIS( $\mu, \sigma$ ): 기존 평균 활성화 ( $\mu$ ) 에 표준 편차 ( $\sigma$ ) 를 하이퍼파라미터 $\gamma$ 로 스케일링하여 더합니다.
  $h^{\text{DAVIS}}(x) = \mu(x) + \gamma \sigma(x)$
2. DAVIS( $m$ ): 특징 벡터를 평균 대신 최대 활성화 ( $m$ ) 로 완전히 대체합니다.
  $h^{\text{DAVIS}}(x) = m(x)$
작동 원리: 이렇게 생성된 풍부해진 특징 벡터 ( $h^{\text{DAVIS}}$ ) 는 기존 로짓 기반 (MSP), 에너지 기반 (Energy), 그래디언트 기반 (GradNorm), 또는 거리 기반 (KNN) 등 다양한 기존 OOD 스코어링 함수에 입력됩니다. 이는 ID 와 OOD 샘플 간의 점수 분리를 극대화하여 탐지 성능을 향상시킵니다.

3. 주요 기여 (Key Contributions)

GAP 의 정보 손실 문제 제기: 사후 OOD 탐지에서 전역 평균 풀링이 중요한 통계적 신호 (분산, 최대값) 를 누락시킨다는 점을 최초로 체계적으로 지적하고, 이를 해결하는 방법을 제안했습니다.
DAVIS 모듈 제안: 평균, 분산, 최대값을 활용한 간단한 특징 풍부화 기법을 제안하여, 기존 방법론을 대체하지 않고 보완하는 모듈로 설계했습니다.
광범위한 실험적 검증:
- 다양한 아키텍처: ResNet, DenseNet, MobileNet, EfficientNet, Swin Transformer, ConvNeXt 등 전통적 CNN 과 현대적 아키텍처 전반에서 검증되었습니다.
- 대규모 벤치마크: ImageNet-1K 및 CIFAR-10/100 에서 다양한 OOD 데이터셋 (iNaturalist, SUN, Places, Textures 등) 을 사용하여 평가했습니다.
- 성능 향상: 기존 최첨단 방법 (SOTA) 대비 FPR95 (95% True Positive Rate 유지 시의 위양성률) 를 획기적으로 감소시켰습니다. (예: ResNet-50 에서 7.96%, ConvNeXt-B 에서 16.53%, Swin-B 에서 25.09% 감소).
근거 기반 분석: 통계적 분석과 실험적 증거를 통해 DAVIS 가 왜 작동하는지 (ID 와 OOD 간의 특징 분리 간격 증가) 를 이론적으로 설명했습니다.

4. 실험 결과 (Results)

ImageNet 벤치마크:
- Swin-B: 기존 최상위 방법 (GEN) 대비 FPR95 를 25.09% 감소.
- ConvNeXt-B: 기존 최상위 방법 (CARef) 대비 FPR95 를 16.53% 감소.
- ResNet-50: 기존 최상위 방법 (SCALE) 대비 FPR95 를 7.96% 감소.
CIFAR 벤치마크:
- CIFAR-10 에서 DAVIS+DICE 조합은 기존 방법 대비 평균 FPR95 를 28.03% 감소.
- CIFAR-100 에서도 일관된 성능 향상을 보였습니다.
Near-OOD 탐지: 의미론적으로 유사한 OOD 데이터 (예: ImageNet-O, SSB-Hard) 에 대해서도 강건한 성능을 입증했습니다.
활성화 함수 내성: ReLU 외에도 SiLU, GeLU, TanH 등 다양한 활성화 함수를 사용하는 현대 모델에서도 기존 방법들이 성능이 저하되는 반면, DAVIS 는 안정적인 성능을 유지했습니다. 이는 DAVIS 가 활성화의 밀집도 (Sparsity) 에 덜 의존하기 때문입니다.
계산 비용: OOD 점수 계산 시 추가적인 계산 부하가 거의 없으며 (ResNet-50 기준 GFLOPs 증가 < 0.1%), 분류 정확도 (ID Accuracy) 에도 영향을 미치지 않습니다.

5. 의의 및 결론 (Significance)

이 논문은 OOD 탐지 분야에서 GAP 기반 특징 표현의 한계를 극복하기 위한 새로운 패러다임을 제시합니다.

원칙적 근거: 단순히 점수를 조정하는 것이 아니라, 모델이 학습한 분포의 통계적 특성 (평균, 분산, 최대값) 을 활용하여 더 풍부한 특징 표현을 구축함으로써 OOD 탐지의 근본적인 분리 능력을 향상시킵니다.
범용성: 모델 아키텍처나 학습 데이터에 의존하지 않는 범용적인 사후 처리 기법으로, 기존 OOD 탐지 알고리즘의 성능을 한 단계 업그레이드할 수 있는 표준적인 도구로 자리 잡을 수 있습니다.
미래 작업: 현재 GAP 에 기반하고 있어 Vision Transformer 의 [CLS] 토큰 기반 구조에는 직접 적용하기 어렵다는 한계가 있으나, 이를 토큰 기반 아키텍처로 확장하는 것이 향후 중요한 연구 방향이 될 것입니다.

요약하자면, DAVIS는 "평균만 보는 것"에서 벗어나 "분산과 최대값까지 보는" 간단한 통계적 접근을 통해 OOD 탐지의 정확도를 획기적으로 높인 혁신적인 방법론입니다.