📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

본 논문은 베이지안 비모수 모델과 이상치 탐지를 위한 상대적 마할라노비스 거리 점수 간의 형식적 연결을 수립하여, 특히 훈련 클래스가 다양한 공분산 구조를 보이거나 데이터가 제한적일 때 우수한 성능을 보이는 일반화된 계층적 혼합 모델을 제안한다.

원저자: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

게시일 2026-05-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 독점적인 미술관의 경비원이라고 상상해 보세요. 당신은 미술관의 그림들 (당신의 학습 데이터) 을 수년 동안 연구해 왔습니다. 당신은 "진짜" 그림이 어떻게 생겼고, 어떤 느낌을 주며, 어떻게 행동하는지 정확히 알고 있습니다.

어느 날, 낯선 사람이 이상한 물체를 들고 들어옵니다. 그것은 당신이 아직 보지 못한 새로운 작가의 걸작 (분포 외 또는 OOD 샘플) 일까요, 아니면 그냥 기이하게 생긴 쓰레기통 (이상치) 일까요? 당신의 임무는 즉시 쓰레기통을 발견하고 경보를 울리는 것입니다.

이 논문은 베이지안 비모수라는 특정 수학 유형을 사용하여 더 똑똑한 경비원을 만드는 것에 관한 것입니다. 여기서는 저자들이 간단한 비유를 사용하여 그들의 접근 방식을 설명합니다.

구식 방법: "일률적" 자

오랫동안 경비원들은 마할라노비스 거리 (특히 RMDS라고 불리는 버전) 라는 간단한 도구를 사용해 왔습니다.

이것은 미술관의 모든 그림이 정확히 같은 모양과 질감을 가지고 있다고 가정하는 자와 같습니다.

그림이 약간 늘어져 있으면, 자는 "그건 이상해!"라고 말합니다.
그림이 약간 구겨져 있으면, 자는 "그건 이상해!"라고 말합니다.

문제는 현실 세계에서는 모든 그림이 같지 않다는 점입니다. 어떤 것은 넓고 평평하고, 다른 것은 높고 가늘습니다. 어떤 것은 거친 캔버스에 그려졌고, 다른 것은 부드러운 실크에 그려졌습니다. 모든 것을 측정하기 위해 "일률적"인 자를 강제로 사용하면, 쓰레기통이 "정상적인" 넓은 그림처럼 보이기 때문에 놓칠 수 있거나, 높은 그림이 평평한 자에게는 "비정상적"으로 보이기 때문에 오경보를 할 수 있습니다.

새로운 아이디어: "유연하고 공유된 지혜" 접근법

저자들은 **디리클레 프로세스 혼합 모델 (DPMMs)**을 기반으로 한 새로운 경비원을 제안합니다.

모든 그림이 동일하다고 가정하는 대신, 이 새로운 경비원은 다음을 이해합니다:

많은 종류의 그림이 존재합니다: 미술관에는 100 가지 다른 스타일 (클러스터) 이 있을 수 있습니다.
새로운 그림이 나타날 수 있습니다: 경비원이 아직 본 적이 없는 새로운 스타일이 존재할 가능성이 항상 있습니다.
그들은 지혜를 공유합니다: 모든 그림 스타일이 다르지만, 서로로부터 배울 수 있습니다.

"공유된 지혜" 비유 (계층적 사전분포)

미술관에 100 개의 다른 예술 부서가 있다고 상상해 보세요.

구식 방법: 각 부서는 자신의 자를 사용하여 자신의 그림을 측정하려고 시도합니다. 만약 어떤 부서에 그림이 5 점밖에 없다면, 그들의 자는 불안정하고 신뢰할 수 없습니다.
신식 방법 (계층적): 모든 부서는 빌릴 수 있는 "마스터 자"를 공유합니다. 만약 어떤 부서에 그림이 매우 적다면, 그들은 마스터 자에 크게 의존합니다. 반면, 수천 점의 그림을 가진 부서는 자신의 측정을 더 신뢰합니다.

이것이 저자들이 계층적 사전분포라고 부르는 것입니다. 이는 시스템이 유연하게 (다른 모양을 인정) 되면서도 안정적 (데이터가 부족할 때 혼란스러워하지 않음) 이도록 합니다.

큰 발견: 구식과 신식은 사촌입니다

이 논문은 놀라운 발견을 합니다. 저자들은 수학적으로证明了 구식의 "일률적" 자 (RMDS) 는 실제로 그들의 새로운 "유연한" 시스템의 특수하고 단순화된 버전임을 증명했습니다.

이렇게 생각해보세요: 구식 자는 장면의 흑백 사진과 같습니다. 새로운 시스템은 고화질 컬러 비디오입니다. 저자들은 비디오를 살짝 감고 색상을 끄면 흑백 사진과 정확히 똑같이 보인다고 보여주었습니다. 이는 구식 방법이 "틀린" 것이 아니라, 더 강력한 아이디어의 단순화된 버전이었다는 것을 의미합니다.

새로운 도구: 세 가지 유형의 유연한 경비원

구식 방법이 단순화된 버전임을 깨닫자, 저자들은 다양한 상황을 처리하기 위해 세 가지 더 강력한 경비원을 만들었습니다:

전신 경비원 (Full Covariance): 이 경비원은 그림의 모양과 질감의 모든 세부 사항을 동시에 살펴봅니다. 매우 정확하지만 많은 메모리와 시간이 필요합니다. 스타일당 그림이 많은 거대한 미술관이 있을 때 가장 잘 작동합니다.
빠른 스캔 경비원 (Diagonal Covariance): 이 경비원은 너비와 높이를 상호작용을 무시하고 별도로 살펴봅니다. 더 빠르고 메모리가 덜 필요합니다. 미술관이 거대하지만 모든 세부 사항을 볼 시간이 부족할 때 잘 작동합니다.
"연결된" 빠른 스캔 경비원 (Coupled Diagonal): 이것이 저자들의 새로운 발명입니다. 빠른 스캔 경비원과 비슷하지만, 그림의 너비가 "이상하다면" 높이도 아마 "이상할" 것이라고 알아차립니다. 이 두 가지 아이디어를 연결합니다. 이는 특히 미술관에 많은 스타일이 있지만 각 스타일의 예시가 많지 않을 때, 많은 테스트에서 최고의 성능을 보인 것으로 나타났습니다.

그들이 무엇을 발견했나요?

저자들은 OpenOOD(다양한 미술관과 쓰레기통에 대한 거대한 테스트) 라는 유명한 벤치마크에서 이러한 새로운 경비원들을 테스트했습니다.

미술관이 작고 붐빌 때: 새로운 "연결된" 경비원이 쓰레기통을 발견하는 데 가장 뛰어났습니다.
미술관의 각 스타일 예시가 매우 적을 때: 새로운 경비원들은 데이터 부족으로 혼란스러워했던 구식 자보다 훨씬 더 잘 작동했습니다.
스타일들이 서로 매우 다를 때: 새로운 경비원들은 모든 것을 같은 "상자"에 넣으려 강요하지 않았기 때문에 더 잘 적응했습니다.

결론

이 논문은 이상한 데이터를 감지하기 위해 단순하고 경직된 자 (구식 RMDS 와 같은) 에만 의존해서는 안 된다고 주장합니다. 대신, 유연하고 공유된 지혜 시스템처럼 작동하는 베이지안 비모수 모델을 사용해야 합니다.

이 새로운 물체가 알려진 그룹에 속하는지 아니면 완전히 새로운 그룹에 속하는지 "추리하는" 문제를 처리하고, 서로 다른 그룹들이 통계적 힘을 공유하도록 함으로써, 특히 미술관이 지저분하거나 예시가 부족할 때 미술관의 쓰레기통을 훨씬 더 잘 찾아내는 보안 시스템을 구축할 수 있습니다.

간단히 말해: 이 논문은 복잡하고 유연한 수학 프레임워크를 취하여, 왜 우리의 현재 단순한 도구들이 작동하는지 설명하고, 그 프레임워크를 사용하여 구식 도구보다 까다로운 상황에서 더 나은 성능을 발휘하는 더 강력하고 적응력 있는 도구들을 구축합니다.

기술 요약: 분포 외 (Out of Distribution) 검출을 위한 마할라노비스 거리의 베이지안 비모수적 관점

문제 제기

대규모 데이터셋으로 훈련된 기반 모델 (foundation models) 을 중심으로 구축된 기계 학습 시스템은 필연적으로 훈련 분포와 다른 데이터를 마주하게 됩니다. 이러한 분포 외 (OOD) 샘플을 탐지하는 것은 안전성과 신뢰성에 있어 필수적입니다. 베이지안 비모수적 방법은 새로운 클러스터에 데이터 포인트가 속할 확률을 추정하기 위한 일관된 확률론적 프레임워크를 제공하지만, 단순한 거리 기반 척도들을 선호하는 경향으로 인해 크게 외면받아 왔습니다. 베이지안 접근법을 채택하는 데 있어 주요 장벽은, 특히 클래스당 훈련 샘플 수가 임베딩 차원에 비해 적을 때, 특징 임베딩에 대한 고차원 공분산 행렬을 추정하는 데 따르는 계산적 및 통계적 어려움입니다.

방법론

이론적 연결: RMDS 와 DPMM

저자들은 널리 사용되는 상대적 마할라노비스 거리 점수 (RMDS) 와 베이지안 비모수적 추론 사이의 공식적인 이론적 관계를 확립합니다. 구체적으로, 그들은 RMDS 가 결합된 공분산 행렬(모든 클래스가 단일 공분산 행렬을 공유함) 을 가진 가우스 디리클레 프로세스 혼합 모델 (DPMM) 로부터 유도된 이상치 확률의 근사치임을 보여줍니다.

명제 4.1: 일반적인 DPMM 의 정상 (inlier) 확률을 상대적 마할라노비스 점수와 유사한 점수 $\tilde{C}(x)$ 의 로지스틱 함수로 표현할 수 있음을 보여줍니다.
명제 4.2: 특정 영역 (서브 - 가우스 데이터, 동일한 클러스터 크기, 상대 공분산 행렬에 대한 특정 조건) 에서 결합 공분산 모델의 DPMM 점수가 RMDS 와 거의 완벽하게 상관관계를 가진다는 것을 증명합니다. 이는 휴리스틱한 RMDS 접근법을 엄밀한 베이지안 추론과 연결합니다.

계층적 가우스 DPMM

클래스들이 현저히 다른 공분산 구조를 보일 때 결합 공분산 가정 (즉, RMDS) 이 성립하지 않을 수 있음을 인식한 저자들은 계층적 가우스 DPMM을 제안합니다. 이러한 모델은 계층적 사전 분포를 통해 클래스 간에 통계적 힘을 공유하면서 각 클러스터에 대한 별도의 공분산 행렬을 추론함으로써 결합 공분산 가정을 완화합니다.

본 논문은 세 가지 구체적인 모델 변형을 소개합니다:

전체 공분산 모델 (Full Covariance Model): 켤레 정규 - 역 와시르트 (NIW) 사전 분포를 사용합니다. 이는 전체 공분산 행렬을 허용하지만 고차원에서 과적합의 위험이 있습니다.
대각 공분산 모델 (Diagonal Covariance Model): 분산이 차원 간에 독립적이라고 가정하며, 스케일링된 역 카이제곱 사전 분포를 사용합니다. 이는 매개변수 수를 줄이지만 차원 간 독립성을 가정합니다.
결합 대각 공분산 모델 (Coupled Diagonal Covariance Model): 클래스별 스케일 인자 $\gamma_k$ 를 도입하여 차원 간 상관관계를 포착하는 새로운 접근법입니다. 이 인자는 특정 클래스의 모든 차원에 대한 분산 크기를 스케일링하여, 계산 효율성을 유지하면서도 클래스 간 분산 크기의 체계적인 변동을 포착할 수 있게 합니다.

추정

저자들은 이러한 계층적 모델의 초매개변수를 추정하기 위한 효율적인 기대값 - 최대화 (EM) 알고리즘을 개발했습니다.

전체 공분산 및 대각 공분산 모델의 경우, 초매개변수 (집중도 $\nu_0$ 및 정밀도 스케일링 $\kappa_0$ ) 에 대한 M-단계는 폐쇄형 또는 일반화된 뉴턴 방법을 통해 계산됩니다.
결합 대각 공분산 모델의 경우, 스케일 인자 $\gamma_k$ 에 대한 사후 분포는 폐쇄형이 존재하지 않습니다. 저자들은 $\gamma_k$ 가 1 차원이라는 사실에 착안하여 밀집된 그리드에서의 수치적 구적법을 사용하여 이를 근사화합니다.

주요 결과

합성 실험

2 차원 데이터에 대한 시뮬레이션은 계층적 모델이 다음과 같은 상황에서 결합 공분산 모델 (및 RMDS) 보다 우수한 성능을 발휘함을 확인했습니다:

클러스터 간 공분산 행렬이 현저히 다른 경우 (낮은 $\nu_0$ ).
클래스당 데이터 포인트 수 ( $N_k$ ) 가 차원성 ( $D$ ) 에 비해 적은 경우.
$N_k/D$ 가 작은 영역에서 독립적인 RMDS(계층적 사전 분포 없이 클래스별 공분산을 사용하는) 는 과적합으로 인해 실패하는 반면, 계층적 DPMM 은 견고한 성능을 유지합니다.

OpenOOD 벤치마크 평가

이 모델들은 CIFAR-10, CIFAR-100, ImageNet-1K 데이터셋과 다양한 OOD 데이터셋 (Near 및 Far) 을 사용하여 OpenOOD 벤치마크에서 평가되었습니다.

ImageNet-1K: 결합 대각 공분산 모델이 Near OOD 탐지에서 최고의 성능을 달성하여 표준 RMDS 와 결합 DPMM 을 능가했습니다. 전체 공분산 모델은 고차원 (768 차원) 공간에서의 과적합으로 인해 성능이 저조했습니다.
CIFAR-10: 전체 공분산 계층적 모델이 Near 및 Far OOD 작업 모두에서 가장 높은 성능을 보여주었는데, 이는 더 낮은 차원의 임베딩 (512 차원) 과 더 작은 데이터셋의 경우 전체 공분산 구조가 학습 가능하고 유익함을 시사합니다.
차원성 분석: 특징 차원성이 증가함에 따라 전체 공분산 모델의 성능은 정체되거나 저하된 반면, 대각 공분산 및 결합 대각 공분산 모델은 Near OOD 벤치마크에서 특히 우수한 성능을 유지했습니다.

중요성 및 주장

본 논문은 계층적 사전 분포를 가진 베이지안 비모수적 방법이 OOD 탐지를 위한 잘 정립되고 실용적으로 경쟁력 있는 접근법을 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

이론적 통합: 휴리스틱한 RMDS 와 가우스 DPMM 하의 베이지안 추론 사이의 공식적인 연결을 제공하여, 보다 일반적인 확률론적 프레임워크의 특정 한계로서 RMDS 를 검증합니다.
일반화: 등 공분산 가정을 완화하여 RMDS 를 일반화하는 계층적 모델을 제안함으로써, 클래스 공분산이 다른 시나리오에 적응할 수 있게 합니다.
실용적 유용성: 이러한 모델이 특히 다음과 같은 영역에서 OOD 탐지를 개선할 수 있음을 입증합니다:
- 클래스 간 이질적인 공분산 구조.
- 특징 차원성에 비해 클래스당 제한된 데이터.
- 분포 내 샘플과 "Near OOD" 샘플 간의 세밀한 구분이 필요한 경우.

저자들은 전체 공분산 모델이 고차원에서 과적합될 수 있지만, 결합 대각 공분산 모델은 전체 공분산 추정의 매개변수 폭발 없이 클래스 간 분산 상관관계를 포착하는 견고한 절충안을 제공한다고 지적합니다. 그들은 OOD 탐지를 생성 모델에서의 추론으로 제시함으로써 기존 거리 기반 기준선보다 성능 향상을 이끌 수 있는 원칙적인 모델링 선택이 가능하다고 결론지었습니다.