🤖 machine learning

A Probabilistic Circuit-Induced Pseudo-Metric for Out-of-Distribution Detection

본 논문은 별도의 홀드아웃 분포 내 데이터(in-distribution data) 없이도 비지도 학습 기반의 탐지 및 변화 국소화를 가능하게 하기 위해, 확률적 회로(Probabilistic Circuits)의 내부 계층 구조를 활용하여 계층적 가능도 벡터(Hierarchical Likelihood Vector)와 그에 대응하는 의사 메트릭(pseudo-metric)을 정의하는 새로운 분포 외 탐지(out-of-distribution detection) 프레임워크를 소개한다.

원저자: Bhumika K, Vidhya S, Narayanan C Krishnan

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bhumika K, Vidhya S, Narayanan C Krishnan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 독점적인 클럽의 보안 요원이라고 상상해 보세요. 당신의 업무는 누가 들어올 수 있고 누가 들어올 수 없는지를 결정하는 것입니다. 보통 당신은 단골 손님들이 어떻게 생겼는지에 대한 머릿속 리스트를 가지고 있습니다: 그들의 키, 그들이 즐겨 쓰는 모자, 그들의 걸음걸이 같은 것들 말이죠. 만약 누군가 네온 컬러 광대 옷을 입고 들어온다면, 당신은 즉시 그가 이곳에 어울리지 않는다는 것을 알게 됩니다. 하지만 만약 그 사람이 단골과 거의 비슷하게 생겼는데 셔츠만 약간 다른 것이라면 어떨까요? 혹은 클럽이 너무 커서 모든 단골의 세세한 디테일까지 다 기억할 수 없다면 어떨까요? 이것이 바로 인공지능 세계에서의 "분포 외(Out-of-Distribution, OOD)" 탐지의 과제입니다. 이는 컴퓨터에게 "이봐, 이 데이터는 좀 이상해; 내가 배운 것과 일치하지 않아"라고 말하도록 가르치는 작업이며, 이를 위해 비교할 두 번째 예시 리스트를 따로 필요로 하지 않습니다.

이 논문이 이 문제를 어떻게 해결하는지 이해하려면, 우리가 사용하는 도구인 "확률 회로(Probabilistic Circuit)"를 살펴봐야 합니다. 이것을 무질서한 신경망이 아니라, 확률의 거대하고 조직적인 가계도로 생각하세요. 나무의 맨 아래에는 단순한 사실들(예: "이 픽셀은 검은색인가?")이 있습니다. 이 사실들이 위로 올라가면서 더 큰 개념들(예: "이것은 원인가?")로 결합됩니다. 나무의 꼭대기는 최종 점수를 제공합니다: "이 사진이 고양이일 확률은 얼마인가?" 기존 방식의 문제는 보안 요원(또는 AI 모델)들이 종종 나무의 맨 꼭대기에 있는 이 최종 점수만을 본다는 점입니다. 그들은 나무 중간에 있는 흥미로운 디테일들을 무시합니다. 이 논문은 나무의 꼭대기뿐만 아니라 전체를 봄으로써 "광대 옷"을 훨씬 더 잘 잡아낼 수 있다고 주장합니다.

연구진은 인도 기술 연구소 팔라카드(IIT Palakkad) 소속으로, **계층적 가능도 벡터(Hierarchical Likelihood Vector, HLV)**라는 새로운 방법을 소개합니다. AI에게 "이것은 고양이인가?"라고 묻는 대신(이는 하나의 숫자만을 제공합니다), 그들은 가계도의 다양한 수준에서 여러 질문을 던집니다. "이것은 원인가?" "이것은 검은색 픽셀인가?" "이것은 특정한 형태의 곡선인가?" 그들은 이 답변들을 모아 하나의 리스트, 즉 벡터를 만듭니다. 이 리스트가 바로 HLV입니다. 이것은 보안 요원에게 단순히 "단골처럼 보임"이라는 도장을 찍어주는 대신, 신발부터 모자까지 모든 디테일을 담은 체크리스트를 주는 것과 같습니다.

이 체크리스트를 사용하여, 그들은 **계층적 가능도 거리(Hierarchical Likelihood Distance, HLD)**라고 불리는 새로운 거리 측정법을 만들었습니다. 당신에게 "완벽한 단골" 체크리스트와 "새로 온 사람"의 체크리스트가 있다고 상상해 보세요. HLD는 이 두 리스트가 얼마나 떨어져 있는지를 측정합니다. 만약 새로운 사람의 리스트가 완벽한 단골의 리스트와 매우 다르다면, 거리는 커지며 AI는 경보를 울려야 한다는 것을 알게 됩니다. 이 논문의 영리한 점은, 나중에 비교하기 위해 별도의 단골 사진들을 잔뜩 저장해 둘 필요 없이, AI의 뇌로부터 직접 수학적으로 "완벽한 단골" 체크리스트를 계산하는 방법을 알아냈다는 것입니다. 이는 시스템을 훨씬 더 효율적으로 만들며, 추가적인 데이터가 주변에 없는 실제 환경에서도 사용할 준비가 되도록 합니다.

그들이 표 형식의 데이터(고객 정보와 같은 스프레드시트)와 손으로 쓴 숫자 이미지(MNIST)에 이 아이디어를 테스트했을 때, 결과는 유망했습니다. 시뮬레이션에서 HLV 방식은 나무의 꼭대기만을 바라보는 기존 방식보다 "광대"를 더 잘 찾아냈습니다. 예를 들어, 표 형식의 데이터셋에서 항목 100개를 묶음으로 테스트했을 때, 새 방식은 이상한 데이터를 93%의 확률로 탐지해 낸 반면, 기존 방식들은 종종 50% 혹은 그 이하에 머물렀습니다. 더욱 중요한 것은, 새 방식이 더 안정적이었다는 점입니다. 데이터가 약간 지저분해지거나 AI 모델이 완벽하지 않더라도 쉽게 혼란에 빠지지 않았습니다.

또한 이 논문은 이 방법이 탐정처럼 행동할 수 있음을 보여주었습니다. HLV는 나무의 모든 노드를 추적하기 때문에, 연구진은 체크리스트의 어떤 특정 질문들이 달랐는지를 살펴볼 수 있었습니다. 만약 AI가 숫자 '6'을 '0'으로 착각하여 혼란스러워했다면, 이 방법은 이미지의 정확히 어느 부분(중간 루프 부분)이 문제를 일으켰는지 지목할 수 있었습니다. 이러한 "지역화(localization)"는 우리가 단순히 무언가가 이상하다는 것을 아는 것을 넘어, 왜 AI가 그것을 이상하다고 생각하는지 이해하도록 도와줍니다.

하지만 저자들은 이것이 모든 것을 영원히 해결할 마법의 탄환은 아니라는 점을 주의 깊게 언급합니다. 그들의 방법은 AI 모델이 매끄럽고 구조화된 특정 유형의 "확률 회로"라는 점에 의존합니다. 만약 모델이 무질서하거나 구조화되어 있지 않다면, 수학적 계산이 깔끔하게 작동하지 않습니다. 또한, 이 방법은 모델에 맞지 않는 데이터를 찾아내는 데는 뛰어나지만, 만약 모델 자체가 현실을 제대로 표현하지 못한다면(예: 고양이의 흐릿한 사진), 시스템은 실제 고양이를 이상한 것으로 분류할 수도 있습니다. 저자들은 고해상도 이미지(28x28 픽셀)에서 모델이 모든 미세한 디테일을 완벽하게 포착하는 데 어려움을 겪으면서 오탐률(false alarm rate)이 높아졌다는 것을 발견했습니다.

요약하자면, 이 논문은 AI의 뇌 내부에서 일어나는 대화 전체에 귀를 기울임으로써, 우리가 데이터에 대한 더 나은 보안 시스템을 구축할 수 있다고 제안합니다. 이는 단일한 "예/아니오" 결정을 풍부하고 다층적인 조사로 바꾸어 놓으며, AI가 다른 방법들이 놓치는 미묘한 데이터의 변화를 포착할 수 있게 해줍니다. 이 모든 과정은 비교를 위한 별도의 예시 리스트 없이도 가능합니다. 이는 AI가 자신의 한계를 더 잘 인식하고, 예상치 못한 상황을 더 잘 포착할 수 있도록 만드는 단계입니다.

기술 요약: 확률적 회로 유도 의사 메트릭을 이용한 분포 외 탐지 (OOD Detection)

문제 정의

분포 외(Out-of-distribution, OOD) 탐지는 배포 시 마주하는 데이터가 학습된 모델이 나타내는 분포와 일치하는지 결정하는 것을 목표로 한다. 비지도 학습 환경에서 생성 모델은 인 분포(in-distribution, ID)를 명시적으로 모델링하므로 자연스러운 선택이다. 그러나 기존 방식들은 다음과 같은 중대한 한계에 직면해 있다:

우도 역설 (The Likelihood Paradox): 딥 생성 모델(예: VAE, Normalizing Flows)의 스칼라 우도는 OOD 샘플에 대해 ID 데이터보다 더 높은 점수를 부여할 수 있다.
정보 손실 (Information Loss): 현재의 확률적 회로(Probabilistic Circuit, PC) 기반 방법들은 전체 회로 계층을 루트 노드의 단일 스칼라 우도로 축소하여, 내부 노드들에 인코딩된 풍부한 확률적 정보를 폐기한다.
데이터 의존성 (Data Dependency): MMD(Maximum Mean Discrepancy)와 같은 많은 분포 비교 방법이나 캘리브레이션 기법들은 홀드아웃(held-out) ID 참조 샘플이나 캘리브레이션 세트를 필요로 하는데, 이는 훈련된 모델만이 ID의 유일한 표현인 엄격한 배포 시나리오에서는 사용 불가능하다.

본 연구가 다루는 핵심 질문은 다음과 같다: 학습된 PC 내에 인코딩된 계층적 확률 정보가, 홀드아웃 ID 데이터에 의존하지 않고도 통계적으로 캘리브레이션된 분포 수준의 OOD 탐지기를 구축하는 데 사용될 수 있는가?

방법론

제안된 프레임워크는 두 가지 핵심 개념인 **계층적 우도 벡터(Hierarchical Likelihood Vector, HLV)**와 **계층적 우도 거리(Hierarchical Likelihood Distance, HLD)**를 도입한다.

1. 계층적 우도 벡터 (HLV)

관측치 $x$ 를 PC의 루트에서만 평가하는 대신, 이 방법은 선택된 노드 집합 $\mathcal{N} = \{n_1, \dots, n_m\}$ 에서 관측치를 평가한다.

정의: 매끄럽고 분해 가능한(decomposable) PC에 대해, HLV는 $L_C(x) = (\ell_{n_1}(x), \dots, \ell_{n_m}(x))$ 로 정의된다. 여기서 $\ell_n(x)$ 는 노드 $n$ 의 범위(scope) 내로 제한된 관측치의 우도이다.
의미: 이 벡터는 다양한 변수 범위에 걸친 확률적 요약을 보존한다. 입력 노드는 변수 수준의 요약을 제공하며, 합(sum) 및 곱(product) 노드는 점진적으로 더 큰 범위에 대한 요약을 제공한다. 루트가 포함되면 기존의 우도가 이러한 계층적 요약과 함께 유지된다.

2. 계층적 우도 거리 (HLD)

HLD는 학습된 분포 $P$ 와 테스트 분포 $Q$ 사이의 불일치를 그들의 기대 HLV를 비교함으로써 측정한다.

정의: $d_C(P, Q) = \|\mu_P - \mu_Q\|_2$ , 여기서 $\mu_P = \mathbb{E}_{X \sim P}[L(X)]$ 이고 $\mu_Q = \mathbb{E}_{X \sim Q}[L(X)]$ 이다.
이론적 특성: 저자들은 HLD가 PC에 의해 직접 유도된 함수 클래스 $\mathcal{F}_C$ 에 대한 **적분 확률 메트릭(Integral Probability Metric, IPM)**임을 증명한다. 구체적으로, $\mathcal{F}_C$ 는 노드 우도 함수의 선형 결합으로 구성된다. 함수 클래스가 암묵적으로 학습되는 일반적인 IPM와 달리, $\mathcal{F}_C$ 의 모든 함수는 회로 구조로부터 유도된 직접적인 확률적 해석을 갖는다.

3. 적합도 검정(Goodness-of-Fit Test) 및 해석적 임계값

이 방법은 OOD 탐지를 적합도 가설 검정( $H_0: P = Q$ 대 $H_1: P \neq Q$ )으로 정식화한다.

검정 통계량: 크기가 $T$ 인 테스트 배치 $D_Q$ 가 주어질 때, 통계량은 $\hat{d}_C(P, Q) = \|\mu_P - \hat{\mu}_Q\|_2$ 이며, 여기서 $\hat{\mu}_Q$ 는 배치 내 HLV의 경험적 평균이다.
정확한 계산: 핵심 혁신은 구조적 분해 가능(structured-decomposable) PC의 경우, 모집단 평균 $\mu_P$ 와 HLV의 공분산 행렬 $\Sigma_P$ 를 훈련된 회로로부터만 정확하고 효율적으로 계산할 수 있다는 점이다. 이는 "범위 삼분법(Scope Trichotomy)" 성질을 통해 달성된다. 이 성질은 임의의 두 노드의 범위가 서로 소이거나, 동일하거나, 혹은 포함 관계에 있음을 보장한다. 이를 통해 ID 참조 샘플 없이도 정확한 주변화(marginalization) 및 곱 연산이 가능하다.
결정 임계값: 귀무 가설 하에서, 검정 통계량은 스케일링된 일반화 카이제곱 분포(generalized chi-square distribution)를 따른다. 저자들은 $\text{tr}(\Sigma_P)$ 및 $\text{tr}(\Sigma_P^2)$ 로부터 직접 계산된 이 분포의 1, 2차 모멘트(평균 및 분산)를 일치시킴으로써 근사적인 폐쇄형 임계값 $\tau_\alpha$ 를 도출한다. 이는 임계값 설정을 위해 홀드아웃 ID 데이터가 필요 없게 만든다.

주요 기여

HLV 및 HLD: 계층적 확률 요약을 포착하는 표현법과 그에 따른 의사 메트릭(HLD)을 도입하여 분포를 비교한다.
IPM 특성화: HLD가 PC에 의해 유도된 적분 확률 메트릭(IPM)임을 증명하여, 탐지기를 확립된 통계 이론에 근거하게 한다.
효율적인 정확한 계산: 구조적 분해 가능 PC에 대해, 필요한 모집단 통계량(HLV의 평균 및 공분산)을 모델 파라미터로부터 정확하게 계산할 수 있음을 입증하였다. 이는 홀드아웃 ID 데이터 없이도 해석적인 결정 임계값을 가능하게 한다.
실험적 검증: 표 형식 데이터(Adult, Covertype, Sensorless, Census-KD, Connect-4) 및 이진화된 MNIST에 대해 평가를 수행하여, 루트 우도, 불확실성 기반(TDI), 전형성(typicality) 기반, 커널 기반(MMD) 베이스라인보다 개선된 성능을 보여주었다.

실험 결과

프레임워크는 하나의 클래스가 ID 역할을 하고 나머지가 OOD 역할을 하는 클래스별 OOD 프로토콜을 통해 평가되었다.

탐지 능력: HLD는 작은 규모에서 중간 규모의 배치 크기( $T=10$ 에서 $T=100$ )에서 베이스라인보다 일관되게 높은 탐지 성능을 보인다. 예를 들어, $T=100$ 인 표 형식 데이터셋에서 HLD는 0.987의 탐지율에 도달한 반면, 루트 우도는 0.542, 전형성은 0.608을 기록했다.
모델 오설정(Model Misspecification)에 대한 강건성: 실제 홀드아웃 ID 데이터(모델이 실제 분포에 완벽히 부합하지 않을 수 있는 경우)에 대해 테스트했을 때, HLD는 다른 방법들에 비해 배치 크기가 커짐에 따라 거짓 양성률(FPR)이 현저히 느리게 증가함을 보였다. $T=1000$ 인 표 형식 데이터에서 HLD의 FPR은 0.178이었으나, MMD는 0.807, 루트 우도는 0.446에 달했다.
지역화(Localization): 통계량의 노드 단위 분해를 통해 분포 변화를 지역화할 수 있다. 불일치에 대한 기여도를 기준으로 노드를 순위화함으로써, 특정 변수 범위(예: MNIST의 특정 이미지 영역)를 식별할 수 있다.
절제 연구(Ablation Studies): 잎(leaf) 노드와 합(sum) 노드를 결합하여 HLV를 구성하는 것이 가장 견고한 성능을 제공했다. 곱(product) 노드를 추가하는 것은 탐지 능력을 일관되게 향상시키지 못했으며 때때로 성능을 저하시켰다.

의의 및 주장

본 논문은 확률적 회로의 계층적 구조를 활용하는 것이 스칼라 점수 방식보다 원칙적인 이점을 제공한다고 주장한다. PC를 단순한 우도 계산기가 아니라 풍부하고 해석 가능한 특징 공간(HLV)의 생성기로 취급함으로써, 본 방법은 다음과 같은 특성을 가진 분포 수준의 탐지기를 구축한다:

자기 캘리브레이션(Self-Calibrating): 훈련된 PC의 정확한 구조적 특성에 의존하므로, 임계값 설정을 위한 홀드아웃 ID 데이터가 필요 없다.
해석 가능성(Interpretable): 분포 변화의 원인을 회로 내 특정 노드(변수 범위)로 국지화할 수 있다.
강건성(Robust): 모델 오설정 상황에서도 기존 베이스라인에 비해 더 나은 캘리브레이션과 탐지 능력을 유지한다.

저자들은 한계점도 인정한다: 통계적 캘리브레이션은 훈련된 PC가 나타내는 분포에 상대적이다(즉, 모델 적합도가 낮으면 실제 데이터에 대해 높은 FPR이 발생할 수 있다). 또한, 폐쇄형 임계값은 공분산 스펙트럼이 몇 개의 고윳값에 의해 지배될 경우 정확도가 떨어질 수 있는 가우시안 근사에 의존한다. 향-후 연구로는 연속 확률 변수로의 확장을 포함한다.