An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

기술 요약: OOD 탐지를 위한 특징 구축의 정보 이론적 프레임워크

문제 정의
머신러닝 시스템은 분포 외(Out-of-Distribution, OOD) 데이터를 마주할 때 높은 신뢰도로 잘못된 예측을 내놓으며 실패하는 경우가 많습니다. 수많은 사후(post-hoc) OOD 탐지 방법들이 존재하지만, 이들은 대부분 이론적 기초가 부족한 경험적이고 규칙 기반인 접근 방식(예: ReAct, FS-OPT, VRA, ASH)에 의존하고 있습니다. 결과적으로, 이러한 방법들은 다양한 데이터셋과 유형의 분포 변화(의미론적 변화 및 공변량 변화)에 대해 일반화하는 데 어려움을 겪습니다. 따라서 밑바탕이 되는 통계적 가정을 기반으로 OOD 특징을 도출하고, 기존 방법들의 속성을 설명하며, 체계적으로 더 강력한 새로운 특징을 생성할 수 있는 이론적 프레임워크가 필요합니다.

방법론
저자들은 OOD 특징 구축을 변분 최적화 문제(variational optimization problem)로 정식화하는 새로운 정보 이론적 프레임워크를 제안합니다.

1. 무작위 특징 정식화 (Random Feature Formulation): 기존의 결정론적 특징 형성 함수와 달리, 저자들은 OOD 특징($\tilde{Z}$)을 네트워크 특징($Z$)으로부터 조건부 분포 $p(\tilde{z}|z)$를 통해 유도되는 확률 변수로 모델링합니다. 이 분포의 평균은 문헌에 등장하는 결정론적 형성 함수에 해당합니다.
2. 손실 범함수 (Loss Functional): 최적화는 다음의 복합 손실 범함수 $L$을 최소화하는 조건부 분포를 찾습니다:
   • KL 발산 항 (KL Divergence Term): 대칭적 쿨백-라이블러(KL) 발산을 사용하여 결과적인 ID(In-Distribution) 및 OOD 특징 분포 간의 분리(separation)를 극대화합니다.
   • 정보 병목(Information Bottleneck, IB) 규제: 입력 특징 $Z$와 OOD 특징 $\tilde{Z}$ 사이의 상호 정보량은 최소화하는 동시에, $\tilde{Z}$와 OOD 레이블 $Y$ 사이의 상호 정보량은 최대화합니다. 이는 특징이 압축되면서도 OOD 탐지에 구체적으로 유의미한 정보만을 유지하도록 하여, 불필요한 변동성을 제거합니다.
3. 최적화 (Optimization): 문제가 무한 차원의 확률 측도 공간에 정의되어 있으므로, 저자들은 변분법(calculus of variations)을 사용하여 기울기(gradient)를 도출합니다. 저자들은 조건부 분포 $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$에 대해 요소별 독립성과 가우시안 분포를 가정함으로써, 최적의 평균 $\mu(z)$와 표준 편차 $\sigma_c(z)$를 구하기 위한 계산 가능한 기울기 하강 알고리즘을 구현합니다.
4. 분포 분석 (Distributional Analysis): 프레임워크는 가정된 다양한 OOD 분포(가우시안, 라플라스, 그리고 제안된 역가우시안 변형) 하에서 최적의 특징을 분석합니다. 이 연구는 서로 다른 분포 가정이 어떻게 뚜렷한 형성 동작을 이끌어내는지 밝혀냅니다:
   • 가우시안 OOD: IB 규제 가중치에 따라 작은 값에서는 양의 기울기를, 큰 값에서는 음의 기울기(또는 클리핑)를 갖는 특징을 생성합니다.
   • 헤비 테일(Heavy-tailed) OOD (라플라스/역가우시안): 작은 값을 억제(제로화)하고 큰 값을 클리핑하며, 중간 영역에서는 선형적인 형태를 띠는 특징을 생성합니다.
5. 제안된 형성 함수 (PLF): 다양한 분포에서의 최적 형태가 구간 선형 함수(piecewise linear functions)로 근사될 수 있다는 관찰에 착안하여, 저자들은 **구간 선형 함수(Piecewise Linear Function, PLF)**를 도입합니다. 이 7개 파라미터 함수는 아키텍처와 데이터셋 전반에 걸쳐 적응성을 보장하기 위해 ID 특징 크기의 분위수(quantile)를 사용하여 매개변수화됩니다.

주요 기여

1. 이론적 프레임워크: OOD 특징을 확률 변수로 도출하기 위해 변분적, 정보 이론적 손실 범함수를 도입하여, 분포 간의 분리와 정보 압축을 통합하였습니다.
2. 기존 방법론의 이론적 설명: 본 프레임워크는 기존의 최첨단(SoA) 규칙 기반 방법들(예: ReAct, VRA, ASH)이 특정 기저의 OOD 분포 가정 및 규제 강도에 암묵적으로 대응함을 입증합니다. 예를 들어, 클리핑(clipping)은 높은 IB 규제와 연결되며, 작은 값의 억제는 헤비 테일 OOD 가정과 연결됩니다.
3. 새로운 형성 함수 (PLF): 단일 분포 가정에 얽매이지 않고 기존 방법들의 속성을 일반화하는, 이론적으로 뒷받려된 새로운 구간 선형 형성 함수를 도출했습니다.
4. 분위수 기반 매개변수화: PLF의 분기점(breakpoint)을 경험적 분위수를 사용하여 정식화함으로써, 파라미터 수를 늘리지 않고도 다양한 특징 범위에 걸쳐 일반화할 수 있도록 했습니다.

결과
저자들은 광범위한 벤치마크를 통해 PLF 방식을 SoA 사후 OOD 탐지기들과 검증했습니다:

• 의미론적 변화 (Semantic Shifts): OpenOOD 벤치마크(CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K 포함)에서 PLF는 평가된 21개 방법 중 모든 데이터셋과 아키텍처에 대해 상위 3위 안에 들었습니다. 특히 까다로운 ImageNet-1K 벤치마크에서 최고의 종합 순위를 기록했으며, 다른 특징 형성 방법들(Energy, ReAct, VRA-P, FS-OPT)보다 일관되게 우수한 성능을 보였습니다.
• 공변량 변화 (Covariate Shifts): BROAD 데이터셋과 OpenOOD 공변량 변화 벤치마크(ImageNet-C, ImageNet-R, ImageNet-V2 및 AutoAttack, PGD와 같은 적대적 공격 포함)에서 PLF는 특징 형성 방법들 중 가장 높은 평균 AUROC를 달성했으며, 21개 방법 중 전체 2위에 올랐습니다. 이는 다른 방법들이 특정 부분집합에만 특화되는 것과 달리, 다양한 변화에 대해 견고함을 보여줍니다. 특히, 본 연구는 OpenOOD 프레임워크 내에서 공변량 변화에 대한 사후 OOD 탐지기의 첫 번째 포괄적인 벤치마킹을 제시합니다.
• 효율성: 추론 비용은 기존의 구간 선형 방법들과 유사합니다 (A100 GPU 기준 이미지당 마이크로초 단위).

의의
본 논문은 통계적 분포를 기반으로 OOD 특징을 구축하기 위한 최초의 일반적인 이론적 프레임워크를 제공한다고 주장합니다. 이 연구의 의의는 경험적인 규칙 기반 휴리스틱을 넘어, 기존 방법들이 왜 작동하는지, 그리고 어떻게 더 나은 방법을 구축할 수 있는지 설명하는 원칙적인 접근 방식으로 나아갔다는 점에 있습니다. 단일하게 유도된 함수(PLF)가 의미론적 변화와 공변량 변화 모두에서 특화된 방법들을 능가한다는 것을 보여줌으로써, 본 연구는 분포에 구애받지 않는 통합된 특징 형성 전략이 가능하다는 것을 시사합니다. 저자들은 본 연구가 OpenOOD 프레임워크 내에서 공변량 변화에 대한 사후 OOD 탐지기의 첫 번째 포괄적인 벤치마킹임을 강조하며, 이를 통해 방법의 폭넓은 일반화 능력을 부각했습니다. 향후 과제로는 전체 무작위 특징 분포(단순 평균뿐 아니라)의 탐색, 스코어 함수(score functions)의 이론적 통합, 그리고 일반적인 벡터 형성 함수로의 확장이 제시되었습니다.