📊 statistics

Medix: Out-of-Distribution Detection from Unlabeled Wild Data via Robust Gradient Statistics

이 논문은 레이블이 없는 야생 데이터(wild data)로부터 이상치를 식별하기 위해 중앙값 기반의 강건한 그래디언트 통계량을 활용하여, 기존 방법론들을 능가하는 고성능 분포 외(out-of-distribution) 분류기를 학습시킬 수 있는 새로운 프레임워크인 Medix를 소개한다.

원저자: Momin Abbas, Ali Falahati, Hossein Goli, Mohammad Mohammadi Amiri

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Momin Abbas, Ali Falahati, Hossein Goli, Mohammad Mohammadi Amiri

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 독점적인 클럽(AI 모델)의 보안 요원이라고 상상해 보세요. 당신의 임 \무는 클럽의 특정 그룹(In-Distribution 데이터)에 속한 사람들만 입장시키고, 그렇지 않은 사람들(Out-of-Distribution 또는 OOD 데이터)은 돌려보내는 것입니다.

문제는 현실 세계에서, 당신에게 모든 사람을 대조해 볼 완벽한 "클럽 회원 명단"이 없다는 점입니다. 설상가상으로, 당신은 종종 누가 회원이고 누가 아닌지 알 수 없는 거대하고 무질서한 군중(라벨이 없는 야생 데이터, unlabeled wild data)을 상대해야 합니다. 그 안에는 회원도 있고 낯선 이들도 섞여 있으며, 모두 뒤섞여 있습니다.

전통적인 방법들은 누가 누구인지 추측하려고 노력하지만, 노이즈 때문에 혼란을 겪기 일쑤입니다. 이 논문은 이 문제를 해결하기 위해 스마트한 노이즈 제거 필터처럼 작동하는 Medix라는 새로운 시스템을 소개합니다.

다음은 비유를 통해 설명한 Medix의 작동 방식입니다.

1. 문제: "시끄러운 군중"

특정 그룹의 사람들의 평균 키를 구하려고 한다고 상상해 보세요(클럽 회원들). 하지만 당신은 클럽 회원과 낯선 이들, 거인, 난쟁이들이 뒤섞인 거대하고 혼란스러운 군중 속에 서 있습니다. 만약 당신이 이 군중 전체의 키를 단순히 평균(mean) 내버린다면, 거인과 난쟁이들 때문에 결과가 왜곡되어 "평균"이 틀리게 될 것입니다.

AI 용어로 말하면, 누가 누구인지 모르는 이 지저ley한 혼합 데이터를 사용하여 모델을 훈련하려고 하면, "낯선 이들"(이상치, outliers)이 무엇이 "정상적인" 입력인지에 대한 모델의 이해를 망쳐놓습니다.

2. 해결책: "중앙값(Median)" 필터

Medix는 **중앙값(Median)**이라는 영리한 트릭을 사용합니다.

평균 (Mean): 5피트인 사람이 9명 있고 10피트인 거인이 1명 있다면, 평균 키는 약 5.5피트로 올라갑니다. 거인이 평균을 끌어올린 것입니다.
중앙값 (Median): 모든 사람을 키 순서대로 세우면, 중앙값은 딱 중간에 있는 사람의 키입니다. 거인이 한 명 있더라도 중앙값은 5피트로 유지됩니다. 거인은 극단적인 이상치이기 때문에 무시됩니다.

Medix는 이 "중간 지점"의 논리를 사용하여 노이즈가 섞인 낯선 이들을 무시하고 데이터의 진정한 중심을 찾아냅니다.

3. Medix의 작동 방식 (3단계)

1단계: "정상적인 분위기" 학습하기
먼저, Medix는 깨끗하게 라벨링된 클럽 회원 그룹(In-Distribution 데이터)을 살펴보고 그들의 "분위기"가 어떤지 학습합니다. 기술적으로는, 이것을 **참조 그래디언트(Reference Gradient)**를 계산한다고 합니다. 이는 클럽 회원들의 평균적인 행동에 대한 완벽한 스냅샷을 찍는 것과 같습니다.

2단계: "압착" (군중 필터링하기)
이제 Medix는 라벨이 없는 무질서한 군중을 살펴봅니다. Medix는 군중 속 모든 사람의 "분위기"(그래디언트)를 계산합니다.

Medix는 자문합니다: "만약 내가 이 특정 사람을 제거한다면, 군중의 평균적인 분위기가 1단계에서 배웠던 '정상적인' 분위기에 더 가까워지는가?"
만약 어떤 사람을 제거했을 때 군중이 정상적인 클럽 회원들과 더 비슷해진다면, 그 사람은 아마도 전체를 망치고 있는 낯선 이(이상치)일 가능성이 높습니다.
Medix는 이 과정을 반복하며, 마치 의자 춤(musical chairs) 게임처럼 진실로부터 집단의 "분위기"를 끌어내리는 사람들을 계속해서 탈락시킵니다. 이때 중앙값을 사용하여 소수의 시끄러운 이상치들이 시스템을 속이지 못하도록 합니다.

3단계: 보안 요원 훈련시키기
낯선 이들을 걸러내고 "용의자"(성공적으로 찾아낸 이상치)를 식별한 후, Medix는 이 용의자들과 원래의 클럽 회원들을 사용하여 새로운 초스마트 보안 요원(OOD 탐지기)을 훈련시킵니다.

Medix는 보안 요원에게 가르칩니다: "이 사람들은 회원이다. 그리고 우리가 군중 속에서 찾아낸 이 사람들은 확실히 회원이 아니다."
용의자들이 노이즈에 강한 견고한 방법을 통해 발견되었기 때문에, 새로운 보안 요원은 미래에 낯선 이들을 훨씬 더 잘 포착할 수 있게 됩니다.

4. 왜 더 나은가?

이 논문은 다른 방법들이 마치 건초 더미의 평균을 보고 바늘을 찾는 것과 같다고 주장합니다. 만약 건초가 젖거나 더럽다면 평균은 망가집니다.

Medix는 금속(진정한 신호)만을 골라내고 흙과 노이즈는 무시하는 자석을 사용하는 것과 같습니다.

견고성(Robustness): 군중의 50%가 낯선 이들이라 할 하더라도, Medix는 중앙값이 고집스럽게 극단적인 값을 무시하기 때문에 클럽 회원들의 진정한 중심을 찾아낼 수 있습니다.
완벽한 리스트 불필요: "나쁜 놈들"에 대한 깨끗한 리스트가 있어야 훈련할 수 있는 일부 방법들과 달리, Medix는 라벨이 없는 지저분한 데이터 더미 속에서도 나쁜 놈들을 찾아낼 수 있습니다.

결과

저자들은 다양한 이미지 데이터셋(CIFAR-10 및 CIFAR-100 등)에 대해 Medix를 테스트했습니다. 그 결과, Medix가 20가지의 인기 있는 방법들보다 "낯선 이"를 찾아내는 데 훨씬 더 뛰어나다는 것을 발견했습니다.

차기 최고 성능의 방법과 비교했을 때 오차율(False Positive Rate)을 엄청난 폭으로 줄였습니다.
이 "중앙값" 접근 방식이 매우 신뢰할 수 있으며, 데이터가 매우 노이즈가 심하더라도 실패하지 않는다는 것을 수학적으로 증명했습니다.

요약하자면: Medix는 "중간 지점"(Median)을 사용하여 지저분한 군중 속의 노이즈를 무시하는 스마트한 필터입니다. 이를 통해 완벽한 규칙 목록을 받지 못하더라도, 무엇이 속하고 무엇이 속하지 않는지를 정확하게 학습할 수 있게 해줍니다.

기술 요약: Medix – 강건한 그래디언트 통계량을 통한 미라벨 야생 데이터로부터의 분포 외(Out-of-Distribution) 탐지

문제 정의

머신러닝 모델을 실제 환경에 배포하면 모델이 학습하지 못한 미지의 카테고리인 분포 외(Out-of-Distribution, OOD) 입력값에 노출됩니다. 신경망은 본질적으로 이러한 입력에 취약하지만, 추론 단계에서 이를 탐지하는 것은 어렵습니다. 왜냐하면 모델은 학습 과정에서 미지의 분포를 접하지 못했기 때문입니다.

최근의 접근 방식들은 미라벨(unlabeled)된 "야생(in-the-wild)" 데이터를 활용하여 OOD 탐지를 개선하려고 시도해 왔습니다. 그러나 심각한 장애물이 남아 있습니다. 야생 데이터는 In-Distribution(InD) 샘플과 OOD 샘플이 복잡하게 혼합된 형태라는 점입니다. 깨끗한 보조 OOD 데이터셋(예: Outlier Exposure)을 사용할 수 있다고 가정하는 방식들과 달리, 실제 야생 데이터에는 명확한 라벨이 없습니다. 깨끗한 OOD 샘플 세트가 부재하기 때문에, 모델은 명시적인 지도 학습 없이 오염된 분포 내에서 InD 샘플과 OOD 샘플을 구분해야 하므로 최적의 OOD 분류기를 학습시키는 것이 복잡해집니다.

방법론: Medix 프레임워크

저자들은 원소별 중앙값(element-wise median, EWM) 강건 그래디언트 통계량을 사용하여 미라벨된 야생 데이터로부터 잠재적 이상치를 식별하도록 설계된 새로운 프레임워크인 Medix를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다.

1. 이상치 추출 (필터링)

Medix의 핵심 혁신은 라벨에 대한 사전 지식 없이 혼합된 야생 데이터셋( $S_{wild}$ )에서 후보 OOD 샘플을 필터링하는 능력에 있습니다.

참조 그래디언트 추정: 먼저, 라벨이 있는 InD 데이터( $S_{in}$ )만을 사용하여 InD 분류기( $f_\phi$ )를 학습시킵니다. 그 후, $S_{in}$ 에 대해 모델 파라미터에 대한 손실 함수의 평균 그래디언트( $\bar{\nabla}_{in}$ )를 계산합니다. 이것이 참조 그래디언트 역할을 합니다.
EWM을 통한 강건한 필터링: 이 방법은 야생 데이터 내의 OOD 샘플의 존재가 InD 평균 그래디언트와 야생 데이터 그래디언트의 중심 경향성 사이의 편차를 유발한다는 가설을 세웁니다. 이 중심 경향성을 강건하게 식별하기 위해, Medix는 평균 대신 **원소별 중앙값(element-wise median)**을 사용합니다. 중앙값은 노이즈와 이상치에 대한 안정성 때문에 선택되었습니다.
반복적 탐욕 제거(Iterative Greedy Removal): 프레임워크는 EWM과 참조 $\bar{\nabla}_{in}$ $\overset{ˉ}{\nabla}_{in}$ 사이의 거리를 최소화하는 야생 데이터의 부분 집합을 찾는 최적화 문제를 구성합니다. 이를 정확히 푸는 것은 계산적으로 불가능하므로, Medix는 탐욕적인 "하나 빼기(leave-one-out)" 방식(알고리즘 1)을 사용합니다:
1. 현재 야생 집합의 EWM을 계산합니다.
2. 특정 샘플을 제거했을 때 새로운 EWM과 $\bar{\nabla}_{in}$ 사이의 L2 거리가 가장 크게 감소하는 샘플을 식별합니다.
3. 이러한 상위- $k$ 개의 샘플을 후보 이상치로 제거합니다.
4. 거리 감소량이 임계값 $\epsilon$ 미만으로 떨어질 때까지 반복합니다.
결과: 이 과정은 후보 이상치 집합( $\hat{S}_{out}$ )을 분리해내고, 더 깨끗한 InD 유사 샘플 집합을 유지합니다.

2. 탐지기 학습

후보 이상치가 추출되면, 프레임워크는 이진 OOD 탐지기( $g_\theta$ )를 학습시킵니다.

탐지기는 원래의 라벨이 있는 InD 데이터( $S_{in}$ )를 양성(positive) 예시로, 추출된 후보 이상치( $\hat{S}_{out}$ )를 음성(negative) 예시로 사용하여 학습됩니다.
목적은 두 그룹 간의 분리 가능성을 최대화하여, InD 샘플은 양성 출력을 내고 이상치는 음성 출력을 내도록 결정 경계를 설정하는 것입니다.

이론적 분석

논문은 야생 데이터가 오염 비율 $\pi$ 를 가진 InD 분포와 OOD 분포의 혼합인 Huber 오염 모델 하에서 필터링 단계에 대한 공식적인 이론적 보증을 제공합니다.

인라이어(Inlier) 오분류 경계: 저자들은 실제 InD 샘플이 이상치로 잘못 폐기되는 비율에 대한 상한선을 도출합니다. 이 경계는 오염 비율과 (sub-Gaussian으로 가정된) InD 그래디언트의 집중도에 따라 달라집니다.
아웃라이어(Outlier) 오분류 경계: 반대로, 실제 OOD 샘플이 InD로 잘못 유지되는 비율을 제한합니다. 이 경계는 평균 OOD 그래디언트와 참조 InD 그래디언트 사이의 분리 정도, 그리고 OOD 그래디언트의 sub-Gaussian 특성에 의존합니다.
핵심 통찰: 분석 결과, 중앙값 기반 필터링은 OOD 샘플이 혼합물의 상당 부분(최대 50%)을 차지하더라도 분포가 충분히 분리되어 있다면 강건한 분리를 달성할 수 있음을 보여줍니다.

실험 결과

Medix는 주로 CIFAR-10 및 CIFAR-100을 InD 데이터셋으로, 다양한 데이터셋(SVHN, PLACES365, LSUN, TEXTURES)을 OOD 소스로 사용하는 11개의 InD-OOD 데이터 쌍에서 평가되었습니다. 이 방법은 다음과 같은 20개의 경쟁 베이스라인과 벤치마킹되었습니다:

InD 전용 방법: MSP, ODIN, Mahalanobis, Energy, ReAct, DICE, KNN, ASH, CSI, KNN+.
야생 데이터 방법: Outlier Exposure (OE), Energy-regularization, WOODS, CONJ, DRL.

주요 결과:

우수한 성능: Medix는 모든 베이스라인을 통틀어 압도적인 성능을 보였습니다. CIFAR-100에서, 강력한 베이스라인인 KNN+ 대비 95% 참 양성률(TPR)에서의 평균 거짓 양성률(FPR95)을 40.98% 감소시켰으며, 이전의 최첨단 야생 데이터 방법인 WOODS 대비 1.32% 개선했습니다.
오염에 대한 강건성: 이 방법은 야생 데이터에 50%의 OOD 샘플이 혼합되어 있을 때도 높은 성능을 유지했습니다.
확장성: 더 큰 아키텍처(ResNet-50) 및 대규모 데이터셋(ImageNet-1k)에 대한 실험을 통해 L2 기반 필터링 신호가 고차원 그래디언트 공간에서도 여전히 강건함을 확인했습니다.
절제 연구(Ablation Studies): 저자들은 성능 향상이 단순히 2단계 파이프라인 때문이 아니라, 구체적으로 중앙값 기반 필터링의 정밀도에서 기인함을 입증했습니다. 중앙값 필터를 단순한 Maximum Softmax Probability (MSP) 필터로 대체했을 때 성능이 크게 무너졌습니다.

의의 및 주장

본 논문은 Medix가 깨끗한 보조 OOD 데이터셋이나 강력한 분포 가정을 요구하지 않고도, 라벨이 없는 혼합된 "야생" 데이터를 활용할 수 있다는 점에서 기존의 중요한 격차를 해소한다고 주장합니다.

새로운 메커니즘: 원소별 중앙값의 강건함을 활용함으로써, Medix는 별도의 OOD 라벨 없이도 혼합된 데이터에서 이상치를 필터링하는 이론적으로 근거 있는 메커니즘을 제공하며, 이는 이전에 어려운 과제로 여겨졌던 작업입니다.
이론적 토대: 본 연구는 인라이어 및 아웃라이어 오분류에 대한 증명 가능한 오류 경계를 확립하여, 그동안 이론적 토대가 부족했던 "야생(in-the-wild)" 환경에 대한 공식적인 이론적 기초를 마련했습니다.
실질적 영향: 이 방법은 모델이 미지의 데이터 분포를 가진 동적인 환경에서 작동해야 하는 실제 배포 상황에 더 큰 유연성을 제공합니다. 실험 결과는 Med-ix가 가용한 미라벨 데이터를 효과적으로 사용하여 OOD 입력을 식별하고 처리함으로써 머신러닝 시스템의 안전성과 신뢰성을 크게 향 향상시킬 수 있음을 시사합니다.

저자들은 결론적으로 Medix가 강건한 그래디언트 통계량이 어떻게 미라벨된 야생 데이터를 OOD 탐지를 위한 유용한 지도 학습(supervision)으로 전환할 수 있는지를 보여줌으로써, 오픈 월드 학습(open-world learning)의 중요한 진전임을 입증했다고 밝힙니다.