🤖 machine learning

Backbone-Equated Diffusion OOD via Sparse Internal Snapshots

본 논문은 공정한 확산 기반 OOD 감지를 위한 상호 공유 백본 등가 프로토콜을 소개하고, 저잡음 수준에서 고정된 확산 백본의 희소 내부 활성화가 전체 비잡음화 궤적을 요구하지 않고도 매우 경쟁력 있는 OOD 감지를 가능하게 함을 입증하는 방법인 표준 특징 스냅샷을 제안한다.

원저자: Yadang Alexis Rouzoumka, Jean Pinsolle, Eugénie Terreaux, Christèle Morisseau, Jean-Philippe Ovarlez, Chengfang Ren

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yadang Alexis Rouzoumka, Jean Pinsolle, Eugénie Terreaux, Christèle Morisseau, Jean-Philippe Ovarlez, Chengfang Ren

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

마스터 셰프 (확산 모델) 가 특정 종류의 요리, 예를 들어 완벽한 피자를 만드는 데 탁월하다고 상상해 보세요. 누군가 건네준 새로운 재료가 진짜 피자 반죽인지, 아니면 돌이나 고무 닭 같은 이상한 것인지 알고 싶다면, 이는 분포 외 (OOD) 탐지의 문제입니다. 즉, 입력 데이터가 셰프가 아는 세계에 속하는지, 아니면 외부의 것인지를 파악하는 것입니다.

오랫동안 연구자들은 셰프에게 재료를 완전히 요리해 완성된 접시를 만든 다음 최종 요리를 검사하는 방식으로 이 문제를 해결하려 했습니다. 접시가 이상해 보이면 재료가 이상하다고 가정했습니다. 하지만 이는 느리고 비용이 많이 들며, 때로는 셰프가 이상한 재료를 "수정"하는 데 너무 능숙해서 입력값이 쓰레기였음에도 불구하고 최종 접시는 정상적으로 보일 수 있습니다.

이 논문은 내부 스냅샷 (Internal Snapshot) 방법이라는 훨씬 더 똑똑한 새로운 검사 방식을 제시합니다.

간단한 비유를 통해 그들의 발견을 다음과 같이 정리해 보겠습니다.

1. 문제: 사과와 오렌지를 비교하는 것

이 논문 이전에는 "이상한 재료"를 탐지하는 다양한 방법들을 비교하는 것이 혼란스러웠습니다. 어떤 연구자들은 다른 종류의 셰프 (다른 모델 아키텍처) 를 사용했고, 어떤 이들은 셰프에게 10 분 동안 요리하게 했으며, 다른 이들은 100 분 동안 요리하게 하거나 다른 종류의 오븐을 사용했습니다. 어떤 방법이 더 나은지, 실제로 더 똑똑해서인지, 아니면 단순히 더 많은 시간이나 더 좋은 오븐을 가졌기 때문인지 구분할 수 없었습니다.

논문의 해결책 (MBE 프로토콜):
저자들은 Mutualized Backbone-Equated (MBE) 라는 "공정한 경기 규칙"을 만들었습니다.

비유: 모든 선수가 정확히 같은 신발을 신고, 정확히 같은 트랙에서, 정확히 같은 바람 조건을 마주하며 달리는 경기를 상상해 보세요.
그들이 한 일: 그들은 모든 다른 탐지 방법들이 동일한 "노이즈 수준" (셰프가 얼마나 혼란스러운지) 과 동일한 컴퓨팅 시간을 사용하도록 강제했습니다. 이렇게 하면 한 방법이 이겼을 때, 그것이 실제로 이상함을 더 잘 찾아내는 능력 때문이지 불공정한 이점 때문이 아님을 보장할 수 있습니다.

2. 주요 발견: 케이크가 구워질 때까지 기다리지 마세요

대부분의 기존 방법들은 셰프가 요리 과정 전체 (탈노이즈 궤적) 를 끝낼 때까지 기다린 후 판단을 내렸습니다. 그들은 최종 케이크나 남은 부스러기를 살펴보았습니다.

저자들은 간단한 질문을 던졌습니다. "반죽이 이상한지 알기 위해 정말 케이크가 다 구워질 때까지 기다려야 할까요?"

그들의 답은 아니오였습니다.

해결책 (CFS - Canonical Feature Snapshots):
최종 요리를 기다리는 대신, 그들은 요리 과정의 매우 구체적이고 초기인 순간에 셰프의 주방 내부를 엿보았습니다.

비유: 셰프가 재료를 섞고 있다고 상상해 보세요. 케이크가 부풀어 오르고 갈색으로 변할 때까지 기다리는 대신, 밀가루를 넣은 직후 오븐을 켜기 직전에 믹싱 볼을 찍은 빠른 사진을 찍는 것입니다.
"스냅샷": 그들은 낮은 노이즈 수준에서 셰프의 내부 생각 (활성화) 을 아주 작은 "스냅샷"으로 찍었습니다. 그들은 "이건 이상해!"라는 신호가 이미 이 초기 단계에서 매우 크게 울리고 있음을 발견했습니다.

3. "희소 (Sparse)"한 비밀

그들의 발견에서 가장 놀라운 부분은 실제로 얼마나 적은 정보가 필요한지입니다.

비유: 셰프가 혼란스러워하는지 알기 위해 2 시간짜리 요리 쇼 전체를 볼 필요는 없습니다. 비디오의 두 개의 특정 프레임만 보면 됩니다.
1. "딥 인코더 (Deep Encoder)"에서 가져온 한 프레임 (재료의 모양을 이해하는 뇌의 부분).
2. "레이터 디코더 (Late Decoder)"에서 가져온 한 프레임 (최종 모양을 조립하기 시작하는 부분).
결과: 이 두 개의 작은 스냅샷만 살펴봄으로써, 그들의 방법 (CFS) 은 요리 과정 전체를 지켜본 다른 모든 방법들보다 이상한 재료를 더 잘 찾아냈습니다. 마치 캔버스 전체를 분석하려던 다른 사람들과 달리, 두 번의 붓질만 보고 가짜 그림을 알아낸 것과 같습니다.

4. 작동 원리 (로컬 이론)

저자들은 단순히 운이 좋은 것이 아니라, 이것이 왜 작동하는지에 대한 이론인 로컬 진단 이론 (Local Diagnostic Theory) 을 가지고 있습니다.

상호 보완적 역할: "인코더 (초기 단계)"와 "디코더 (나중 단계)"는 서로 다른 센서처럼 작용합니다. 때로는 초기 센서가 이상함을 감지하고, 때로는 후기의 센서가 감지합니다. 이 둘을 함께 사용하면 모든 가능성을 커버할 수 있습니다.
저노이즈 안정성: 그들은 노이즈가 낮을 때 (재료가 여전히 대부분 명확할 때) 셰프를 살펴보는 것이 최적의 지점임을 발견했습니다. 너무 일찍 보면 (모든 것이 정적 노이즈일 때) 아무것도 볼 수 없습니다. 너무 늦게 보면 (셰프가 이미 이상한 재료를 "수정"했을 때) 셰프가 증거를 숨겨버립니다. "저노이즈" 스냅샷은 셰프가 증거를 덮기 전에 진실을 포착할 수 있는 완벽한 순간입니다.

5. 결론

구 방식: 셰프가 요리를 끝낼 때까지 기다린 후 최종 접시를 검사합니다. (느리고, 비싸며, 때로는 속임수에 걸림).
새 방식 (CFS): 한 특정 순간에 믹싱 볼을 엿봅니다. (빠르고, 저렴하며, 매우 정확함).

이 논문은 공정한 조건 하에서 분포 외 데이터를 탐지하기 위해 복잡하고 무거운 탐지기가 필요하지 않음을 증명합니다. 단지 얼어붙은 모델 내부에서 어디에 그리고 언제 살펴봐야 하는지 알면 됩니다. 모델의 내부 "생각"을 아주 작고 희소하게 살펴보는 것만으로도 가짜를 잡아낼 수 있습니다.

간단히 말해: 오븐이 고장 났다는 것을 알기 위해 케이크가 타기를 기다릴 필요는 없습니다. 반죽을 살펴보면 알 수 있습니다.

기술 요약: 희소 내부 스냅샷을 통한 백본 등가 확산 OOD

문제 제기
본 논문은 확산 모델 기반의 분포 외 (OOD) 탐지기를 공정하게 비교하는 데 직면한 과제를 다룹니다. 현재의 평가는 백본 아키텍처 선택 (예: DDPM 대 EDM), 손상 수준의 매개변수화 (이산 시간 단계 대 연속 노이즈 스케일), 그리고 숨겨진 테스트 시간 계산 예산과 관련하여 일관되지 않은 프로토콜에 의해 종종 혼란을 겪습니다. 또한, 대부분의 기존 방법들은 내부 상태에서 이용 가능한 차별적 정보를 놓칠 수 있는 출력 공간 (재구성, 노이즈 제거 잔차, 또는 궤적 사용) 에서 확산 백본을 탐지합니다. 저자들은 이러한 프로토콜 혼란 요인이 제거된 후, 고정된 확산 백본 내에서 가장 유용한 OOD 신호가 어디에 존재하는지 질문합니다.

방법론
저자들은 표준화된 평가 프로토콜과 새로운 희소 탐지 방법이라는 두 가지 접근 방식을 제안합니다.

상호화된 백본 등가 (MBE) 프로토콜:
공정하고 일관된 백본 간 비교를 가능하게 하기 위해 저자들은 MBE 프로토콜을 도입합니다. 이 프레임워크는 다음을 정렬합니다:
- 체크포인트 패밀리 정책: 모든 방법이 동일한 소스 분포를 사용하여 학습되도록 보장합니다.
- 정준 손상 수준: Improved-Diffusion 의 이산 $t$ 나 EDM 의 연속 $\sigma$ 와 같은 다양한 네이티브 인터페이스를 통합된 정준 좌표 $\lambda = \log(\text{SNR})$ 로 매핑합니다. 이는 방법들이 일치된 손상 강도에서 비교되도록 보장합니다.
- 논리적 테스트 시간 비용: 숨겨진 예산 이점을 방지하기 위해 백본 순전파 �수 (#F) 와 야코비안 평가 횟수 (#J) 를 명시적으로 고려합니다.
정준 특징 스냅샷 (CFS):
MBE 설정 내에서 저자들은 고정된 확산 백본을 정준 저노이즈 수준에서 극히 소수의 네이티브 내부 활성화만을 사용하여 탐지하는 CFS 라는 탐지기 패밀리를 소개합니다.
- 메커니즘: 전체 노이즈 제거 궤적이나 재구성 대신, CFS 는 손상된 입력 $x_\lambda = a(\lambda)x_0 + b(\lambda)\epsilon$ 의 단일 순전파 후 특정 내부 훅 (블록 출력) 에서 "스냅샷"을 추출합니다.
- 아키텍처: 주요 작동 지점인 **CFS(1×2)**는 단일 저노이즈 수준에서 하나의 깊은 인코더 훅과 하나의 늦은 디코더 훅을 사용합니다. 디코더 전용 변형인 **CFSdec(1×1)**도 평가되었습니다.
- 점수 매김: 추출된 특징들은 채널별 평균과 표준편차로 풀링되고, ID 만을 대상으로 하는 경량의 대각 마할라노비스 점수로 평가됩니다. 이 방법은 표현 자체의 품질을 격리하기 위해 고용량의 다운스트림 헤드를 피합니다.

이론적 프레임워크
본 논문은 희소 내부 탐지가 효과적인 이유를 설명하기 위해 국소 진단 이론을 개발합니다. 이 이론은 세 가지 원칙에 의존합니다:

조건부 인코더 - 디코더 상호보완성: 짝을 이룬 인코더 - 디코더 스냅샷의 분리 능력은 디코더의 분리 능력과 인코더의 음이 아닌 잔차로 분해됩니다. 이는 늦은 디코더가 신호의 주요 출처이며 인코더는 상호보완적 정보를 제공함을 시사합니다.
대각 점수 분리: 풀링된 표현의 국소 가우스 모델 하에서, 오라클 대각 점수는 분포 내 (ID) 데이터에 대해 평균 1 을, 분포 외 (OOD) 데이터에 대해 $1 + \kappa/d$ 를 가집니다. 여기서 $\kappa$ 는 대각 비중심성 매개변수를 나타냅니다.
저노이즈 손상 안정성: 확률적 손상으로 인한 훅된 표현의 분산은 $b(\lambda)^2$ 에 비례합니다. 이는 저노이즈 (고 SNR) 수준에서 탐지하면 불안정성을 최소화하여 신호를 더 견고하게 만든다는 것을 의미합니다.

주요 결과
제어된 CIFAR 규모 벤치마크 (CIFAR-10, SVHN, CelebA32 를 ID 집합으로 사용) 에서 평가되고 ImageNet 규모 체크포인트에서 검증된 결과:

성능 대 비용: MBE 프로토콜 하에서 **CFS(1×2)**는 단일 순전파 방법 중 가장 강력한 성능을 달성합니다. 이는 가장 강력한 조화된 출력 공간 베이스라인 (예: MSMA, DIFFPATH, GEPC) 보다 훨씬 뛰어난 성능을 보이며, 이미지당 8~10 회에서 1 회로 논리적 테스트 시간 비용을 크게 줄입니다.
- 예시: EDM 백본에서 CFS(1×2) 는 평균 최악의 경우 AUROC 를 0.689 (MSMA) 에서 0.814 로 향상시킵니다.
신호 집중: 디코더 전용 변형인 **CFSdec(1×1)**은 짝을 이룬 변형과 여전히 높은 경쟁력을 유지하며, 유용한 OOD 신호의 상당 부분이 단일 늦은 디코더 스냅샷에 집중되어 있음을 보여줍니다.
강건성: 성능 향상은 다양한 소스 패밀리 (예: CIFAR-10 에서 CelebA32 체크포인트로 전환) 와 다양한 백본 패밀리 (Improved-Diffusion 및 EDM) 에서 지속됩니다.
진단 검증: 경험적 진단 (대각 분리 $\hat{\kappa}$ 및 콘텐츠 - 불안정성 비율 $\hat{R}_h$ ) 은 다운스트림 OOD 성능과 강력하게 상관관계를 가지며, 국소 이론을 검증합니다.

의의 및 주장
본 논문은 CFS 의 우수한 성능이 숨겨진 계산 예산이나 복잡한 다운스트림 분류기 때문이 아니라, 고정된 백본이 어디에서 탐지되는지에 기인한다고 주장합니다.

표현 우선: 이 연구는 통제된 백본 등가 프로토콜 하에서 "표현 우선" 전략 (내부 상태 탐지) 이 광범위한 출력 공간 요약보다 더 유익하다는 증거를 제공합니다.
신호 집중: 상대적 OOD 기하학의 상당 부분이 소수의 희소하고 네이티브인 내부 상태, 특히 저노이즈 수준에 집중되어 있습니다.
프로토콜의 필요성: 저자들은 확산 OOD 에 대한 공정한 비교를 위해서는 MBE 프로토콜이 필수적이라고 강조합니다. 체크포인트 선택과 손상 정렬과 같은 혼란 요인 없이는 탐지기 효율성에 대한 결론이 오해의 소지가 있을 수 있습니다.

저자들은 CFS 를 단순히 새로운 점수 함수가 아니라, 전체 노이즈 제거나 재구성의 오버헤드 없이 고정된 확산 백본의 최소한의 희소 탐지가 강력한 OOD 신호를 포착할 수 있음을 보여주는 증거로 위치시킵니다.