기술 요약: 사전 훈련된 표현의 확장화가 미세 조정 없이 레이블 없는 분포 외 검출을 가능하게 함

문제 제기

딥러닝 모델은 종종 입력이 훈련 데이터 매니폴드 밖으로 벗어날 때 이를 신호하지 못해, 분포 변화 하에서 신뢰할 수 없는 예측을 초래합니다. 비지도 분포 외 (OOD) 검출은 작업 무관성이라는 장점을 지니지만, 전통적인 방법들은 상당한 장애물에 직면해 있습니다: 확률 기반 추정기는 종종 분포 내 (ID) 데이터보다 OOD 샘플에 더 높은 확률을 부여하며, 재구성 기반 방법들은 병목 구간 튜닝에 민감합니다.

이 분야의 지배적인 가정은 효과적인 OOD 검출을 위해서는 클래스 조건부 모델링 (레이블된 ID 데이터에 의존) 이나 OOD 관련 구조를 드러내기 위한 표현의 지도식 미세 조정이 필요하다는 것입니다. 또한, 이전 연구들은 검출기 순위가 데이터셋 간에 일관성이 없으며, 단일 방법이 다른 모든 방법을 보편적으로 능가하지는 않는다고 시사합니다. 본 논문은 레이블과 미세 조정의 필요성에 의문을 제기하며, 현대의 동결된 사전 훈련된 표현이 정확한 레이블 없는 OOD 검출을 위해 충분한 기하학적 구조를 본질적으로 인코딩하고 있는지 질문합니다.

방법론

저자들은 비전 (DINO, DINOv3) 과 언어 (BERT, Qwen3) 모달리티를 아우르는 59 개의 백본 - 작업 쌍에 걸쳐 이 가설을 평가합니다. 그들은 동결된 잠재 표현 위에서 작동하는 두 가지 상호 보완적인 레이블 없는 검출기를 비교합니다:

1. 글로벌 마할라노비스 추정기: 고전적인 마할라노비스 거리의 레이블 없는 적응형입니다. 클래스 조건부 가우시안을 적합시키는 것 (레이블이 필요함) 대신, 이 방법은 레이블 없는 분포 내 잠재 표현에 단일 글로벌 가우시안 모델을 적합시킵니다. 이는 테스트 포인트와 글로벌 평균 사이의 거리를 글로벌 공분산 행렬로 정규화하여 계산합니다.
2. ReSCOPED (국소 스코어 - 곡률 추정기): 국소 수준에서 작동하는 경량 확산 기반 전형성 추정기입니다. SCOPED 를 기반으로 하여, ReSCOPED 는 동결된 표현 위에서 약 8M 개의 파라미터를 가진 작은 확산 관찰자를 훈련시킵니다. 이는 스코어 - 곡률 비율 ($T(z) = \|s_\theta(z, \sigma)\|^2 / \kappa(z)$) 을 사용하여 국소 기하학을 평가합니다. 여기서 $s_\theta$는 확산 스코어이고 $\kappa$는 스코어 야코비안의 트레이스 (곡률) 입니다. 이는 글로벌하게 접근할 수 없는 OOD 신호를 드러내는 다중 스케일 필터 역할을 합니다.

두 방법 모두 레이블 없는 분포 내 데이터만을 적합에 사용하여 미세 조정 없이 동결된 백본에 직접 적용됩니다.

주요 결과

1. 미세 조정 없이 높은 성능

현대적인 동결된 표현은 강력한 레이블 없는 OOD 검출을 가능하게 합니다. 비전 벤치마크 (예: CIFAR-10 대 CIFAR-100) 에서 동결된 DINOv3-L 백본을 사용한 ReSCOPED 는 94.3% AUROC 를 달성하여 전체 파라미터 지도식 미세 조정이 필요한 모델들의 성능과 근접하게 일치했습니다. 마찬가지로 언어 작업에서도 확장된 모델 (Qwen3) 은 레이블 없이 CLINC150 및 SST 벤치마크에서 높은 AUROC 를 달성했습니다.

2. "확산 영역" 효과

논문은 검출기 선택과 관련하여 영역 의존적 패턴을 식별합니다:

• 약한/작은 표현: 더 작거나 덜 구조화된 백본 (예: BERT, DINOv3-S) 에서 검출기 성능은 데이터셋에 의존적입니다. 예를 들어, ReSCOPED 는 CLINC150 에서 마할라노비스를 능가한 반면, 마할라노비스는 SST 에서 ReSCOPED 를 능가했습니다. 단일 방법이 보편적으로 최선인 경우는 없었습니다.
• 강한/확장된 표현: 백본 규모가 증가함에 따라 (예: DINOv3-L, Qwen3-4B), 단순한 글로벌 마할라노비스 검출기와 복잡한 국소 ReSCOPED 검출기 간의 성능 격차는 무시할 수 있을 정도로 작아집니다. 두 방법 모두 높은 성능으로 수렴하여, 확장이 OOD 관련 기하학을 글로벌 및 국소 프로브 모두에게 접근 가능하게 만든다는 것을 시사합니다.

3. 탈노이즈 스케일에서의 경험적 규칙성

비전과 언어의 59 가지 구성 전반에 걸쳐, 저자들은 특정 중간 탈노이즈 노이즈 수준 ($t \approx 5$) 에서 ReSCOPED 에 대해 일관된 "성능 평탄화"를 관찰했습니다. 이는 특정 모달리티나 훈련 목표와 무관하게 사전 훈련된 Transformer 표현 내의 OOD 관련 구조가 안정적이고 공유된 스케일에서 드러난다는 것을 시사합니다.

4. 실용적 효율성

제안된 접근 방식은 효율적인 배포를 가능하게 합니다. ReSCOPED 는 동결된 인코더를 통한 한 번의 순전파, 경량 관찰자를 통한 한 번의 순전파, 그리고 단일 야코비안 - 벡터 곱만 필요로 하므로 최소한의 지연 시간 (NVIDIA 4090 에서 Qwen3-4B 의 경우 약 5.4ms) 을 추가합니다. 이는 자기회귀 디코딩 시작 전에 OOD 프롬프트를 거부하는 LLM 추론의 프리필 단계 동안 실시간 "게이트키킹"을 가능하게 합니다.

주요 기여

1. 레이블 없는 실행 가능성: 현대적인 사전 훈련된 비전 및 언어 표현이 미세 조정이나 클래스 레이블 없이 국소 (ReSCOPED) 와 글로벌 (마할라노비스) 기하학적 관점을 모두 활용하여 강력한 레이블 없는 OOD 검출을 가능하게 함을 입증했습니다.
2. 규모 의존적 검출기 선택: 백본 계열과 규모가 검출기 효능을 결정함을 보였습니다. 약한 백본에서는 검출기 선택이 중요하며 데이터셋에 의존적이지만, 확장된 백본 (DINOv3, Qwen3) 에서는 단순한 글로벌 방법과 표현력 있는 국소 방법 간의 격차가 사라집니다.
3. 공유된 세분성 영역: 모달리티 전반에 걸쳐 일관된 탈노이즈 스케일 평탄화를 식별하여, OOD 관련 구조가 Transformer 표현에서 공유된 스케일에서 접근 가능하게 됨을 나타냈습니다.
4. 배포 경로: 동결된 모델에 대한 OOD 검출을 위한 실용적이고 저지연 배포 경로를 입증했으며, 여기에는 LLM 을 위한 실시간 프리필 단계 게이트키킹이 포함됩니다.

중요성과 주장

본 논문은 특정 검출기 선택이나 지도식 적응의 필요성보다는 동결된 사전 훈련된 백본이 드러내는 기하학이 OOD 검출 성능의 주된 동인이라고 주장합니다. 기반 모델이 확장됨에 따라, 그들은 단순한 글로벌 통계와 복잡한 국소 곡률 측정 모두에게 접근 가능한 형태로 OOD 관련 편차를 자연스럽게 드러냅니다.

결과적으로 저자들은 확장된 기반 모델의 경우 특정 검출기를 선택하는 중요성이 감소한다고 주장합니다. 초점은 복잡한 검출기를 엔지니어링하는 것에서 동결된 표현이 이미 필요한 기하학을 언제 드러내는지 이해하는 것으로 이동합니다. 이 발견은 OOD 검출의 계산 및 데이터 부담을 줄여, 작업별 미세 조정이나 레이블된 이상 데이터 없이 동결된 모델에서 직접 효율적인 배포를 가능하게 합니다.

한계점: 저자들은 이 연구가 광범위한 백본과 데이터셋을 다루지만, 모든 기반 모델이나 배포 영역을 포괄적으로 다루지는 않는다고 지적합니다. 비교는 두 가지 상호 보완적인 레이블 없는 방법으로 제한되며, 향후 연구는 이 수렴이 다른 검출기 계열이나 현재 표현이 아직 성능을 포화시키지 않는 더 어려운 분포 변화에 대해서도 유효한지 검증해야 합니다.