Decodable but Not Detectable: A Leakage Fingerprint for Near-OOD Benchmarks

기술 요약: "해독 가능하지만 탐지는 불가능함: 근접 OOD 벤치마크를 위한 누출 지문(Leakage Fingerprint)"

문제 정의
본 논문은 특히 홀드아웃(held-out) 클래스가 학습 클래스와 의미적으로 유사한 "근접 OOD(near-OOD)" 설정 내에서 발생하는 이상치 탐지(OOD detection) 평가의 결정적인 결함을 다룹니다. 저자들은 특정 유형의 벤치마크 오염을 식별했는데, 이는 OOD로 지정된 클래스가 의도치 않게 모델의 학습 세트에 포함되었고, 결과적으로 비지도 탐지기(unsupervised detector)를 훈련시키는 데 사용되는 ID 적합 세트(in-distribution fit set) 내부에 포함되어 발생합니다.

이러한 구성 오류는 평가 지표의 치명적인 역전 현상을 초nd합니다. 왜냐하면 "OOD" 클래스는 실제로는 학습된 클래스이기 때문이며, 따라서 해당 예시들은 ID 특징 군집(feature bulk) 깊숙한 곳에 위치하게 됩니다. ID 군집으로부터의 거리를 기준으로 점수를 매기는 비지도 탐지기는 이 예시들을 ID 데이터로 올바르게 식end 판정합니다. 결과적으로 탐지기는 이들을 이상치로 표시하지 못했다는 이유로 처벌을 받게 되며, 이는 0.5의 우연한 확률보다 훨씬 낮은 AUROC 점수(예: 0.326)로 나타납니다. 저자들은 이러한 "우연 이하(below-chance)"의 성능이 방법론의 진정한 실패가 아니라 구조적인 벤치마크 실패의 강력한 신호라고 주장합니다.

방법론
본 논문은 경험적 감사, 진단적 도출, 제어된 검증을 포함하는 다단계 접근 방식을 채택합니다:

1. 경험적 발견: 저자들은 표준 문서 벤치마크(Tobacco)에서 섭동 응답(perturbation-response) OOD 탐지기(PRS)를 감사했습니다. 그들은 0.326의 AUROC를 관찰했습니다. 조사 결과, "OOD" 클래스(Memo)는 훈련된 클래스였으며, 해당 훈련 데이터가 1-클래스 ID 적합 세트에 남아 있었습니다.
2. 교정 프로토콜: 저자들은 지정된 OOD 클래스를 훈련 데이터에서 제거하고 모델을 다시 적합시키는 "클래스 제외(leave-class-out)" 프로토콜을 구현했습니다. 이 교정을 통해 AUROC가 0.911로 상승하였으며, 이는 누출이 실패의 원인이었음을 확인시켜 주었습니다.
3. 누출 지문(Leak Fingerprint) 도출: 저자들은 지도 학습과 비지도 학습 성능 사이의 모순을 기반으로 한 진단 테스트(누출 지문)를 도출했습니다:
   • 지도 학습 가능성(Supervised Decodability): 훈련된 클래스는 나머지 ID 데이터로부터 완벽하게 선형 분리 가능합니다. 지도 학습 판독기(OracleLDA)는 거의 완벽한 AUROC($\approx 1.0$)를 달립니다.
   • 비지도 붕괴(Unsupervised Collapse): 해당 클래스가 ID 적합 세트 내부에 있기 때문에, 비지도 탐지기는 이를 ID 데이터로 점수화하며, 결과적으로 깨끗한 기준선(clean baseline, 운영상 $< 0.65$, 종종 우연 이하)보다 낮은 AUROC 점수를 기록합니다.
   • 지문 규칙: 만약 OracleLDA ≥ 0.95 이고 최적 비지도-AUROC < 0.65 라면 해당 분할(split)은 오염된 것으로 간주됩니다.
4. 제어된 검증: 지문은 네 가지 파인튜닝 백본(ResNet-50 및 ViT-B/16 기반의 CIFAR-10 및 CIFAR-100)에 걸친 52개의 설정 세트에서 테스트되었습니다. 여기에는 의도적으로 누출된 20개의 설정(양성), 클래스가 훈련에서 제외된 매칭된 깨끗한 대조군(음성), 그리고 12개의 새로운 소스 대조군이 포함되었습니다.
5. 실제 환경 감사(In-the-Wild Audit): 지문은 표준 근접/원거리 OOD 벤치마크 쌍(OpenOOD 표준 포함) 24개와 12개의 텍스트/문서 설정에 적용되어, 표준적인 교차 데이터셋 구성이 이 특정 누출을 유발하는지 검증되었습니다.

주요 결과

• 누출 식별: 초기 문서 벤치마크에서 누출은 0.326의 AUROC를 유발했습니다. 클래스 제외 교정을 적용한 후, 점수는 0.911로 개선되었습니다.
• 지문 성능: 제어된 52개 설정 배터리에서 지문은 다음 성능을 달성했습니다:
  • 민감도(Sensitivity): 의도적으로 누출된 설정에 대해 18/20 (0.90).
  • 특이도(Specificity): 깨끗한 대조군에 대해 31/32 (0.97).
  • 매칭 대조군: 클래스를 적합 세트에서 제외하는 것만이 변수인 매칭된 대조군에 대해 완벽한 특이도(20/20)를 보였습니다.
  • 단 하나의 거짓 양성(false positive)은 본질적으로 어렵고 깨끗한 근접 OOD 쌍(CIFAR-100 $\to$ CIFAR-10)에서 발생했으며, 저자들은 이를 비지도 탐지가 자연스럽게 붕괴하는 알려진 에지 케이스(edge case)라고 언급했습니다.
• 실제 환경 감사 결과: 지문은 24개의 표준 벤치마크 쌍 중 정확히 하나(CIFAR-100 $\to$ CIFAR-10의 어려운 쌍, 누출이 아닌 범위 제한으로 올바르게 식별됨)에서 작동했습니다. 원거리 OOD 쌍에서는 **제로(0)**를 기록했습니다. 이는 표준적인 교차 데이터셋 구성이 이 특정 적합 세트 누출을 유 Introduces 하지 않음을 확인해 줍니다.
• 섭동 탐지기의 재평가: 벤치마크를 교정한 후, 저자들은 섭동 응답 탐지기(PRS)를 재평가했습니다. 그들은 OOD 신호가 지도 학습 판독기에 의해는 해독 가능(AUROC 0.87–1.00)하지만, 비지도 방식으로는 탐지 불가능하다는 것을 발견했습니다. PRS 탐지기는 일반적인 임베딩 기반 마할라노비스스(Mahalanobis) 베이스라인보다 유의미하게 개선되지 않았으며, 종종 기성 아이솔레이션 포레스트(Isolation Forest)보다 성능이 낮았습니다.

의의 및 주장
본 논문은 세 가지 주요 기여를 주장하며, 이를 새로운 탐지 방법이라기보다는 수정 및 진단으로 겸손하게 규정합니다:

1. 벤치마크 누출 식의: 저자들은 훈련/적합 세트에서 제거하지 않은 채 의미적으로 유사한 훈련된 클래스를 "OOD"로 지정하는 것이 점수를 역전시키는 "누출"을 생성한다는 것을 입증했습니다. 이는 구성상의 규율 결여이지, OOD 탐지의 내재적 한계가 아닙니다.
2. 검증된 진단 도구: 이들은 백본을 재학습시킬 필요 없이 기존 벤치마크를 감사할 수 있는 "누출 지문"을 제공합니다. 이 도구는 실제 데이터 누출과 진정으로 어려운 깨끗한 근접 OOD 문제 사이를 효과적으로 구분합니다.
3. 교정된 프로토콜 및 재평가: 엄격한 "클래스 제외" 프로토콜을 강제함으로써, 저자들은 섭동 기반 신호가 해독은 가능하지만 비지도 방식으로는 탐지 불가능하다는 것을 밝혀냈습니다. 이는 기존 문헌에서 관찰된 그러한 방법론의 우월성이 본 논문이 식별한 바로 그 누출에 의해 가려졌을 수 있음을 시사합니다.

본 논문은 새로운 OOD 방법을 제안하는 것이 목적이 아님을 명시적으로 밝힙니다. 대신, "교정된 프로토콜"과 "누출에 대한 검증된 탐지기"를 제공하는 데 집중하며, 섭동 탐지기(PRS)가 깨끗한 벤치마크에서는 단순한 베이스라인보다 나을 것이 없음을 강조합니다. 이 연구는 순환적 측정의 결과물인 이전의 헤드라인 상관관계를 철회하는 내용을 포함하며, 방법론적 참신함보다 엄격한 감사에 초점을 맞추고 있음을 강화합니다.