기술 요약: AOE: 아웃라이어 레이블 재보정을 통한 포괄적 분포 외 (OOD) 검출

문제 제기

분포 외 (OOD) 검출은 테스트 입력이 학습 분포와 다를 수 있는 개방형 세계 및 안전-중요 시나리오에서 머신러닝 모델을 배포할 때 필수적입니다. 알려지지 않은 샘플에 대한 과도한 확신 예측은 신뢰할 수 없는 결정으로 이어질 수 있습니다. 아웃라이어 노출 (OE) 은 학습 중 보조 아웃라이어를 도입하여 분포 내 (ID) 와 OOD 샘플 간의 마진을 확대함으로써 유망한 패러다임으로 부상했으나, 기존 OE 기반 방법들은 근본적인 한계를 안고 있습니다.

현재 OE 방법들은 일반적으로 OOD 샘플에 균일한 레이블을 할당하여 ID 카테고리들에 대한 엔트로피를 최대화합니다. 저자들은 이 전략이 필연적으로 OOD 샘플과 특정 ID 카테고리 간의 의미론적 관계를 무시하게 되어"과도한 연화 효과 (over-softening effect)"를 초래한다고 주장합니다. 이 효과는 ID 카테고리 간 예측 차이를 축소시켜, OOD 샘플 예측과 다양한 ID 샘플 간의 거리가 거의 균일해지게 만듭니다. 결과적으로 의미상 관련 있는 ID 카테고리 (예: OOD 인"학교 버스"에 대한"트럭") 는 관련 없는 카테고리 (예:"고양이") 와 구별되지 않아, 최적이지 않은 분리 마진과 저하된 OOD 검출 성능을 초래합니다.

방법론: 적응형 신뢰도 OE (AOE)

과도한 연화 효과를 해결하기 위해 저자들은 **적응형 신뢰도 OE (AOE)**를 제안합니다. 이는 온도 스케일링을 사용하여 아웃라이어 레이블을 재보정하는 방법입니다.

핵심 메커니즘

OOD 샘플에 균일한 분포를 강제하는 대신, AOE 는 모델의 자체 예측을 학습 가능한 온도 매개변수 $T$로 스케일링하여 유도된 적응형 소프트 타겟을 생성합니다.

1. 레이블 재보정: OOD 샘플 $x_o$에 대해 모델은 로짓 $z = f(x_o; \theta)$를 생성합니다. 이러한 로짓은 온도 $T > 1$로 스케일링된 후 소프트맥스 함수를 거쳐 소프트 타겟 $q_T = s(z/T)$를 생성합니다.
2. 관계 보존: 온도 스케일링은 클래스별 관계 정보를 지우지 않으면서 예측 분포를 부드럽게 만듭니다. 이를 통해 모델은 여전히 높은 엔트로피 분포를 장려하면서도 의미상 유사한 ID 카테고리와의 거리를 더 작게 유지할 수 있습니다.
3. 최적화: 이 방법은 모델 매개변수 $\theta$와 온도 $T$를 모두 최적화합니다.
   • 연합 학습: $\theta$와 $T$는 단일 계산 그래프 내에서 동시에 업데이트되어 특징 표현과 온도를 공동 적응시킵니다.
   • 교대 학습: $T$는 균일 분포에 대한 KL 발산을 최소화하는 정렬 제약을 만족하도록 업데이트된 후, $\theta$를 업데이트하기 위해 상수로 취급됩니다.

이론적 기반

이 논문은 접근 방식을 정당화하기 위해 이론적 분석을 제공합니다:

• 명제 1: 균일한 감독이 ID 카테고리 간 예측 차이를 체계적으로 축소함을 보여줍니다.
• 정리 1: 분리 마진에 대한 명시적 상한을 설정하여, 과도한 축소 (균일 레이블에 의해 유발됨) 가 마진을 감소시키는 부정적인 2 차 보정을 도입함을 보여줍니다.
• 정리 2 및 코롤러리 1: 유한하고 최적인 온도 $T^*$를 사용하는 것이 균일 노출 ($T \to \infty$) 의 극단적인 경우보다 엄격하게 적은 마진 축소를 초래하여 유익한 의미론적 관계를 보존함을 증명합니다.

주요 기여

1. 이론적 통찰: 저자들은 OE 의 표준 균일 레이블링 전략이 OOD 샘플과 ID 카테고리 간의 내재적 관계를 간과하는 과도한 연화 효과를 유발하여 최적이지 않은 분리 마진으로 이어진다는 이론적 분석을 제공합니다.
2. AOE 알고리즘: 저자들은 균일 타겟을 온도 스케일링을 통해 생성된 적응형 의사 레이블로 대체하는 간단하면서도 효과적인 방법인 AOE 를 제안합니다. 이 접근법은 높은 엔트로피 분포를 장려하면서도 의미적 근접성을 보존합니다.
3. 최적화 전략: 논문은 학습 중 온도 매개변수를 학습하기 위한 연합 및 교대 최적화 체계를 도입하여 견고한 수렴을 보장합니다.
4. 광범위한 검증: 이 방법은 다양한 벤치마크 (CIFAR-10, CIFAR-100, ImageNet-200) 에서 검증되었으며, 기존 OE 전략 및 점수 함수와 호환됨이 입증되었습니다.

실험 결과

저자들은 근접 OOD (의미론적 변화) 와 원거리 OOD (공분산 변화) 시나리오를 모두 다루는 OpenOODv1.5 벤치마크에서 AOE 를 평가했습니다.

• 성능 향상: 기준 OE 방법과 비교하여 AOE 는 95% 참양성률 (TPR) 에서의 거짓양성률 (FPR95) 을 일관되게 낮춥니다.
  • CIFAR-10: 근접 OOD 에서 FPR95 를 2.40%, 원거리 OOD 에서 2.51% 감소시켰습니다.
  • CIFAR-100: 근접 OOD 에서 FPR95 를 0.64%, 원거리 OOD 에서 9.11% 감소시켰습니다.
  • ImageNet-200: 근접 OOD 에서 FPR95 를 2.02%, 원거리 OOD 에서 2.10% 감소시켰습니다.
• 호환성: AOE 는"플러그 앤 플레이"식 향상으로 작용합니다. 다른 OE 기반 방법 (MixOE, DOE, DAL) 에 적용될 때 일관되게 성능을 향상시킵니다.
• 견고성: 이 방법은 다양한 백본 아키텍처 (ResNet-18, WideResNet, DenseNet) 와 다양한 OOD 점수 함수 (Energy, ODIN, ASH 등) 에서 견고함을 입증했습니다.
• 절대 실험: 실험은 학습 가능한 온도가 중요함을 확인시켜 주었습니다. 고정된 온도 값이나 무작위 레이블 스무딩은 적응형 접근법보다 열등한 결과를 낳습니다. 시각화 (Grad-CAM 및 의사 레이블 분포) 는 균일 기준선과 비교하여 AOE 가 더 의미 있는 의미론적 주의 맵과 더 잘 보정된 불확실성을 생성함을 보여줍니다.

중요성과 주장

이 논문은 AOE 가"일률적"균일 감독에서 관계 보존형 적응형 감독으로의 전환을 통해 현재 OOD 검출 패러다임의 근본적인 한계를 해결한다고 주장합니다. 의미론적 관계 보존과 향상된 분리 마진 간의 이론적 연결을 통해 저자들은 AOE 가 모델이 모호한 OOD 샘플과 ID 카테고리 사이를 더 잘 구별할 수 있게 한다고 논증합니다. 이 방법은 복잡한 아키텍처 변경 없이 기존 OE 프레임워크에 원활하게 통합될 수 있는 일반적인 개선책으로 제시되며, 신뢰할 수 있는 불확실성 추정이 가장 중요한 안전-중요 응용 분야를 위한 견고한 해결책을 제공합니다.