기술 요약: 시너지적 평활화를 통한 견고한 분포 외 (OOD) 탐지 프레임워크

문제 제기

심층 신경망 (DNN) 이 안전이 중요한 애플리케이션에 점점 더 많이 배포되고 있지만, 여전히 적대적 교란과 분포 변화에 취약합니다. 분포 외 (OOD) 탐지 방법은 새로운 또는 악의적인 입력을 식별하는 중요한 안전장치 역할을 하지만, 최근 연구들은 최첨단 OOD 탐지기 자체가 적대적 공격에 취약하다는 것을 보여줍니다. 구체적으로, 적대자는 분포 외 (OOD) 이지만 분포 내 (ID) 로 잘못 분류되도록 조작된 입력을 제작하여 시스템의 첫 번째 방어선을 무력화할 수 있습니다.

기존의 교란 기반 탐지기인 ODIN 과 PRO 는 방향성 최적화 (예: 신뢰도 점수 증가 또는 감소) 를 적용하여 탐지 성능을 향상시키려 시도합니다. 그러나 저자들은 이러한 접근법에서 비대칭적 취약점이라는 치명적인 결함을 발견했습니다. 점수 최소화 공격에 저항하도록 최적화된 탐지기는 종종 점수 최대화 공격에 취약해지며, 그 반대의 경우도 마찬가지입니다. 이러한 방향성 편향은 역동적이고 적대적인 환경에서 OOD 탐지의 신뢰성을 훼손합니다.

방법론: ROSS 프레임워크

저자들은 점수 최소화 및 점수 최대화 공격 모두에 대한 대칭적 견고함을 달성하도록 설계된 모델 독립적, 사후 (post-hoc) 프레임워크인 ROSS(Synergistic Smoothing 을 통한 견고한 OOD 탐지기) 를 제안합니다. ROSS 는 기본 DNN 을 재학습할 필요가 없으며 기존 OOD 점수 기법 (예: MSP, Energy, GEN, fDBD) 에 적용할 수 있습니다.

ROSS 의 핵심은 무작위 교란을 추가하여 입력 $x$의 $N$개의 노이즈 변형을 생성하는 것입니다. 결과적으로 생성된 "점수 스택"에서 ROSS 는 강건한 통계 이론에 기반한 두 가지 강건한 통계를 계산합니다.

1. 중앙값 점수 ($S_{med}$): OOD 점수의 평활화된 중심 경향을 나타내는 점수 스택의 중앙값.
2. 점수 안정성 ($\sigma_{med}$): 점수 스택의 중앙값 절대 편차 (MAD) 로, 점수 지형의 국소적 불안정성을 정량화합니다.

핵심 통찰: 신호로서의 불안정성

저자들은 ID 샘플이 일반적으로 점수 지형의 매끄러운 영역에 위치하여 교란 하에서 낮은 분산의 점수 (높은 안정성) 를 산출한다고 관찰합니다. 반면, OOD 샘플은 작은 교란이 큰 점수 변동을 유발하는 불규칙한 영역에 위치합니다 (높은 불안정성).

점수 함수

ROSS 는 신뢰도 인식 게이트 메커니즘을 사용하여 이러한 지표를 최종 점수 ($S_{ROSS}$) 로 결합합니다. 최종 점수는 다음과 같이 정의됩니다:
$$S_{ROSS} = \min(S_{95}, S_{med}) + \Delta_{score} \cdot \left(1 + \frac{\lambda}{\sigma_{med}}\right)$$
여기서:

• $S_{95}$는 신뢰도 임계값 (ID 검증 분포의 5 백분위수) 입니다.
• $\Delta_{score} = \max(0, S_{med} - S_{95})$는 중앙값 점수가 신뢰도 임계값을 초과할 때 만 안정성 보너스가 적용되도록 보장합니다.
• $\lambda$는 안정성 보너스의 크기를 제어하는 하이퍼파라미터입니다.

이 공식은 안정성이 높은 신뢰도를 가진 ID 유사 샘플에 대해서만 보상되도록 보장합니다. 이는 낮은 신뢰도를 가지지만 안정적일 수 있는 "원거리 OOD(far-OOD)" 샘플이 인위적인 점수 부스트를 받는 것을 방지합니다. 중앙값과 MAD 를 사용함으로써 이 방법은 본질적으로 경계 기반 조작 및 이상치에 저항합니다.

주요 기여

1. 비대칭적 취약점의 식별: 본 논문은 기존 교란 기반 OOD 탐지기 (PRO 및 ODIN 등) 가 한 가지 공격 방향에 대해서는 방어하지만 반대 방향에는 취약한 비대칭적 견고함을 겪는다는 것을 체계적으로 분석하고 입증한 최초의 연구입니다.
2. ROSS 제안: 국소적 점수 불안정성을 신뢰도 승수로 활용하는 새로운 사후 프레임워크입니다. 기존 연구와 달리 ROSS 는 비방향성이며 경계 기반이 아니므로 PGD-min 및 PGD-max 공격 모두에 대한 대칭적 견고함을 달성합니다.
3. 안정성과 신뢰도의 분해: 광범위한 제거 실험을 통해 저자들은 점수 안정성과 신뢰도 임계값 설정의 기여도를 분리하여, 둘 다 효과적인 ID/OOD 분리에 필수적임을 입증했습니다.
4. 실증적 검증: CIFAR-10, CIFAR-100 및 ImageNet 에 대한 포괄적인 평가를 통해 ROSS 가 기존 탐지기와 이전 교란 기반 방법보다 일관되게 우수한 성능을 보임을 보여주었습니다.

실험 결과

저자들은 사전 학습된 ResNet-18 및 ResNet-50 모델을 사용하여 표준 벤치마크에서 ROSS 를 평가했습니다.

• 기선 성능: 깨끗한 데이터에서 ROSS 는 최첨단 성능을 달성합니다. 예를 들어, GEN 기본 점수를 사용한 CIFAR-10 에서 ROSS 는 평균 AUROC 84.72% 및 FPR95 **45.77%**를 기록하여 중앙값 전용 기선 ($S_{med}$) 과 단순 비율 ($S_{med}/\sigma_{med}$) 보다 우수한 성능을 보였습니다.
• 적대적 견고성: PGD 공격 ($\epsilon = 8/255$) 하에서 ROSS 는 상당한 회복 탄력성을 보여줍니다.
  • CIFAR-10 에서 PGD-max 공격 하에 MSP 기선의 AUROC 가 **3.76%**로 붕괴한 반면, ROSS-MSP 는 **52.65%**의 AUROC 를 유지했습니다.
  • CIFAR-100 에서 ROSS-fDBD 는 PGD-max 공격 하에 기선인 **11.02%**에서 **44.72%**로 AUROC 를 향상시켰습니다.
• 대칭적 방어: "잘못된" 방향에서 공격받을 때 성능이 크게 저하되는 PRO 및 ODIN 과 달리, ROSS 는 PGD-min 및 PGD-max 공격 모두에 대해 일관된 성능을 유지합니다. 저자들은 강력한 공격 하에서 기존 교란 기반 방법 대비 최대 40 AUROC 포인트의 개선을 보고했습니다.
• 효율성: $N=25$번의 순전파를 필요로 함에도 불구하고, 현대 GPU 에서의 병렬화 가능한 추론 특성으로 인해 단일 순전파 대비 지연 시간이 1.2 배만 증가하여 배포에 실용적입니다.

중요성 및 주장

본 논문은 ROSS 가 OOD 탐지를 위한 실용적이고 경량이며 쉽게 배포 가능한 첫 번째 방어선을 제공한다고 주장합니다. 주요 중요성은 비대칭적 약점을 생성하는 방향성 최적화에서 통계적 안정성을 활용하는 시너지적 평활화로 패러다임을 전환하는 데 있습니다.

저자들은 ROSS 가 적대적 재학습의 계산 비용 없이 깨끗한 정확도와 적대적 견고성 사이의 균형을 성공적으로 유지한다고 주장합니다. 기존 OOD 점수 접근법과 원활하게 통합함으로써, 알려지지 않거나 악의적인 입력이 불가피한 오픈 월드 환경에서 자동화 시스템의 신뢰성을 향상시킵니다. 이 연구는 특정 방향으로 점수를 밀어붙이는 것보다 국소적 불안정성을 정량화하는 것이 OOD 탐지를 위한 더 견고한 대리 변수임을 시사합니다.

저자가 지적한 향후 연구는 이 프레임워크를 경계 기반 공격을 넘어 생성 모델과 실제 세계의 손상 (corruptions) 으로 인한 분포 변화까지 확장하는 것을 목표로 합니다.