A Closer Look at In-Distribution vs. Out-of-Distribution Accuracy for Open-Set Test-time Adaptation

기술 요약: 오픈셋 테스트 시점 적응(Open-Set Test-time Adaptation)을 위한 In-Distribution 대 Out-of-Distribution 정확도에 대한 심층 분석

문제 정의
심층 신경망은 테스트 데이터가 분포 변화(distribution shifts)를 겪을 때 종종 정확도 저하를 겪는다. 테스트 시점 적응(TTA) 방법론은 테스트 입력에 대해 모델을 업데이트함으로써 이를 완화하지만, 기존의 접근 방식들은 모든 테스트 데이터가 알려진(In-Distribution 또는 InD) 클래스에 속한다고 가정한다. 현실적인 오픈셋 시나리오에서는 테스트 데이터에 미지의(Out-of-Distribution 또는 OOD) 클래스가 포함될 수 있다. 기존의 오픈셋 TTA 방법론들은 InD 데이터에 적응하는 동시에 OOD 데이터를 필터링하거나 거부하는 것을 목표로 한다. 그러나 이러한 방법론들이 InD 정확도를 개선하는 데는 성과를 보였지만, OOD 입력을 정확하게 탐지하고 거부하는 능력에 대해서는 아직 충분히 연구되지 않았다. InD 정확도를 유지하는 것과 신뢰할 수 있는 OOD 거부를 보장하는 것 사이의 트레이드오프(trade-off)를 이해하는 데에는 중요한 격차가 존재하며, 이는 다양한 OOD 데이터 비율과 서로 다른 정규화 구조(normalization architectures) 하에서 특히 두드러진다.

방법론 및 벤치마크 설정
저자들은 SAR, OSTTA, UniEnt, UniEnt+, SoTTA를 포함한 견고한 오픈셋 TTA 방법론들을 대상으로 포괄적인 벤치마크를 수행하며, 단순한 베이스라인인 Tent를 함께 비교한다. 평가는 표준적인 오염(corruption) 벤치마크를 활용한다:

• 소규모 규모: CIFAR-10-C (InD)와 오염된 SVHN-C 또는 CIFAR-100-C (OOD)의 쌍.
• 대규모 규모: ImageNet-C (InD)와 ImageNet-O-C (근접 OOD, 시각적으로 유사하지만 클래스는 다름) 또는 Textures-C (원거리 OOD, 비객체 패턴)의 쌍.

본 연구는 실제 배포 조건을 반영하기 위해 다음과 같은 몇 가지 실험적 변형을 도입한다:

1. 혼합 배치(Mixed Batches): 배치가 다양한 비율의 InD 및 OOD 데이터를 포함하는 경우의 성능을 평가한다 (25%, 50%, 75%).
2. 배치 간격(Batch Intervals): OOD 데이터가 InD 배치 사이에 균일하게 섞여 있는 것이 아니라, 연속적인 버스트(bursts) 형태로 나타나는 시나리오를 테스트한다.
3. 출력 분포(Output Distribution): 표준적인 소프트맥스(softmax) 출력을 시그모이드(sigmoid)/멀티 레이블 출력으로 대체하는 새로운 베이스라인을 제안한다. 이를 통해 모델이 모든 클래스에 대해 동시에 낮은 확률을 출력할 수 있게 하여, 특정 클래스 예측을 강제하지 않고도 미지의 입력을 명시적으로 거부할 수 있도록 한다.
4. 정규화 레이어(Normalization Layers): 오픈셋 적응 안정성에 미치는 배치 정규화(BN), 그룹 정규화(GN), 레이어 정규화(LN)의 영향을 조사한다.

주요 기여 및 결과

• InD 대 OOD 트레이드오프: 분석 결과, 현재의 오픈셋 TTA 방법론들은 InD 인식과 OOD 거부 사이의 균형을 맞추는 데 어려움을 겪고 있음이 드러났다. 높은 InD 정확도를 최적화하면 OOD 정확도가 거의 0에 수렴하는 결과(OOD 데이터에 대한 높은 허위 양성률)를 초래하며, 그 반대의 경우도 마찬가지이다. UniEnt와 같은 방법론이 가장 우수한 분리 성능을 보여주지만, 여전히 상당한 트레이드오프 문제에 직면해 있다.
• 현재 필터링의 한계: 본 논문은 기존 방법론들의 내부 필터링 메커니즘(예: SoTTA의 신뢰도 임계값 설정, SAR의 엔트로피 필터링, UniEnt의 프로토타입 클러스터링)이 불완전함을 입증한다. 어떤 경우에는 이들의 InD와 OOD 구분 능력이 모델의 원시 출력에서 도출된 신뢰도 점수를 기반으로 한 단순 임계값 설정보다 열등하게 나타나기도 한다.
• 시그모이드 출력 베이스라인: 소프트맥스를 시그모이드 출력(Tent-Sigmoid 및 SAR-Sigmoid)으로 대체하면 뚜렷한 트레이드오프 프로파일이 나타난다. 이는 소프트맥스 기반 대응 모델들에 비해 InD 정확도를 약간 감소시킬 수 있으나, OOD 탐지 지표(AUROC, FPR@TPR95, OSCR)를 크게 향상시킨다. 시그모이드 엔트로피 분포는 InD와 OOD 입력 사이의 더 나은 분리를 보여주며, 복잡한 필터링 휴리스틱 없이도 거부를 용이하게 하는 이봉 분포(bimodal distribution)를 보이는 경우가 많다.
• OOD 비율에 대한 민감도: 기존 방법론들은 배치 내 OOD 데이터의 비율에 매우 민감하다. OOD 비율이 증가함에 따라 모든 지표에서 성능이 일관되게 저하된다. 그러나 방법론들은 OOD 배치의 간격(연속적인 OOD 배치)에는 비교적 둔감한데, 이는 문제가 시간 경과에 따른 OOD 데이터의 존재 여부가 아니라 단일 배치 업데이트 내에서의 혼합 데이터 상호작용에 있음을 시사한다.
• 정규화 레이어의 역할: 적응의 안정성은 정규화 레이어에 크게 의존한다. 배치 정규화(BN)를 사용하는 모델은 다양한 OOD 비율에 직면했을 때 정확도와 OOD 지표에서 큰 변동을 보인다. 반면, 그룹 정규화(GN)와 레이어 정규화(LN)는 현저히 안정적인 성능을 보여주며, 특히 LN이 전반적으로 가장 견고한 결과를 나타낸다.

의의 및 주장
본 논문은 InD 정확도와 OOD 정확도 사이의 트레이드오프를 명시적으로 측정하는 최초의 표준화된 멀티 지표 오픈셋 TTA 평가를 제공한다고 주장한다. 저자들은 해당 분야가 OOD 거제의 신뢰성보다는 InD 정확도 향상에 치중해 왔다고 주장한다. 시그모이드 베이스라인을 도입하고 가변적인 OOD 비율 하에서 테스트함으로써, 본 연구는 현재의 방법론들이 적응 업데이트를 위한 OOD 데이터를 효과적으로 필터링하지 못하고 있음을 강조한다.

저자들은 시그모이드 베베이스라인이 OOD 거제를 위해 다르게, 그리고 종종 더 유리한 트레이드오프를 제공하지만, 이것이 만병통치약은 아니라고 결론짓는다. 시그모이드 방식은 InD 정확도를 일부 희생하기 때문이다. 저자들은 향후 연구가 더 나은 필터링 기술이나 대안적인 출력 분포를 통해 이러한 상충하는 목표들을 더 잘 균형 잡을 수 있는 방법을 개발하는 데 집중해야 한다고 제언한다. 이는 오픈셋 환경에서 안전하고 신뢰할 수 있는 배포를 보장하기 위함이다. 본 논문은 문제를 완전히 해결했다고 주장하는 것이 아니라, 현재 방법론의 구체적인 격차를 식별하고 관련된 도전 과제들에 대한 보다 완전한 경험적 이해를 제공하는 데 목적이 있다.