기술 요약: 분할 정복: 객체 공출현이 OOD 탐지에서 단순성 편향을 완화하는 데 기여함

문제 제기

딥러닝 모델은 분포 내 (ID) 데이터에서 뛰어난 성과를 거두지만, 분포 변화, 특히 분포 외 (OOD) 탐지 시 신뢰성 측면에서 어려움을 겪습니다. 기존 방법들은 주로 얽힌 잠재 표현, 로짓 출력, 또는 이들의 조합에 의존합니다. 이러한 접근법은 급격한 분포 변화를 수반하는 "원거리 OOD(far-OOD)" 시나리오에서는 효과적이지만, 미묘한 의미론적 편차가 존재하는 "근거리 OOD(near-OOD)" 설정에서는 종종 실패합니다.

식별된 핵심 한계는 딥 네트워크에 내재된 **단순성 편향 (simplicity bias)**입니다. 얽힌 표현을 처리할 때, 모델은 장면 이해에 필수적인 복잡한 의미론적 관계와 문맥적 불일치를 간과한 채, 쉽게 학습 가능한 국부적 단서 (예: 특정 객체의 질감이나 형태) 를 우선시하는 경향이 있습니다. 예를 들어, 모델은 개가 바다에 있는 이미지를 개 (ID) 로 확신 있게 분류할 수 있는데, 이는 개의 특징에 집중하여 그 설정에서 개와 상어의 공출현이 의미론적으로 양립할 수 없다는 점 (OOD) 을 무시하기 때문입니다. 이로 인해 이상 샘플에 대해 과도하게 확신하는 예측이 발생합니다.

방법론: OCO 프레임워크

저자들은 **OCO(Object-Centric OOD detection)**를 제안합니다. 이는 객체 공출현 (Object Co-occurrence, OCO) 패턴을 활용하여 단순성 편향을 완화하도록 설계된 프레임워크입니다. 이 방법은 인간의 시각 시스템이 장면 내 객체 관계를 활용하여 문맥을 이해한다는 전제에 기반하며, 기계 역시 이미지를 개별 객체 구성으로 분해해야 함을 전제로 합니다.

1. 슬롯 어텐션을 통한 객체 중심 표현

이 프레임워크는 **슬롯 어텐션 (Slot Attention, SA)**을 사용하여 얽힌 특징 맵을 $K$개의 분리된 슬롯 집합으로 변환합니다. 각 슬롯은 개별 객체나 객체 부분을 포착하도록 의도됩니다.

• 학습: 이러한 슬롯에 분류기를 훈련하여 클래스 레이블을 예측합니다. 슬롯이 임의의 조각이 아닌 의미 있는 객체 특징을 포착하도록 보장하기 위해, 표준 분류 손실 ($L_{ce}$) 과 함께 보조 재구성 손실 ($L_{aux}$) 이 도입됩니다. 이는 슬롯이 원래 얽힌 특징을 재구성하도록 강제하여 견고한 객체 위치 추정을 보장합니다.
• 패턴 발견: 학습 중 시스템은 슬롯별 예측을 집계하여 **공출현 구성 (co-occurrence configurations)**을 식별합니다. 단일 카테고리 구성 (모든 슬롯이 하나의 클래스에 동의) 과 다중 카테고리 구성 (여러 다른 클래스가 감지됨) 을 구분합니다. ID 학습 데이터로부터 전형적인 장면 문맥을 나타내는 유효한 다중 카테고리 빈도 집합 ($F_{train}$) 이 구축됩니다.

2. 분할 정복 전략

테스트 시, OCO 프레임워크는 테스트 샘플의 공출현 패턴 ($F_t$) 을 분석하고 이를 세 가지 시나리오 중 하나로 적응적으로 분류한 후, 각 시나리오에 대해 특정 탐지 점수를 적용합니다.

• 시나리오 1 (S1): 단일 패턴

  • 조건: 모든 슬롯이 동일한 클래스를 예측함 ($|F_t| = 1$).
  • 과제: 과도한 확신 (단순성 편향) 의 높은 위험.
  • 해결책: 이중 신뢰도 보정 (Dual-Confidence Calibration). 점수 ($S_{single}$) 는 장면 수준의 신뢰도 (집계된 예측) 와 객체 수준의 신뢰도 (슬롯 간 최대 일치) 를 결합하여 과대 추정을 완화합니다.

• 시나리오 2 (S2): 전형적인 패턴

  • 조건: 다중 객체 패턴이 학습 중 관찰된 패턴과 일치함 ($|F_t| \ge 2$ 및 $F_t \in F_{train}$).
  • 과제: 특히 근거리 OOD 사례에서 높은 모호성. 객체가 알려진 방식으로 공출현하지만 특정 조합이 이상할 수 있음.
  • 해결책: 불확실성 인지 점수화 (Dempster-Shafer Theory). 지배적인 카테고리与其他 예측 카테고리 간의 믿음 모순을 계산합니다. 이는 "패턴 가능성 (예상되는 공출현)"과 "모호한 증거 (어떤 특정 ID 클래스가 적용되는지에 대한 불확실성)"를 구분하여, 미묘한 편차를 탐지하기 위해 상충되는 증거를 효과적으로 모델링합니다.

• 시나리오 3 (S3): 비전형적인 패턴

  • 조건: 다중 객체 패턴이 학습 관찰과 일치하지 않음 ($|F_t| \ge 2$ 및 $F_t \notin F_{train}$).
  • 과제: 보이지 않는, 비현실적인 조합 (예: 펭귄과 낙타).
  • 해결책: 객체 수준 신뢰도. 패턴 자체가 이상하므로, 이 방법은 이상을 직접 정량화하기 위해 가장 높은 슬롯 예측 신뢰도 ($S_{unrel}$) 에 의존합니다.

주요 기여

1. 새로운 프레임워크: 전통적 모델의 단순성 편향을 직접 해결하기 위해 복잡한 장면 - 객체 의미론적 상관관계를 학습하는 객체 공출현 패턴을 활용하는 객체 중심 프레임워크 OCO 의 도입.
2. 적응형 분할 정복: 통합된 OOD 점수를 사용하는 방법과 달리, OCO 는 공출현 패턴에 기반하여 테스트 샘플을 세 가지 distinct 그룹으로 적응적으로 분류하고 각 그룹에 맞춤형 탐지 점수를 할당합니다. 이는 서로 다른 유형의 이상이 서로 다른 탐지 전략을 필요로 함을 인정하는 것입니다.
3. 견고한 성능: OCO 가 도전적인 근거리 OOD 벤치마크와 전체 스펙트럼 OOD(FS-OOD) 설정 모두에서 최첨단 베이스라인과 경쟁력 있는 성과를 달성하여, 의미론적 변화 (근거리 OOD) 와 공변량 변화를 효과적으로 처리함을 입증함.

실험 결과

저자들은 ImageNet-1k 를 ID 데이터셋으로 사용하여 OpenOOD 벤치마크에서 OCO 를 평가했습니다.

• 베이스라인: Energy, MaxLogit, SHE, OODD 등을 포함한 9 개의 베이스라인과 비교.
• 백본: 지도 학습 ViT 와 자기 지도 학습 DINOv2 백본을 모두 사용하여 실험 수행.
• 성능:
  • OOD 탐지: OCO 는 일관되게 베이스라인을 능가했습니다. 도전적인 SSB-hard(근거리 OOD) 데이터셋에서 2 위 (OODD) 에 비해 AUROC 에서 상당한 개선을 달성했습니다.
  • FS-OOD 탐지: 전체 스펙트럼 평가 (ImageNet-v2/c/r 과 같은 공변량 변화 포함) 에서 OCO 는 특히 다른 방법들이 어려움을 겪었던 SSB-hard 데이터셋에서 우수한 일반화 능력을 보여주었습니다.
  • 절대 실험: 효과적인 슬롯 분리를 위해 재구성 손실 ($L_{aux}$) 이 필수적임을, 그리고 통합 점수보다 시나리오별 점수화의 우월성을 확인했습니다.
  • 슬롯 수: 성능은 $K=6$개의 슬롯에서 정점에 달했습니다. 슬롯이 부족하면 과소 분할이, 슬롯이 과도하면 과분할 및 성능 저하가 발생했습니다.

중요성과 주장

이 논문은 OOD 탐지에서 인간과 기계 지각 간의 격차는 기계가 단순한 국부적 특징에 집중하는 경향에서 비롯된다고 주장합니다. 객체 관계에 대한 인간의 의존을 모방함으로써 OCO 는 이러한 편향을 성공적으로 완화합니다.

저자들은 그들의 접근 방식이 단순한 특징 구분을 넘어 의미론적 문맥 이해로 나아가는 OOD 탐지를 위한 새로운 패러다임을 제공한다고 주장합니다. "분할 정복" 전략은 모델이 미묘한 근거리 OOD 의미론적 변화부터 명백한 원거리 OOD 이상까지 OOD 도전의 스펙트럼을 통합된 접근법보다 더 효과적으로 처리할 수 있게 합니다. 이 방법은 간단하고 확장 가능하며, 분포 변화 하에서의 신뢰성이 중요한 실용적 응용 분야에 유망하다고 묘사됩니다. 저자들은 또한 예측된 공출현 패턴과 WordNet 계층 구조 간의 통계적 정렬이 모델이 의미 있는 의미론적 관계를 학습할 수 있음을 검증한다고 덧붙였습니다.