Breaking Diversity Collapse in Spiking Pseudo-Ensembles for Efficient OOD Detection in Remote Sensing

기술 요약: 원격 탐사를 위한 효율적인 OOD 탐지를 위한 스파이킹 의사 앙상블(Pseudo-Ensembles)의 다양성 붕괴 해결

문제 정의

스파이킹 신경망(SNN)은 이벤트 기반의 희소 연산 덕분에 자원이 제한된 원격 탐사 플랫폼(예: 위성, UAV)에서 상당한 에너지 효율성을 제공합니다. 그러나 신뢰할 수 있는 배포를 위해서는 지리적 변화, 계절 또는 센싱 조건의 변화로 인한 생소한 입력값을 거부할 수 있는 강력한 분포 외(Out-of-Distribution, OOD) 탐지가 필요합니다. 딥 앙상블(Deep Ensembles)은 여러 개의 독립적으로 훈련된 모델을 활용하여 예측 불확실성을 강력하게 제공하지만, SNN에서는 과도한 비용을 초래합니다. 즉, 파라미터 저장 공간과 추론 지연 시간이 앙상블 멤버 수에 따라 선형적으로 증가하며, 매 예측마다 전체 백본(Backbone)을 평가해야 합니다.

의사 앙상블(Pseudo-ensembles)과 같이 하나의 고정된(frozen) 백본에 여러 개의 경량 분류 헤드(Classification heads)를 부착하는 기존의 효율적인 대안들은 종종 다양성 붕괴(Diversity Collapse) 문제를 겪습니다. 이러한 구조에서 표준 교차 엔트로피(Cross-entropy)로 훈련된 독립 초기화 헤드들은 공유된 고정 특징(Frozen features)을 사용하여 매우 상관관계가 높은 예측값으로 수렴하며, 효과적인 불확실성 추정에 필요한 기능적 다양성을 제공하지 못합니다.

방법론

저자들은 앙상블 방식의 불확실성을 훨씬 적은 계산 비용으로 회복하기 위해 설계된 **합의-불일치 스파이킹 의사 앙상블(Agree–Disagree Spiking Pseudo-Ensemble, ADPE)**을 제안합니다.

1. 아키텍처:
이 방법은 고정된 결정론적 훈련 SNN 백본(Transformer 기반 Spikformer 또는 합성곱 ResNet19-SNN)을 활용합니다. 여러 개의 경량화되고 독립적으로 초기화된 스파이킹 분류 헤드가 이 백본에 부착됩니다. 추론 시에는 백본을 한 번만 평가하며, 추출된 시간적 특징(Temporal features)은 모든 헤드로 브로드캐스트되어 여러 예측 가설을 생성합니다.

2. 다양성 붕괴 문제:
본 논문은 이러한 헤드들을 교차 엔트로피로 훈련할 때, 모든 헤드가 동일한 입력, 레이블 및 최적화 목표를 받게 되어 동일한 결정 경계로 몰리게 되므로 다양성 붕괴가 발생함을 식별했습니다.

3. 합의-불일치 목적 함수(The Agree–Disagree Objective):
외부 OOD 데이터 없이 기능적 다양성을 유도하기 위해, 저자들은 내부 분포(In-distribution, ID) 훈련 세트에서 유도된 두 가지 유형의 입력에 작용하는 새로운 훈련 목적 함수를 도입했습니다.

• 합의 (Clean ID): 헤드들이 깨끗한 이미지에 대해 표준 교차 엔트로피를 사용하여 올바른 레이블을 예측하도록 훈련되며, 이를 통해 백본의 원래 분류 성능을 보존합니다.
• 불일치 (Structured Blur): 동일한 이미지에 구조적, 불확실성 유발 변환이 가해졌을 때 헤드들이 서로 다른 예측을 생성하도록 장려됩니다. 저자들은 박스 블러(Box blur)(중간 또는 강한 강도)가 최적의 변환임을 확인했습니다. 진단 연구에 따르면, 박스 블러는 노이즈와 달리 거친 장면 구조를 유지하면서도 예측 엔트로피와 모델 간 불일치를 증가시킵니다.

전체 손실 함수는 다음과 같이 정의됩니다:
$$L_{AD} = L_{CE} - \lambda_{dis} D_{JS}$$
여기서 $L_{CE}$는 깨끗한 샘플에 대한 교차 엔트로피 손실이며, $D_{JS}$는 블러 처리된 샘플에 대해 계산된 일반화된 젠슨-샤논 발산(Jensen–Shannon divergence, 불일치 측정)입니다. 헤드들은 블러 처리된 입력에 대해서는 불일치를 최대화하는 동시에, 깨끗한 입력에 대해서는 합의를 유지하도록 최적화됩니다.

4. 추론 효율성:
$K_b$개의 백본과 백본당 $K_h$개의 헤드가 있을 때, 시스템은 $K_b$번의 백본 평가만으로 $K_b \times K_h$개의 가설을 생성합니다. 이는 전체 딥 앙상블 모델($K_b \times K_h$개)을 사용하는 것보다 계산 오버헤드를 크게 줄여줍니다.

주요 기여

1. 효율적인 스파이킹 의사 앙상블: 여러 개의 예측 가설을 생성하기 위해 고정된 SNN 백본과 경량 헤드를 사용하는 프레임워크를 제공하여, 여러 번의 전체 모델 평가 비용을 피합니다.
2. 다양성 붕괴 완화: 공유 백본을 사용하는 의사 앙상블에서의 다양성 붕괴를 식별하고, 합의-불일치 목적 함수를 제안했습니다. 이 목적 함수는 외부 OOD 데이터셋이나 교사 앙상블(Teacher ensembles) 없이, 오직 ID 데이터에서 유도된 구조적 블러 입력만을 사용하여 기능적 다양성을 촉진합니다.
3. 경험적 검증: 두 가지 SNN 아키텍처(Spikformer, ResNet19-SNN)와 여러 원격 탐사 분포 변화(UCM, AID, Sentinel-2 서브셋)에 대해 평가하여, 기존의 의사 앙상블 및 딥 앙상블 대비 개선된 OOD 성능을 입증했습니다.

결과

EuroSAT 데이터셋(ID)에서 UCM, AID, Sentinel-2 서브셋으로의 변화에 대한 실험 결과는 다음과 같습니다:

• 성능 대비 비용: 3개의 백본과 백본당 5개의 헤드로 구성된 ADPE 설정은 UCM 및 AID에서 5개 모델로 구성된 딥 앙상블의 OOD 탐지 성능(AUROC, FPR@95)과 일치하거나 이를 능가합니다.
• 효율성 이득: 이 구성은 5개 모델 딥 앙상블과 비교했을 때 약 38% 적은 파라미터와 40% 적은 백본 평가만으로 위와 같은 성능을 달 구현합니다.
• 다양성 지표: 제안된 방법은 교차 엔트로피로 훈련된 의사 앙상블(CEPE)에 비해 헤드 간 상호 정보량(Mutual Information, MI)을 크게 증가시켜, 헤드들이 서로 다른 예측 동작을 학습함을 확인했습니다. 예를 들어, 3개의 백본을 가진 Spikformer에서 ADPE는 UCM에 대해 CEPE보다 AUROC를 약 2.0 포인트 향상시켰습니다.
• 아키텍처 불가지론(Architecture Agnosticism): 이러한 이점은 트랜스포머 기반 및 합성곱 SNN 모두에서 관찰되었으나, Spikformer에서 그 개선 효과가 더 두드러졌습니다.
• ID 성능: 이 방법은 딥 앙상블과 대등한 수준의 ID 데이터셋(EuroSAT) 분류 정확도를 유지하며, 이는 블러 처리된 입력에 대한 불일치를 장려하는 것이 깨끗한 분류 성능을 저해하지 않음을 나타냅니다.

의의 및 주장

본 논문은 명시적인 다양성 촉진(합의-불일치 목적 함수)이 훨씬 낮은 배포 비용으로 유용한 앙상블 스타일의 불확실성을 회복할 수 있다고 주장합니다. 저자들은 이를 전체 딥 앙상블을 사용하기 어려운 자원 제한적 원격 탐사 환경을 위한 실질적인 솔루션으로 제시합니다.

저자들은 다음과 같은 한계점에 대해 겸허한 태도를 유지합니다:

• 이 방법은 유용한 앙상블 불일치를 증가시키는 효율적인 메커니즘이지만, 모든 변화 유형이나 작동 임계값(Operating threshold) 하에서 일률적으로 우월한 것은 아닙니다.
• "의미론적으로 가까운(Semantically close)" 분포 변화(Global-Near)에서는 "먼(Global-Far)" 변화에 비해 성능 향상이 덜 일관적입니다.
• 연구는 전역적 순위(AUROC)는 개선되지만, 고정된 임계값에서의 최적 작동 지점(FPR@95)은 달라질 수 있음을 강조하며, 이는 SNN의 불확실성 보정(Uncertainty calibration)이 여전히 해결해야 할 과제임을 시사합니다.

결론적으로, 본 연구는 공유 백본 앙상블에서 다양성 붕괴가 치명적인 실패 모드이지만, 외부 데이터 없이도 이를 효과적으로 해결할 수 있어 원격 탐사를 위한 SNN의 효율적이고 신뢰할 수 있는 OOD 탐지를 가능하게 한다고 밝히고 있습니다.