Anticipating the Optimism Gap: Predicting Distribution-Shift Degradation of RF-Impairment Detectors from In-Distribution Statistics

기술 요약: RF 결함 검출기의 낙관적 편향(Optimism Gap) 예측

문제 정의
글로벌 항법 위성 시스템(GNSS) 보안에서 무선 주파수(RF) 결함(재밍, 스푸으로핑, 멀티패스)을 탐지하는 검출기들은 일반적으로 인-디스트리뷰션(in-distribution, ID) 데이터로부터 도출된 단일 AUC(Area Under the ROC Curve) 지표를 사용하여 평가된다. 실무자들은 운영 조건이 변화할 때(예: 신호 강도 또는 환경의 변화) 이러한 ID 성능이 실제 환경에서의 효과를 과대평가한다는 점을 인지하고 있다. 그러나 레이블이 지정된 현장 데이터의 부족으로 인해, 이 "낙관적 편향(optimism gap)"—즉, ID AUC와 아웃-오브-디스트리뷰션(out-of-distribution, OOD) AUC 사이의 차이—의 크기를 사전에 예측하는 것은 매우 어렵다. OOD 정확도 예측에 관한 기존 머신러닝 문헌은 입력 분포가 변하는 고정된 태스크와 모델에 초점을 맞추고 있으며, 분류 정확도가 아닌 AUC를 예측하거나, 서로 다른 검출기 아키텍처 또는 결함 클래스 간의 전이(transfer) 문제를 다루는 경우는 드물다.

방법론
저자들은 오픈 소스인 Kshana PNT-resilience 시뮬레이터를 기반으로 구축된 통제되고 파라미터가 명확한 합성 테스트베드를 사용하여 이 격차를 해결한다.

• 테스트베드 구축: 코퍼스는 네 가지 결함 클래스(재밍, 시간 스푸핑, 위치 스푸핑, 멀티패스)와 노멀(nominal) 클래스에 대해 평가된 13개의 검출기로 구성된다. 결함의 심각도는 스칼라 척도 $(0, 1]$로 제어되며, $1.0$은 인-디스트리뷰션 상태를 나타내고 낮은 값은 점점 더 미세해지는 결함을 나타낸다.
• 검출기 패널: 본 연구는 5개의 물리 기반 베이스라인(단일 관측치 검출기 및 결합기), 5개의 풀-피처(full-feature) 학습된 검출기(다양한 너비의 로지스틱 회귀 및 다층 퍼셉트론), 그리고 3개의 단일 피처 학습 제어 모델을 평가한다.
• 지표 정의: "낙관적 편향"($\Delta$)은 ID AUC와 이동된 심각도 수준에서의 AUC 차이로 정의된다: $\Delta(d, c, s) = \text{AUC}_c(d, 1.0) - \text{AUC}_c(d, s)$.
• 예측 프레임워크: 핵심 가설은 이 격차가 ID 통계량만을 사용하여 예측 가능하다는 것이다. 저자들은 6개의 ID 전용 피처(ID AUC, 점수 분리도 $d'$, 분포 중첩, 분산 비율, 꼬리 여백, 고정된 허위 경보율에서의 탐지율 포함)와 7번째 절제 가능한(ablatable) 피처(자기 섭동 기울기)를 추출한다. 릿지 회귀 모델은 홀드아웃(held-out) 검출기와 홀드아웃 결함 클래스에 대해 실현된 격차를 예측하도록 훈련된다.
• 검증: 본 연구는 2000회 레이블 순열 널(null) 모델에 대한 유의성 검정, 그리고 예측이 정의상의 아티팩트가 아님을 확인하기 위한 절제 연구를 포함하여, leave-one-detector-out 및 leave-one-class-out 교차 검증을 채택한다.

주요 결과

1. 격차의 단조 증가: 낙관적 편향은 분포 이동이 깊어짐에 따라(심각도 척도가 감소함에 따라) 단조 증가한다. 이동 크기와 격차 사이의 평균 스피어먼 상관계수는 모든 검출기-클래스 쌍에 대해 0.50이다.
2. 증거의 폭 vs 학습: 격차는 검출기가 학습되었는지 여부가 아니라, 검출기가 통합하는 증거의 폭에 의해 결정된다. 단일 피처 학습 검출기는 매칭된 물리 베이스라인과 동일한 정도로 성능이 저하된다. 반면, 5개의 관측치를 모두 결합하는 검출기는 훨씬 적게 저하된다. 이는 좁은 범위의 검출기가 학습 방식과 관계없이 본질적으로 이동에 취약함을 시사한다.
3. 클래스 이질성: 격차는 결함 클래스에 따라 체계적으로 달라진다. "매칭된 전력(matched-power)" 시간 스푸핑 케이스(ID에서도 분리가 가장 어려운 경우)는 가장 작은 격차를 보이는 반면, 높은 ID 성능을 보이는 클래스(위치 스푸핑 등)는 가장 큰 하락을 보인다.
4. 격차의 예측 가능성: ID 통계량만을 사용해 구축된 단순한 릿지 모델은 한 번도 본 적 없는 검출기와 결함 클래스에 대해 격차를 성공적으로 예측한다.
   • 교차 검출기 예측: $R^2 = 0.47$ (RMSE = 0.028).
   • 교차 클래스 예측: $R^2 = 0.46$ (RMSE = 0.029).
   • 두 결과 모두 레이블 순열에 대해 통계적으로 유의미하며($p < 0.001$), ID AUC 피처를 제거해도 유지되므로, 점수 분포의 형태(특히 중첩과 꼬리 여백)가 예측력을 가진다는 것을 확인시켜 준다.

실제 데이터 검증
저자들은 세 가지 오픈 필드 코퍼스(Yunnan University 캡처, Jammertest 2024 캠페인, SatGrid)에서 이러한 발견을 테스트하기 위해 사전 등록된 프로토콜을 사용했다.

• Jammertest 2024: 교차 검출기 예측은 실제 데이터에서도 유지되었으나($R^2 = 0.11, p = 0.009$), 교차 클래스 예측은 실패했다($R^2 = -0.25$). 이는 클래스 수가 적고 메커니즘적 차이가 존재하기 때문으로 보인다.
• SatGrid: 이 데이터셋은 보정된 심각도 축(스푸퍼 전력 스윕)을 제공했다. 이는 ID AUC가 높은 심각도에서 성능을 과대평가한다는 점을 확인시켜 주었으며, 격차는 최대 0.22에 달했다. 격차의 방향은 ID AUC와 완벽한 순위 상관관계($\rho = 1.0$)를 보였으나, 검출기와 클래스의 수가 제한되어 있어 정량적 예측력은 다소 낮았다.
• 실제 데이터에 대한 결론: 메커니즘은 실제 데이터와 접촉했을 때도 생존하지만, 통제되지 않은 현장 조건으로 인해 시뮬레이션보다 규모가 작게 나타난다.

의의 및 주장
본 논문은 ID 통계량만을 사용하여 본 적 없는 검출기와 결함 클래스에 대해 RF 결함 탐지의 평가 낙관적 편향을 예측할 수 있음을 보여주는 첫 번째 사례라고 주장한다.

• 규모보다 메커니즘: 저자들은 자신들의 합성 테스트베드가 정확한 현장 규모를 예측하기보다는 저하의 메커니즘을 격리하여 보여준다는 점을 명시한다.
• 실무적 경고: 핵심적인 실무적 시사점은 "얇고 밀집된 점수 마진"에서 달성된 높은 ID AUC는 이동 발생 시 크게 저하될 검출기의 징후라는 것이다. 이 경고는 OOD 레이블 없이도 배포 전에 읽어낼 수 있다.
• 재현성: 본 연구는 전체 테스트베드, 원시 IQ를 상관기 피처로 변환하기 위한 소프트웨어 수신기 프런트엔드, 실제 데이터를 위한 인제스트 어댑터, 그리고 사전 등록된 프로토콜을 공개하여 모든 주장이 실제 데이터에서 검증 가능하도록 보장한다.

이 연구는 필드 데이터 부족 문제를 완전히 해결한다고 주장하는 것이 아니라, 검출기 선택 시 낙관주의의 위험을 정량화하고 예측하는 방법을 제공함으로써, 초점을 "최선의 ID 점수는 무엇인가?"에서 "이 점수는 얼마나 견고할 가능성이 높은가?"로 전환한다.