Anticipating the Optimism Gap: Predicting Distribution-Shift Degradation of RF-Impairment Detectors from In-Distribution Statistics

Resumo Técnico: Antecipando o Hiato de Otimismo em Detectores de Impedimento de RF

Definição do Problema
Na segurança de Sistemas Globais de Navegação por Satélite (GNSS), os detectores de impedimentos de radiofrequência (jamming, spoofing, multipath) são tipicamente avaliados usando uma única métrica de Área Sob a Curva ROC (AUC) derivada de dados de distribuição interna (ID). Profissionais compreendem que esse desempenho ID frequentemente superestima a eficácia no mundo real ao operar sob mudanças nas condições operacionais (ex: mudanças na severidade do sinal ou no ambiente). No entanto, a magnitude deste "hiato de otimismo" — a diferença entre a AUC ID e a AUC fora da distribuição (OOD) — raramente é previsível antecipadamente devido à escassez de dados de campo rotulados. A literatura existente de aprendizado de máquina para prever a precisão OOD foca em tarefas e modelos fixos através de distribuições de entrada, frequentemente prevendo a acurácia de classificação em vez da AUC, e raramente aborda a transferência entre diferentes arquiteturas de detectores ou classes de impedimento.

Metodologia
Os autores abordam este hiato utilizando um ambiente de teste sintético controlado e parametrizado, construído sobre o simulador de código aberto Kshana PNT-resilience.

• Construção do Ambiente de Teste: O corpus consiste em 13 detectores avaliados através de quatro classes de impedimento (jamming, spoofing de tempo, spoofing de posição, multipath) e uma classe nominal. A severidade do impedimento é controlada por uma escala escalar $(0, 1]$, onde $1.0$ representa o estado de distribuição interna e valores menores representam impedimentos cada vez mais sutis.
• Painel de Detectores: O estudo avalia cinco baselines baseados em física (detectores de observável único e um combinador), cinco detectores aprendidos de recursos completos (regressão logística e perceptrons multicamadas de diversas larguras) e três controles aprendidos de recurso único.
• Definição da Métrica: O "hiato de otimismo" ($\Delta$) é definido como a diferença entre a AUC ID e a AUC em um nível de severidade deslocado: $\Delta(d, c, s) = \text{AUC}_c(d, 1.0) - \text{AUC}_c(d, s)$.
• Estrutura de Predição: A hipótesa central é que o hiato pode ser previsto usando apenas estatísticas ID. Os autores extraem seis características exclusivas de ID (incluindo AUC ID, separação de escore $d'$, sobreposição de distribuição, razão de variância, margem de cauda e taxa de detecção em uma taxa de falso alarme fixa) e uma sétima característica ablativa (inclinação de autoperitubação). Um modelo de regressão ridge é treinado para prever o hiato realizado para detectores e classes de impedimento retidos para teste.
• Validação: O estudo emprega validação cruzada de "deixe um detector de fora" (leave-one-detector-out) e "deixe uma classe de fora" (leave-one-class-out), testes de significância contra um nulo de permutação de rótulos de 2000 dobras e estudos de ablação para garantir que a predição não seja um artefato definicional da característica AUC ID.

Principais Descobertas

1. Crescimento Monotônico do Hiato: O hiato de otimismo cresce monotonicamente conforme o deslocamento da distribuição se aprofunda (diminuição da escala de severidade). A correlação de Spearman média entre a magnitude do deslocamento e o hiato é de 0.50 entre pares detector-classe.
2. Amplitude de Evidência vs. Aprendizado: O hiato é impulsionado pela amplitude de evidência que um detector integra, não pelo fato de o detector ser aprendido. Detectores aprendidos de recurso único degradam na mesma medida que seus correspondentes de base física. Por outro vez, detectores que combinam todos os cinco observáveis degradam significativamente menos. Isso sugere que detectores estreitos são inerentemente frágeis ao deslocamento, independentemente de seu método de treinamento.
3. Heterogeneidade de Classe: O hiato varia sistematicamente por classe de impedimento. O caso de spoofing de tempo de "potência correspondente" (o mais difícil de separar mesmo em ID) exibe o menor hiato, enquanto classes com alto desempenho ID (como spoofing de posição) mostm as maiores quedas.
4. Previsibilidade do Hiato: Um modelo ridge simples, construído exclusivamente de estatísticas ID, consegue prever o hiato para detectores e classes de impedimento que ele nunca viu.
   • Predição Cross-Detector: $R^2 = 0.47$ (RMSE = 0.028).
   • Predição Cross-Class: $R^2 = 0.46$ (RMSE = 0.029).
   • Ambos os resultados são estatisticamente significativos ($p < 0.001$) contra a permutação de rótulos e sobrevivem à remoção da característica AUC ID, confirmando que a forma da distribuição de escore (especificamente sobreposição e margem de cauda) carrega poder preditivo.

Validação com Dados Reais
Os autores pré-registraram um protocolo para testar estas descobertas em três corpora de campo abertos: capturas da Universidade de Yunnan, a campanha Jammertest 2024 e SatGrid.

• Jammertest 2024: A predição cross-detector manteve-se em dados reais ($R^2 = 0.11, p = 0.009$), embora a predição cross-class tenha falhado ($R^2 = -0.25$), provavelmente devido ao pequeno número de classes e diferenças mecanísticas.
• SatGrid: Este conjunto de dados forneceu um eixo de severidade calibrado (varredura de potência de spoofer). Confirmou que a AUC ID superestima o desempenho em severidades mais altas, com hiatos atingindo até 0.22. A direção do hiato foi perfeitamente correlacionada em ranking com a AUC ID ($\rho = 1.0$), embora o preditor quantitativo tenha sido subdimensionado devido ao número limitado de detectores e classes.
• Conclusão sobre Dados Reais: O mecanismo sobrevive ao contato com dados reais, mas com uma magnitude menor do que na simulação, consistente com condições de campo não controladas.

Significância e Alegações
O artigo afirma fornecer a primeira demonstração de que o hiato de otimismo de avaliação em detecção de RF impedida pode ser previsto para detectores não vistos e classes de impedimento não vistas usando apenas estatísticas de distribuição interna.

• Mecanismo sobre Magnitude: Os autores afirmam explicitamente que seu ambiente de teste sintético isola o mecanismo de degradação em vez de prever magnitudes exatas de campo.
• Aviso Prático: A principal lição prática é que uma alta AUC ID alcançada em uma "margem de escore fina e fortemente sobreposta" é uma assinatura de um detector que irá degradar significamente sob deslocamento. Este aviso pode ser lido antes da implantação sem exigir rótulos OOD.
• Reprodutibilidade: O estudo libera o ambiente de teste completo, front-ends de receptor de software para converter IQ bruto em recursos de correlador, adaptadores de ingestão para dados reais e um protocolo pré-registrado, garantindo que todas as alegações sejam falsificáveis em dados reais.

O trabalho não pretende resolver inteiramente o problema da escassez de dados de campo, mas oferece um método para quantificar e antecipar o risco de otimismo na seleção de detectores, mudando o foco de "qual é o melhor escore ID?" para "quão robusto este escore provavelmente será?".