How Stable Is a PNT Resilience Score? Decision-Instability of Single-Number Resilience Ratings under Framework-Aligned Weighting

Resumo Técnico: Instabilidade de Decisão de Classificações de Resiliência PNT de Número Único

Definição do Problema
Os atuais frameworks de resiliência de Posicionamento, Navegação e Tempo (PNT) — especificamente o DHS Resilient PNT Conformance Framework (RPCF) v2.0, o modelo Resist-Detect-Respond-Recover (RDRR) e os critérios de Yang — definem a resiliência conceitualmente, mas carecem de um motor de medição quantitativa. Eles dependem de autoatestação, listas de verificação ou níveis de maturidade qualitativos (0–4). Isso cria uma lacuna onde proprietários de sistemas declaram conformidade, mas os resultados em pontuações de número único ou níveis não são nem reproduzíveis nem baseados em evidências. O artigo identifica um perigo específico ao colapsar realidades multidimensionais e de trade-offs físicos (ex: precisão vs. robustez) em uma única pontuação composta ou nível, observando que tais colapsos são sensíveis a escolhas arbitrárias de ponderação e podem ser manipulados por declaração em vez de comportamento medido.

Metodologia
Os autores construíram um motor de pontuação aberto e determinístico alinhado ao RPCF v2.0, RDRR e aos critérios de Yang para gerar uma "camada de medição ausente".

• Painel de Arquitetura: Sete arquiteturas distintas de PNT foram modeladas, variando de GNSS de banda única e GNSS de banda múltipla a híbridos GNSS-inerciais, uma variante endurecida contra spoofing, um "tigre de papel" (paper-tiger) de banda única (que declara todas as sete técnicas do RPCF sem a capacidade subjacente) e uma arquitetura genuinamente diversa (GNSS, inercial, relógio, eLoran).
• Ensemble de Ameaças: Cinco cenários de ameaça foram simulados: nominal, interferência de banda larga (jamming), spoofing, meaconing e um ataque combinado.
• Mecanismo de Pontuação:
  • Sub-pontuações: Cada arquitetura foi reduzida a resumos de comportamento (manutenção de tempo/holdover, disponibilidade, AUC de detecção, integridade, flag de degradação limitada). Estes impulsionaram as sub-pontuações para as sete categorias do RPCF. Notavelmente, as categorias procedimentais (Obfuscar, Limitar, Isolar) foram impulsionadas pela presença declarada, enquanto as categorias funcionais (Verificar, Diversificar, Mitigar, Recuperar) foram impulsionadas por resultados de simulação medidos.
  • Pontuação Composta: Uma média ponderada das sete sub-pontuações do RPCF.
  • Nível de Maturidade: Uma escada de "elo mais fraco" operacionalizada (mínimo de sub-pontuação) com um portão de degradação limitada, distinta da definição qualitativa do RPCF.
• Análise de Estabilidade: O estudo amostrou ponderações de dimensões de uma distribuição de Dirichlet simétrica (variando a concentração $\alpha$ de 1 a 20) e avaliou a estabilidade do vencedor de topo e do nível de maturidade atribuído. As métricas incluíram taxas de inversão do top-1, o tau de Kendall para concordância de ranking e intervalos de ranking. A robustez foi testada via perturbações de $\pm 20\%$ de todos os direcionadores de comportamento.

Principais Contribuições

1. Motor de Medição: Um motor determinístico e aberto que mapeia o comportamento PNT simulado para sub-pontuações rastreáveis por dimensão com proveniência (validado vs. modelado).
2. Quantificação de Estabilidade: Uma quantificação rigorosa da instabilidade de decisão para classificações de resiliência PNT de número único, aplicando análise de sensibilidade de indicadores compostos ao domínio PNT.
3. Protocolo de Relatório: Uma proposta para substituir pontuações únicas por sub-pontuações por dimensão, intervalos de ranking e níveis específicos de cenário.

Resultos
O estudo produz três descobertas primárias em relação à estabilidade das classificações de resiliência:

• Instabilidade de Ponderação (H1a): A estabilidade de um vencedor composto único depende fortemente da ponderação prévia.
  • Sob negação ativa (jamming, spoofing), a arquitetura genuinamente diversa domina independentemente da ponderação (estável em ~99% dos sorteios).
  • Sob condições nominais (sem negação), a reponderação sozinha inverte o vencedor em 22% dos sorteios. Neste regime, um receptor "tigre de papel" em conformidade com a lista de verificação compete com sistemas robustos, e o vencedor depende inteiramente de quais dimensões são ponderadas.
  • A instabilidade está concentrada no "meio contestado" do ranking; as arquiteturas do topo e da base permanecem relativamente estáveis.
• Dependência de Nível de Ameaça (H1b): Um único Nível de maturidade não é uma propriedade da arquitetura, mas da ameaça assumida.
  • Usando a operacionalização de "elo mais fraco", a mesma arquitetura diversa foi classificada como Nível 3 sob jamming/spoofing, Nível 2 sob meaconing e Nível 0 sob condições nominais (onde nenhuma recuperação é demonstrada).
  • Esta instabilidade é invariante à ponderação; ela surge porque a regra de mínimo sobre categorias é impulsionada pelo cenário de ameaça, não pelo método de agregação.
• Declaração vs. Medição (H2): A autoatestação pode ser manipulada.
  • Um receptor "tigre de papel" declarando as sete técnicas do RPCF obteve 0,69 (segundo lugar) sob condições nominais, superando um sistema GNSS-inercial genuinamente resiliente (0,34).
  • No entanto, sob cenários de negação, o "tigre de papel" falhou completamente (Nível 0, degradação ilimitada), enquanto o sistema diverso manteve alta resiliência. Isso demonstra que pontuações compostas que recompensam técnicas declaradas podem mascarar uma falta total de resiliência medida.
• Redundância Aparente vs. Efetiva (H3): A redundância aparente é ilusória sob falha de modo comum.
  • Um arranjo de quatro GNSS com quatro fontes aparentemente independentes colapsou para uma diversidade efetiva de 1,0 quando atribuído a um único domínio de falha de modo comum de GNSS.
  • Em contraste, a arquitetura genuinamente diversa manteve uma diversidade efetiva de 3,9. O motor de pontuação separou com sucesso a contagem bruta de fontes da diversidade efetiva com base nos domínios de falha.

Significância e Alegações
O artigo argumenta que uma pontuação de resiliência PNT de número único é uma métrica "fantasma" que é segura apenas quando um design claramente domina (um cenário onde a métrica é desnecessária), mas é instável e enganosa em casos contestados onde os tomadores de decisão realmente precisam de orientação.

Os autores alegam que:

1. Números únicos são insuficientes: Eles obscurecem trade-offs críticos, dependências de ameaça e a lacuna entre a postura declarada e o comportamento medido.
2. Disciplina de relatório é necessária: Os interessados devem relatar sub-pontuações por dimensão com proveniência (validado vs. modelado), intervalos de ranking através de ponderações defensáveis e níveis de maturidade específicos para cenários de ameaça.
3. Honestidade sobre Certificação: O motor proposto é uma "autoavaliação derivada de simulação", não uma certificação. Seu valor reside em sua transparência (código aberto, verificado por oráculo, versionado) e em seu rifi de reivindicar autoridade, fornecendo um "relato honesto de incerteza" para compradores e seguradores céticos.

As conclusões sustentam-se sob perturbações de $\pm 20\%$ dos direcionadores do modelo, embora os autores notem que a robustez em relação à forma funcional e aos limiares de decisão específicos (ex: cortes de AUC de detecção) permanece uma questão aberta. O trabalho alinha-se com, mas não substitui, os frameworks existentes como RPCF v2.0 ou IEEE P1952, oferecendo uma camada de medição para apoiá-los.