How Stable Is a PNT Resilience Score? Decision-Instability of Single-Number Resilience Ratings under Framework-Aligned Weighting

Resumen Técnico: Inestabilidad de Decisión de las Calificaciones de Resiliencia PNT de Número Único

Planteamiento del Problema
Los marcos actuales de resiliencia de Posicionamiento, Navegación y Tiempo (PNT) —específicamente el Marco de Conformidad de PNT Resiliente (RPCF) v2.0 del DHS, el modelo Resist-Detect-Respond-Recover (RDRR) y los criterios de Yang— definen la resiliencia conceptualmente pero carecen de un motor de medición cuantitativa. Dependen de la autoatestación, listas de verificación o niveles de madurez cualitativos (0–4). Esto crea una brecha donde los propietarios de sistemas declaran conformidad, pero los resultinges puntajes de número único o niveles de madurez no son ni reproducibles ni basados en evidencia. El documento identifica un peligro específico al colapsar realidades multidimensionales y de compensación física (por ejemplo, precisión frente a robustez) en un único puntaje compuesto o nivel, señalando que tales colapsos son sensibles a elecciones de ponderación arbitrarias y pueden ser manipulados mediante la declaración en lugar de la medición del comportamiento.

Metodología
Los autores construyeron un motor de puntuación abierto y determinista alineado con RPCF v2.0, RDRR y los criterios de Yang para generar una "capa de medición faltante".

• Panel de Arquitectura: Se modelaron siete arquitecturas de PNT distintas, que van desde GNSS de banda única y GNSS de banda múltiple hasta híbridos GNSS-inerciales, una variante endurecida contra el spoofing, un "papel de tigre" (paper-tiger) de banda única (que declara las siete técnicas de RPCF sin la capacidad subyacente) y una arquitectura genuinamente diversa (GNSS, inercial, reloj, eLoran).
• Ensamble de Amenazas: Se simularon cinco escenarios de amenazas: nominal, interferencia de banda ancha (wideband jamming), spoofing, meaconing y un ataque combinado.
• Mecanismo de Puntuación:
  • Sub-puntajes: Cada arquitectura se redujo a resúmenes de comportamiento (tiempo de retención o holdover, disponibilidad, AUC de detección, integridad, bandera de degradación acotada). Estos impulsaron los sub-puntajes para las siete categorías de RPCF. Notablemente, las categorías procedimentales (Ofuscar, Limitar, Aislar) fueron impulsadas por la presencia declarada, mientras que las categorías funcionales (Verificar, Diversificar, Mitigar, Recuperar) fueron impulsadas por los resultados de la simulación medidos.
  • Puntaje Compuesto: Una media ponderada de los siete sub-puntajes de RPCF.
  • Nivel de Madurez: Una escala de "eslabón más débil" operacionalizada (mínimo sub-puntaje) con una compuerta de degradación acotada, distinta de la definición cualitativa de RPCF.
• Análisis de Estabilidad: El estudio muestreó las ponderaciones de las dimensiones desde una distribución de Dirichlet simétrica (variando la concentración $\alpha$ de 1 a 20) y evaluó la estabilidad del ganador de la primera posición y el nivel de madurez asignado. Las métricas incluyeron tasas de cambio del top-1, el tau de Kendall para el acuerdo de rango y rangos de clasificación. La robustez se probó mediante perturbaciones del $\pm 20\%$ de los impulsores de comportamiento.

Contribuciones Clave

1. Motor de Medición: Un motor de puntuación abierto y determinista que mapea el comportamiento de PNT simulado a sub-puntajes trazables por dimensión con procedencia (validado vs. modelado).
2. Cuantificación de la Estabilidad: Una cuantificación rigurosa de la inestabilidad de decisión para las calificaciones de resiliencia PNT de número único, aplicando el análisis de sensibilidad de indicadores compuestos al dominio de PNT.
3. Protocolo de Reporte: Una propuesta para reemplazar los puntajes únicos con sub-puntajes por dimensión, rangos de clasificación y niveles específicos por escenario.

Resultos
El estudio arroja tres hallazgos principales respecto a la estabilidad de las calificaciones de resiliencia:

• Inestabilidad de Ponderación (H1a): La estabilidad de un ganador compuesto único depende fuertemente del prior de ponderación.
  • Bajo denegación activa (interferencia, spoofing), la arquitectura genuinamente diversa domina independientemente de la ponderación (estable en ~99% de las extracciones).
  • Bajo condiciones nominales (sin denegación), la re-ponderación por sí sola cambia al ganador en el 22% de las extracciones. En este régimen, un receptor de "papel de tigre" que cumple con la lista de verificación compite con sistemas robustos, y el ganador depende enteramente de qué dimensiones se ponderen.
  • La inestabilidad se concentra en el "medio en disputa" del ranking; las arquitecturas superior e inferior permanecen relativamente estables.
• Dependencia de la Amenaza del Nivel (H1b): Un Nivel de madurez único no es una propiedad de la arquitectura, sino de la amenaza asumida.
  • Utilizando la operacionalización de "eslabón más débil", la misma arquitectura diversa fue calificada como Nivel 3 bajo interferencia/spoofing, Nivel 2 bajo meaconing y Nivel 0 bajo condiciones nominales (donde no se demuestra recuperación).
  • Esta inestabilidad es invariante a la ponderación; surge porque la regla de mínimo sobre categorías es impulsada por el escenario de amenaza, no por el método de agregación.
• Declaración vs. Medición (H2): La autoatestación puede ser manipulada.
  • Un receptor de "papel de tigre" que declara las siete técnicas de RPCF obtuvo un 0.69 (segundo lugar) bajo condiciones nominales, superando a un sistema GNSS-inercial genuinamente resiliente (0.34).
  • Sin embargo, bajo escenarios de denegación, el "papel de tigre" falló completamente (Nivel 0, degradación no acotada), mientras que el sistema diverso mantuvo una alta resiliencia. Esto demuestra que los puntajes compuestos que premian las técnicas declaradas pueden ocultar una falta total de resiliencia medida.
• Redundancia Aparente vs. Efectiva (H3): La redundancia aparente es ilusoria bajo un fallo de modo común.
  • Un arreglo de cuatro fuentes GNSS, con cuatro fuentes aparentemente independientes, colapsó a una diversidad efectiva de 1.0 cuando se le asignó a un único dominio de fallo de modo común de GNSS.
  • En contraste, la arquitectura genuinamente diversa mantuvo una diversidad efectiva de 3.9. El motor de puntuación logró separar el recuento de fuentes brutas de la diversidad efectiva basándose en los dominios de fallo.

Significancia y Reivindicaciones
El documento argumenta que un puntaje de resiliencia PNT de número único es una métrica "fantasma" que es segura solo cuando un diseño claramente domina (un escenario donde la métrica es innecesaria), pero es inestable y engañosa en casos disputados donde los tomadores de decisiones realmente necesitan orientación.

Los autores afirman que:

1. Los números únicos son insuficientes: Obscurecen las compensaciones críticas, las dependencias de las amenazas y la brecha entre la postura declarada y el comportamiento medido.
2. Se requiere disciplina de reporte: Los interesados deben reportar sub-puntajes por dimensión con procedencia (validado vs. modelado), rangos de clasificación a través de ponderaciones defendibles y niveles de madurez específicos para escenarios de amenaza.
3. Honestidad sobre Certificación: El motor propuesto es una "auto-evaluación derivada de simulación", no una certificación. Su valor reside en su transparencia (código abierto, verificado por oráculo, versionado) y en su negativa a reclamar autoridad, proporcionando un "relato honesto de la incertidumbre" para compradores e aseguradores escépticos.

Las conclusiones se mantienen bajo perturbaciones del $\pm 20\%$ de los impulsores del modelo, aunque los autores señalan que la robustez ante la forma funcional y los umbrales de decisión específicos (por ejemplo, los cortes de AUC de detección) sigue siendo una cuestión abierta. Este trabajo se alinea con, pero no reemplaza, los marcos existentes como RPCF v2.0 o IEEE P1952, ofreciendo una capa de medición para apoyarlos.