Auditable decision assurance for operational Earth-observation services: The SENTINEL-HS framework

Resumen Técnico: Aseguramiento de Decisiones Auditable para Servicios Operativos de Observación de la Tierra

Planteamiento del Problema
Los servicios operativos de observación de la Tierra (EO, por sus siglas en inglés) funcionan como cadenas de extremo a extremo que vinculan la asignación de tareas de satélites, la detección, la descarga, el procesamiento en tierra, la analítica y la toma de decisiones terrestres. Existe una brecha crítica en los métodos de aseguramiento actuales: un producto puede ser geométricamente válido pero operativamente inútil debido a factores como la edad excesiva (latencia), la trazabilidad débil (proveniencia), la relevancia de la tarea deficiente o la incertidumbre del modelo no cuantificada. La literatura existente aborda estos problemas de forma aislada —la puntualidad en la teoría de la información, la calidad en la teledetección y la trazabilidad en los estándares— pero carece de un método compacto para monitorear toda la cadena de "espacio a decisión". Además, el aseguramiento de las decisiones debe evitar la "aceptación ciega" o el "rechazo automático", requiriendo un sistema que haga visibles los falsos positivos y los supuestos de modelado para los analistas humanos.

Metodología: El Marco SENTINEL-HS
El artículo introduce SENTINEL-HS, un marco de aseguramiento de decisiones auditable diseñado para monitorear seis dimensiones específicas del servicio. Es distinto de la familia de misiones Sentinel de la ESA y no evalúa la salud de la nave espacial ni el rendimiento orbital; su alcance comienza con una solicitud operativa y sigue el producto a través de su entrega y uso.

1. Ontología de Aseguramiento de Seis Dimensiones:
   El sistema monitorea un vector $x(t)$ que comprende seis déficits normalizados ($r \in [0,1]$):

   • Puntualidad ($r_T$): Retraso en la asignación, edad de adquisición, descarga y latencia de procesamiento.
   • Calidad de Imagen ($r_Q$): Nubes/bruma, speckle, resolución y georregistro.
   • Proveniencia ($r_P$): Identidad de la plataforma/sensor, tiempo de adquisición, versiones de procesamiento y verificaciones de integridad.
   • Relevancia de la Tarea ($r_R$): Cobertura de área, ajuste de clase, escala y alineación de plazos.
   • Incertidumbre del Modelo ($r_U$): Calibración, desacuerdo de ensamble y puntuaciones de fuera de distribución (out-of-distribution).
   • Continuidad de Entrega ($r_C$): Disponibilidad de estaciones terrestres/API, antigüedad de la cola y autenticación.

2. Lógica de Fusión y Acción:

   • Reglas de Fusión: El marco emplea un complemento multiplicativo ponderado como regla por defecto, aumentado por penalizaciones de interacción entre (Calidad $\times$ Incertidumbre) y (Proveniencia $\times$ Continuidad). Esto se compara con medias aritméticas ponderadas (tanto de pesos iguales como optimizadas por calibración) para probar si la lógica no compensatoria proporciona una discriminación superior.
   • Estados de Acción: Las puntuaciones mapean a cinco estados operativos ($A0$ a $A4$), que van desde "Aceptar" hasta "Retener/Alternar". El sistema incluye anulaciones deterministas, histéresis para evitar el cambio errático de estado (chattering) y un requisito de evidencia sostenida antes de liberar un producto retenido.
   • Registro de Evidencia: Cada decisión se registra con origen, marcas de tiempo, valores del monitor y razones del activador para permitir la reconstrucción retrospectiva.

3. Verificación Sintética:
   El estudio utiliza un generador sintético en lugar de registros operativos del mundo real para las pruebas primarias.

   • Datos: Un conjunto de calibración de 50,000 estados y un conjunto de prueba separado de 150,000 estados.
   • Estados Latentes: Se definen estados "compuestos-críticos" mediante vectores de déficit latentes (por ejemplo, información obsoleta combinada con un desajuste de tarea) en lugar de puntuaciones de política, asegurando que la prueba mida la identificación de riesgos latentes.
   • Comparadores: El marco se compara contra una línea base de tres entradas de imágenes (Puntualidad, Calidad, Continuidad) optimizada independientemente y dos comparadores aritméticos de seis entradas.
   • Robustez: Las pruebas cubren 30 semillas aleatorias, variaciones de parámetros de puntuación, barridos de corte de estados críticos, experimentos temporales de misión (simulando episodios de estrés) e inyecciones de fallos de integridad (retroceso de marca de tiempo, inflación de confianza, repetición de caché obsoleta).

Resultados Clave

• Dimensionalidad vs. Regla de Fusión: El hallazgo principal es que el monitoreo de seis dimensiones es la fuente de la ganancia de rendimiento, no la regla de fusión específica.
  • Con una carga de intervención del ~10%, la línea base de imágenes (3 entradas) logró un recall de 37.8%.
  • La aritmética de seis entradas (pesos optimizados) logró un recall de 61.4%.
  • La multiplicativa de seis entradas (SENTINEL-HS por defecto) logró un recall de 59.1%.
  • La regla multiplicativa quedó efectivamente empatada con el comparador aritmético de pesos iguales y fue ligeramente superada por la regla aritmética optimizada. Esto indica que la forma multiplicativa es una elección de gobernanza (para evitar la compensación de déficits críticos) más que una superioridad de clasificación.
• Precisión y Carga de Trabajo: La precisión de la puntuación multiplicativa fue del 16.8%, lo que significa que aproximadamente cinco estados no críticos fueron señalados por cada estado crítico real. El autor identifica esto como un problema central de validación, señalando que las altas tasas de falsas alarmas pueden consumir el tiempo del analista y fomentar el desuso de la automatización.
• Estabilidad: La ventaja del enfoque de seis dimensiones sobre la línea base de imágenes se mantuvo estable (aprox. 20.7 ± 1.6 puntos porcentuales) a través de 30 semillas y varios ajustes de corte.
• Temporal e Integridad: La lógica de histéresis redujo las transiciones de estado en un 44.5% manteniendo un 94.9% de cobertura de los intervalos críticos latentes. Los monitores de integridad activaron con éxito la escalada conservadora cuando se detectaron fallos, aunque las tasas de detección se asumieron en lugar de medirse.

Significancia y Reivindicaciones
El documento limita explícicamente sus afirmaciones a la coherencia interna y la validación metodológica, evitando aseveraciones sobre la efectividad operativa o la fiabilidad de la nave espacial.

• Coherencia Interna: El estudio demuestra que se puede construir un método de aseguramiento de extremo a extremo que conecte la puntualidad, la calidad, la proveniencia, la relevancia, la incertidumbre y la continuidad en un flujo de trabajo auditable único.
• Semántica de Gobernanza: El marco proporciona una forma estructurada de hacer "visibles los falsos positivos y los supuestos de modelado", apoyando una confianza apropiada en lugar de una confianza ciega.
• Hoja de Ruta de Validación: El autor propone una hoja de ruta por etapas (Tabla 13) que va desde la verificación sintética hasta los registros de servicio retrospectivos, estudios de analistas ciegos y ensayos operativos limitados. Enfatiza que los registros de servicio retrospectivos y los estudios de analistas ciegos son necesarios antes del uso operativo.
• Modestia: El documento reconoce que las etiquetas de estados críticos son constructos sintéticos, que la precisión es baja y que la traducción de consecuencias depende de efectos de acción estipulados (no ajustados). Concluye que, si bien el marco muestra promesa en la identificación de estados compuestos-críticos latentes, su valor operativo depende de la futura validación contra datos del mundo real y retroalimentación de humanos en el bucle (human-in-the-loop).