Risk-Aware AoII-Based Scheduling with Hybrid Transmission for a Semi-Markov Source

Resumen Técnico: Programación Basada en AoII con Conciencia de Riesgo y Transmisión Híbrida para una Fuente Semi-Markoviana

Formulación del Problema
Este trabajo aborda un sistema de actualización de múltiples receptores donde un transmisor monitorea una fuente semi-Markoviana de estados finitos y se comunica a través de canales inalámbricos propensos a errores. El sistema involucra $K$ receptores, cada uno de los cuales requiere el seguimiento en tiempo real del estado de la fuente. El desafío central radica en la toma de decisiones del transmisor en cada intervalo de tiempo: si permanecer inactivo, realizar un unicast de una actualización a un único receptor seleccionado o realizar un broadcast de una actualización común a todos los receptores.

A diferencia de las métricas tradicionales de Edad de la Información (AoI) que miden la frescura, este estudio se centra en la Edad de la Información Incorrecta (AoII), la cual cuantifica la duración durante la cual un receptor ha operado con una estimación incorrecta del estado de la fuente. El modelo del sistema incorpora una fuente semi-Markoviana, donde el tiempo de permanencia en cada estado sigue una distribución general, lo que significa que la evolución futura depende tanto del estado actual como del tiempo transcurrido desde la última transición.

El objetivo es minimizar la suma promedio a largo plazo de tres componentes:

1. El AoII promedio en todos los receptores.
2. La relación de riesgo promedio, definida como la fracción de receptores cuyo AoII excede un umbral prescrito $\Delta_{th}$.
3. El costo de transmisión asociado con el uso del canal.

Metodología
Los autores formulan el problema como un Proceso de Decisión de Markov (MDP) de costo promedio y estado finito. El espacio de estados incluye el estado aumentado de la fuente (estado actual y tiempo de permanencia transcurrido), la información decodificada en el lado del receptor (rastreada mediante retroalimentación ACK) y los valores de AoII para cada receptor.

Se desarrollan dos enfoques de política distintos para resolver el MDP:

1. Política Basada en Modelo (SSP): Utilizando el Algoritmo de Iteración de Valor Relativo (RVIA), este enfoque asume el conocimiento completo de la dinámica de la fuente y las estadísticas del canal. Computa una política de programación estacionaria que mapea óptimamente los estados a las acciones (inactivo, unicast o broadcast).
2. Política Libre de Modelo (LSP): Para escenarios donde la dinámica del sistema es desconocida, se emplea una Red Q Profunda (DQN). Esta política basada en aprendizaje toma el estado del sistema como entrada y aprende la función de valor de acción para aproximar las decisiones de programación sin un modelo de transición explícito.

Estas políticas propuestas se comparan con dos bases heurísticas:

• Política de Unicast de Máximo AoII (MAUP): Siempre realiza unicast al receptor con el AoII más alto.
• Política de Broadcast Basada en Umbral (TBP): Realiza broadcast si el número de receptores en un "estado de riesgo" (AoII > $\Delta_{th}$) excede un umbral $m$; de lo contrario, realiza un unicast al receptor con el AoII más alto.

Resultados Clave
Las simulaciones numéricas demuestran los siguientes hallazgos:

• Superioridad de Desempeño: Tanto la SSP como la LSP aprendida superan significativamente a las bases MAUP y TBP en términos de costo promedio y AoII promedio. La LSP captura exitosamente los compromisos de programación sin requerir conocimiento explícito del modelo de transición.
• Gestión de Riesgo: El aumento del parámetro de peso de riesgo $\gamma$ en la función de costo permite que las políticas propuestas reduzcan adaptativamente la relación de riesgo promedio. La SSP logra la relación de riesgo más baja, mientras que la LSP se aproxima a este desempeño, confirmando que la formulación consciente del riesgo controla efectivamente la ocurrenidad de estados de alto AoII.
• Utilidad de la Transmisión Híbrida: La política aprendida explota dinámicamente tanto el modo unicast como el broadcast. A medida que aumenta el número de receptores, el programador se vuelve más agresivo en el uso del canal. La elección entre unicast (mayor probabilidad de éxito para un receptor específico) y broadcast (menor probabilidad de éxito pero beneficia a múltiples receptores) se optimiza basándose en el compromiso de confiabilidad y el número de receptores en estados de riesgo.
• Impacto de la Ley de Tiempo de Permanencia: El estudio compara tres distribuciones de tiempo de permanencia diferentes (geométrica, determinista y de ley de potencia truncada) con idénticos tiempos de permanencia medios. Los resultados indican que la ley específica de tiempo de permanencia afecta significativamente el desempeño de la programación, incluso cuando la media es fija. La formulación semi-Markoviana propuesta captura estos matices, mientras que los modelos que asumen leyes de tiempo de permanencia específicas (como el modelo de Markov estándar) omitirían esta dependencia.

Significancia y Reivindicaciones
El artículo afirma que su contribución principal es la formulación de un problema de programación consciente del riesgo que va más allá de la simple frescura de la información (AoI) para considerar la corrección de las estimaciones del receptor y el riesgo operativo de una incorrectitud prolongada. Al integrar directamente la dinámica de la fuente semi-Markoviana en el estado de programación, las políticas propuestas consideran el tiempo de permanencia transcurrido, lo cual es crítico para procesos físicos donde la persistencia del estado varía.

El trabajo demuestra que la transmisión híbrida adaptativa (cambiando entre unicast y broadcast) impulsada por métricas de AoII y de riesgo produce un desempeño superior comparado con estrategias de AoI puras o de tiempo fijo. Además, los resultados resaltan que la ley estadística subyacente del tiempo de permanencia de la fuente es un factor crítico en el desempeño del sistema, validando la necesidad de utilizar modelos semi-Markovianos sobre aproximaciones de Markov más simples para tales aplicaciones de seguimiento en tiempo real.