Risk-Aware AoII-Based Scheduling with Hybrid Transmission for a Semi-Markov Source

Résumé Technique : Planification Sensible au Risque Basée sur l'AoII avec Transmission Hybride pour une Source Semi-Markovienne

Formulation du Problème
Ce travail traite d'un système de mise à jour d'état à multi-récepteurs où un émetteur surveille une source semi-markovienne à états finis et communique via des canaux sans fil sujets aux erreurs. Le système implique $K$ récepteurs, chacun nécessitant un suivi en temps réel de l'état de la source. Le défi central réside dans la prise de décision de l'émetteur à chaque intervalle de temps : rester inactif, effectuer une diffusion unicast vers un récepteur sélectionné, ou diffuser une mise à jour commune à tous les récepteurs (broadcast).

Contrairement aux métriques traditionnelles de l'Âge de l'Information (AoI) qui mesurent la fraîcheur, cette étude se concentre sur l'Âge de l'Information Incorrecte (AoII), qui quantifie la durée pendant laquelle un récepteur a opéré avec une estimation erronée de l'état de la source. Le modèle de système intègre une source semi-markovienne, où le temps de séjour dans chaque état suit une distribution générale, ce qui signifie que l'évolution future dépend à la fois de l'état actuel et du temps écoulé depuis la dernière transition.

L'objectif est de minimiser la moyenne à long terme de trois composantes :

1. L'AoII moyen pour tous les récepteurs.
2. Le ratio de risque moyen, défini comme la fraction des récepteurs dont l'AoII dépasse un seuil prescrit $\Delta_{th}$.
3. Le coût de transmission associé à l'utilisation du canal.

Méthodologie
Les auteurs formulent le problème comme un processus de décision markovien (MDP) à coût moyen et à états finis. L'espace d'états comprend l'état augmenté de la source (état actuel et temps de séjour écoulé), l'information décodée côté récepteur (suivie via le retour ACK) et les valeurs d'AoII pour chaque récepteur.

Deux approches de politique distinctes sont développées pour résoudre le MDP :

1. Politique Basée sur le Modèle (SSP) : Utilisant l'algorithme de l'itération de valeur relative (RVIA), cette approche suppose une connaissance complète de la dynamique de la source et des statistiques du canal. Elle calcule une politique de planification stationnaire qui associe de manière optimale les états aux actions (inactif, unicast ou broadcast).
2. Politique Sans Modèle (LSP) : Pour les scénarios où la dynamique du système est inconnue, un réseau Deep Q-Network (DQN) est employé. Cette politique d'apprentissage prend l'état du système en entrée et apprend la fonction de valeur d'action pour approximer les décisions de planification optimales sans modèle de transition explicite.

Ces politiques proposées sont comparées à deux bases heuristiques :

• Politique Unicast de l'AoII Maximum (MAUP) : Effectue toujours un unicast vers le récepteur ayant l'AoII le plus élevé.
• Politique de Diffusion Basée sur un Seuil (TBP) : Diffuse (broadcast) si le nombre de récepteurs en « état de risque » (AoII > $\Delta_{th}$) dépasse un seuil $m$ ; sinon, elle effectue un unicast vers le récepteur ayant l'AoII le plus élevé.

Résultats Clés
Les simulations numériques démontrent les conclusions suivantes :

• Supériorité de Performance : Les politiques SSP et LSP (apprise) surpassent significativement les bases MAUP et TBP en termes de coût moyen et d'AoII moyen. La politique LSP capture avec succès les compromis de planification sans nécessiter de connaissance explicite du modèle de transition.
• Gestion du Risque : L'augmentation du paramètre de poids du risque $\gamma$ dans la fonction de coût permet aux politiques proposées de réduire de manière adaptative le ratio de risque moyen. La SSP atteint le ratio de risque le plus bas, tandis que la LSP s'en rapproche, confirmant que la formulation sensible au risque contrôle efficacement l'occurrence des états à AoII élevé.
• Utilité de la Transmission Hybride : La politique apprise exploite dynamiquement les modes unicast et broadcast. À mesure que le nombre de récepteurs augmente, l'ordonnanceur devient plus agressif dans l'utilisation du canal. Le choix entre l'unicast (probabilité de succès plus élevée pour un récepteur spécifique) et le broadcast (probabilité de succès plus faible mais bénéficiant à plusieurs récepteurs) est optimisé en fonction du compromis de fiabilité et du nombre de récepteurs en état de risque.
• Impact de la Loi de Temps de Séjour : L'étude compare trois distributions de temps de séjour (géométrique, déterministe et loi de puissance tronquée) avec des temps de séjour moyens identiques. Les résultats indiquent que la loi spécifique du temps de séjour affecte considérablement la performance de la planification, même lorsque la moyenne est fixe. La formulation semi-markovienne proposée capture ces nuances, alors que les modèles supposant des lois de temps de séjour spécifiques (comme les modèles de Markov standards) omettraient cette dépendance.

Signification et Revendications
L'article affirme que sa principale contribution est la formulation d'un problème de planification sensible au risque qui va au-delà de la simple fraîcheur de mise à jour (AoI) pour considérer la correction des estimations des récepteurs et le risque opérationnel d'une erreur prolongée. En intégrant directement la dynamique de la source semi-markovienne dans l'état de la planification, les politiques proposées tiennent compte du temps de séjour écoulé, ce qui est crucial pour les processus physiques où la persistance de l'état varie.

Le travail démontre qu'une transmission hybride adaptative (basculement entre unicast et broadcast) pilotée par l'AoII et les métriques de risque produit des performances supérieures par rapport aux stratégies fixes ou purement basées sur l'AoI. De plus, les résultats soulignent que la loi statistique sous-jacente du temps de séjour de la source est un facteur critique de la performance du système, validant la nécessité d'utiliser des modèles semi-markoviens plutôt que des approximations markoviennes plus simples pour de telles applications de suivi en temps réel.