Risk-Aware AoII-Based Scheduling with Hybrid Transmission for a Semi-Markov Source

Technische Samenvatting: Risicobewust AoII-gebaseerd Scheduling met Hybride Transmissie voor een Semi-Markov Bron

Probleemformulering
Dit werk behandelt een multi-ontvanger statusupdate-systeem waarbij een zender een eindtoestands semi-Markov bron monitort en communiceert over foutgevoelige draadloze kanalen. Het systeem omvat $K$ ontvangers, die elk real-time tracking vereisen van de bronstatus. De kernuitdaging ligt in de besluitvorming van de zender in elk tijdslot: ofwel inactief blijven, een unicast-update naar een geselecteerde ontvanger sturen, of een gezamenlijke update (broadcast) naar alle ontvangers verzenden.

In tegenstelling tot traditionele Age of Information (AoI) metrieken, die de versheid (freshness) meten, richt deze studie zich op de Age of Incorrect Information (AoII), die de duur kwantificeert waarin een ontvanger heeft geëxperimenteerd met een onjuiste schatting van de bronstatus. Het systeemmodel incorporeert een semi-Markov bron, waarbij de verblijftijd (dwell time) in elke toestand een algemene verdeling volgt, wat betekent dat toekomstige evolutie afhankelijk is van zowel de huidige toestand als de verstreken tijd sinds de laatste transitie.

Het doel is om de langetermijn gemiddelde som van drie componenten te minimaliseren:

1. De gemiddelde AoII over alle ontvangers.
2. De gemiddelde risicoverhouding (risk ratio), gedefinieerd als het fractie van de ontvangers waarvan de AoII een voorgeschreven drempelwaarde $\Delta_{th}$ overschrijdt.
3. De transmissiekosten geassocieerd met kanaalgebruik.

Methodologie
De auteurs formuleren het probleem als een finite-state average-cost Markov Decision Process (MDP). De toestandsruimte omvat de uitgebreide bronstatus (huidige toestand en verstreken verblijftijd), de informatie aan de ontvangerzijde (gevolgd via ACK-feedback), en de AoII-waarden voor elke ontvanger.

Er zijn twee verschillende beleidsbenaderingen ontwikkeld om de MDP op te lossen:

1. Model-gebaseerd Beleid (SSP): Gebruikmakend van het Relative Value Iteration Algorithm (RVIA), gaat deze aanpak uit van volledige kennis van de bron-dynamiek en kanaalstatistieken. Het berekent een stationair scheduling beleid dat optimaal de mapping van toestanden naar acties (inactief, unicast, of broadcast) bepaalt.
2. Model-vrij Beleid (LSP): Voor scenario's waarin de systeemdynamiek onbekend is, wordt een Deep Q-Network (DQN) ingezet. Dit leer-gebaseerde beleid neemt de systeemtoestand als input en leert de actie-waarde functie te benaderen zonder expliciete transitiemodellen.

Deze voorgestelde beleidsregels worden vergeleken met twee heuristische baselines:

• Maximum-AoII Unicast Policy (MAUP): Verzendt altijd een unicast naar de ontvanger met de hoogste AoII.
• Threshold-Based Broadcast Policy (TBP): Voert een broadcast uit als het aantal ontvangers in een "risicotoestand" (AoII > $\Delta_{th}$) een drempelwaarde $m$ overschrijdt; anders voert het een unicast uit naar de ontvanger met de hoogste AoII.

Belangrijkste Resultaten
Numerieke simulaties tonen de volgende bevindingen aan:

• Prestatie-superioriteit: Zowel de SSP als de geleerde LSP presteren significant beter dan de MAUP en TBP baselines in termen van gemiddelde kosten en gemiddelde AoII. De LSP slaagt erin de scheduling trade-offs te vangen zonder expliciete kennis van het transitiemodel te vereisen.
• Risicobeheer: Het verhogen van de risico-wegingsparameter $\gamma$ in de kostenfunctie stelt de voorgestelde beleidsregels in staat om de gemiddelde risicoverhouding adaptief te verlagen. De SSP bereikt de laagste risicoverhouding, terwijl de LSP deze prestatie benadert, wat bevestigt dat de risico-bewuste formulering het voorkomen van hoge-AoII toestanden effectief controleert.
• Nut van Hybride Transmissie: Het geleerde beleid maakt dynamisch gebruik van zowel unicast als broadcast modi. Naarmate het aantal ontvangers toeneemt, wordt de scheduler agressiever in kanaalgebruik. De keuze tussen unicast (hogere succeswaarschijnlijkheid voor een specifieke ontvanger) en broadcast (lagere succeswaarschijnlijkheid maar profiteert van meerdere ontvangers) wordt geoptimaliseerd op basis van de betrouwbaarheid-trade-off en het aantal ontvangers in risicostanden.
• Impact van de Dwell-Time Wet: De studie vergelijkt drie verschillende verblijftijd-verdelingen (geometrisch, deterministisch en afgekapte power-law) met identieke gemiddelde verblijftijden. De resultaten geven aan dat de specifieke wet van de verblijftijd de scheduling-prestaties aanzienlijk beïnvloedt, zelfs wanneer het gemiddelde gelijk blijft. De voorgestelde semi-Markov formulering vangt deze nuances op, terwijl modellen die uitgaan van specifieke verblijftijd-wetten (zoals standaard Markov) deze afhankelijkheid zouden missen.

Betekenis en Claims
Het artikel claimt dat de primaire bijdrage de formulering is van een risicobewust scheduling probleem dat verder gaat dan eenvoudige update-versheid (AoI) door ook de correctheid van ontvanger-schattingen en het operationele risico van langdurige onjuistheid te overwegen. Door de semi-Markov bron-dynamiek direct in de scheduling toestand te integreren, houden de voorgestelde beleidsregels rekening met de verstreken verblijftijd, wat cruciaal is voor fysieke processen waarbij de persistentie van een toestand varieert.

Het werk demonstreert dat adaptieve hybride transmissie (schakelen tussen unicast en broadcast), gestuurd door AoII en risico-metrieken, superieure prestaties oplevert vergeleken met vaste of puur op AoI gebaseerde strategieën. Bovendien benadrukken de resultaten dat de onderliggende statistische wet van de verblijftijd van de bron een kritieke factor is voor de systeemprestaties, wat de noodzaak van het gebruik van semi-Markov modellen boven simpelere Markov benaderingen valideert voor dergelijke real-time tracking toepassingen.