Risk-Aware AoII-Based Scheduling with Hybrid Transmission for a Semi-Markov Source

Sintesi Tecnica: Programmazione Sensibile al Rischio Basata su AoII con Trasmissione Ibrida per una Sorgente Semi-Markoviana

Formulazione del Problema
Questo lavoro affronta un sistema di aggiornamento dello stato multi-ricevitore in cui un trasmettitore monitora una sorgente semi-markoviana a stati finiti e comunica attraverso canali wireless soggetti a errori. Il sistema coinvolge $K$ ricevitori, ognuno dei quali richiede il tracciamento in tempo reale dello stato della sorgente. La sfida principale risiede nel processo decisionale del trasmettitore ad ogni slot temporale: rimanere inattivo, effettuare un unicast di un aggiornamento a un singolo ricevitore selezionato o trasmettere un aggiornamento comune (broadcast) a tutti i ricevitori.

A differenza delle metriche tradizionali dell'Age of Information (AoI) che misurano la freschezza, questo studio si concentra sull'Age of Incorrect Information (AoII), che quantifica la durata durante la quale un ricevitore ha operato con una stima errata dello stato della sorgente. Il modello di sistema incorpora una sorgente semi-markoviana, in cui il tempo di permanenza in ogni stato segue una distribuzione generale, il che significa che l'evoluzione futura dipende sia dallo stato corrente sia dal tempo trascorso dall'ultima transizione.

L'obiettivo è minimizzare la media a lungo termine della somma di tre componenti:

1. L'AoII medio per tutti i ricevitori.
2. Il rapporto di rischio medio, definito come la frazione di ricevitori il cui AoII supera una soglia prestabilita $\Delta_{th}$.
3. Il costo di trasmissione associato all'uso del canale.

Metodologia
Gli autori formulano il problema come un processo decisionale di Markov (MDP) a costo medio e stato finito. Lo spazio degli stati include lo stato aumentato della sorgente (stato corrente e tempo di permanenza trascorso), l'informazione decodificata lato ricevitore (tracciata tramite il feedback ACK) e i valori di AoII per ogni ricevitore.

Vengono sviluppati due distinti approcci di policy per risolvere l'MDP:

1. Policy Basata sul Modello (SSP): Utilizzando l'algoritmo di Iterazione del Valore Relativo (RVIA), questo approccio assume la piena conoscenza della dinamica della sorgente e delle statistiche del canale. Calcola una policy di programmazione stazionaria che mappa ottimamente gli stati alle azioni (inattivo, unicast o broadcast).
2. Policy Model-Free (LSP): Per scenari in cui la dinamica del sistema è sconosciuta, viene impiegato un Deep Q-Network (DQN). Questa policy basata sull'apprendimento prende come input lo stato del sistema e apprende la funzione valore-azione per approssimare le decisioni di programmazione ottimali senza un modello di transizione esplicito.

Le policy proposte sono messe a confronto con due baseline euristiche:

• Politica di Unicast a Massimo AoII (MAUP): Effettua sempre l'unicast al ricevitore con l'AoII più elevato.
• Politica di Broadcast Basata su Soglia (TBP): Esegue il broadcast se il numero di ricevitori in uno "stato di rischio" (AoII > $\Delta_{th}$) supera una soglia $m$; altrimenti, effettua l'unicast al ricevitore con l'AoII più alto.

Risultati Chiave
Le simulazioni numeriche dimostrano i seguenti risultati:

• Superiorità delle Prestazioni: Sia la SSP che la LSP appresa superano significativamente le baseline MAUP e TBP in termini di costo medio e AoII medio. La LSP cattura con successo i compromessi di programmazione senza richiedere la conoscenza esplicita del modello di transizione.
• Gestione del Rischio: L'aumento del parametro di peso del rischio $\gamma$ nella funzione di costo permette alle policy proposte di ridurre adattivamente il rapporto di rischio medio. La SSP raggiunge il rapporto di rischio più basso, mentre la LSP si avvicina a queste prestazioni, confermando che la formulazione sensibile al rischio controlla efficacemente l'insorgenza di stati ad alto AoII.
• Utilità della Trasmissione Ibrida: La policy appresa sfrutta dinamicamente sia la modalità unicast che quella broadcast. All'aumentare del numero di ricevitori, lo scheduler diventa più aggressivo nell'uso del canale. La scelta tra unicast (maggiore probabilità di successo per un ricevitore specifico) e broadcast (minore probabilità di successo ma beneficia più ricevitori) è ottimizzata in base al compromesso di affidabilità e al numero di ricevitori in stati di rischio.
• Impatto della Legge del Tempo di Permanenza: Lo studio confronta tre diverse distribuzioni del tempo di permanenza (geometrica, deterministica e power-law troncata) con identici tempi medi di permanenza. I risultati indicano che la specifica legge del tempo di permanenza influenza significativamente le prestazioni della programmazione, anche quando la media è fissa. La formulazione semi-markoviana proposta cattura queste sfumature, mentre i modelli che assumono leggi di tempo di permanenza specifiche (come il modello Markov standard) perderebbero questa dipendenza.

Significatività e Rivendicazioni
Il documento afferma che il suo contributo principale è la formulazione di un problema di programmazione sensibile al rischio che va oltre la semplice freschezza dell'aggiornamento (AoI) per considerare la correttezza delle stime dei ricevitori e il rischio operativo di un'erroneità prolungata. Integrando direttamente la dinamica della sorgente semi-markoviana nello stato della programmazione, le policy proposte tengono conto del tempo di permanenza trascorso, elemento critico per i processi fisici in cui la persistenza dello stato varia.

Il lavoro dimostra che una trasmissione ibrida adattiva (passaggio tra unicast e broadcast) guidata da metriche di AoII e di rischio produce prestazioni superiori rispetto a strategie fisse o puramente basate su AoI. Inoltre, i risultati evidenziano che la legge statistica sottostante del tempo di permanenza della sorgente è un fattore critico per le prestazioni del sistema, validando la necessità di utilizzare modelli semi-markoviani rispetto alle più semplici approssimazioni di Markov per tali applicazioni di tracciamento in tempo reale.