Risk-Aware AoII-Based Scheduling with Hybrid Transmission for a Semi-Markov Source

Resumo Técnico: Escalonamento Baseado em AoII Consciente de Risco com Transmissão Híbrida para uma Fonte Semi-Markoviana

Formulação do Problema
Este trabalho aborda um sistema de atualização de múltiplos receptores onde um transmissor monitora uma fonte semi-markoviana de estados finitos e se comunica através de canais sem fio sujeitos a erros. O sistema envolve $K$ receptores, cada um exigindo o rastreamento em tempo real do estado da fonte. O desafio central reside na tomada de decisão do transmissor em cada slot de tempo: permanecer ocioso, realizar um unicast de uma atualização para um único receptor selecionado ou realizar um broadcast de uma atualização comum para todos os receptores.

Ao contrário das métricas tradicionais de Idade da Informação (AoI), que medem o frescor, este estudo foca na Idade da Informação Incorreta (AoII), que quantifica a duração durante a qual um receptor operou com uma estimativa incorreta do estado da fonte. O modelo do sistema incorpora uma fonte semi-markoviana, onde o tempo de permanência em cada estado segue uma distribuição geral, o que significa que a evolução futura depende tanto do estado atual quanto do tempo decorrido desde a última transição.

O objetivo é minimizar a média de longo prazo da soma de três componentes:

1. A média de AoII em todos os receptores.
2. A média da razão de risco, definida como a fração de receptores cujo AoII excede um limiar prescrito $\Delta_{th}$.
3. O custo de transmissão associado ao uso do canal.

Metodologia
Os autores formulam o problema como um Processo de Decisão de Markov (MDP) de custo médio de estado finito. O espaço de estados inclui o estado aumentado da fonte (estado atual e tempo de permanência decorrido), a informação decodificada no lado do receptor (rastreada via feedback ACK) e os valores de AoII para cada receptor.

Duas abordagens de política distintas são desenvolvidas para resolver o MDP:

1. Política Baseada em Modelo (SSP): Utilizando o Algoritmo de Iteração de Valor Relativo (RVIA), esta abordagem assume o conhecimento total da dinâmica da fonte e das estatísticas do canal. Ela computa uma política de escalonamento estacionária que mapeia otimamente os estados para ações (ocioso, unicast ou broadcast).
2. Política Livre de Modelo (LSP): Para cenários onde a dinâmica do sistema é desconhecida, um Deep Q-Network (DQN) é empregado. Esta política baseada em aprendizado utiliza o estado do sistema como entrada e aprende a função de valor-ação para aproximar as decisões de escalonamento ótimas sem um modelo de transição explícito.

Estas políticas propostas são comparadas com dois basais heurísticos:

• Política de Unicast de Máximo-AoII (MAUP): Sempre realiza unicast para o receptor com o maior AoII.
• Política de Broadcast Baseada em Limiar (TBP): Realiza broadcast se o número de receptores em um "estado de risco" (AoII > $\Delta_{th}$) exceder um limiar $m$; caso contrário, realiza unicast para o receptor com o maior AoII.

Resultados Principais
Simulações numéricas demonstram os seguintes achados:

• Superioridade de Desempenho: Tanto o SSP quanto o LSP aprendido superam significativamente os basais MAUP e TBP em termos de custo médio e AoII médio. O LSP captura com sucesso os compromissos de escalonamento sem exigir conhecimento explícito do modelo de transição.
• Gestão de Risco: O aumento do parâmetro de peso de risco $\gamma$ na função de custo permite que as políticas propostas reduzam adaptativamente a razão de risco média. O SSP alcança a menor razão de risco, enquanto o LSP aproxima-se deste desempenho, confirmando que a formulação consciente de risco controla efetivamente a ocorrência de estados de alto AoII.
• Utilidade da Transmissão Híbrida: A política aprendida explora dinamicamente os modos unicast e broadcast. À medida que o número de receptores aumenta, o escalonador torna-se mais agressivo no uso do canal. A escolha entre unicast (maior probabilidade de sucesso para um receptor específico) e broadcast (menor probabilidade de sucesso, mas beneficia múltiplos receptores) é otimizada com base no compromisso de confiabilidade e no número de receptores em estados de risco.
• Impacto da Lei de Tempo de Permanência: O estudo compara três diferentes distribuições de tempo de permanência (geométrica, determinística e de lei de potência truncada) com idênticos tempos médios de permanência. Os resultados indicam que a lei específica de tempo de permanência afeta significativamente o desempenho do escalonamento, mesmo quando a média é fixa. A formulação semi-markoviana proposta captura estas nuances, enquanto modelos que assumem leis de tempo de permanência específicas (como o modelo Markov padrão) perderiam esta dependência.

Significância e Alegações
O artigo afirma que sua principal contribuição é a formulação de um problema de escalonamento consciente de risco que vai além do simples frescor da atualização (AoI) para considerar a correção das estimativas dos receptores e o risco operacional de uma incorreção prolongada. Ao integrar diretamente a dinâmica da fonte semi-markoviana no estado de escalonamento, as políticas propostas levam em conta o tempo de permanência decorrido, o que é crítico para processos físicos onde a persistência do estado varia.

O trabalho demonstra que o escalonamento híbrido adaptativo (alternando entre unicast e broadcast), impulsionado por métricas de AoII e de risco, produz um desempenho superior em comparação com estratégias fixas ou puramente baseadas em AoI. Além disso, os resultados destacam que a lei estatística subjacente do tempo de permanência da fonte é um fator crítico no desempenho do sistema, validando a necessidade de utilizar modelos semi-markovianos sobre aproximações Markovianas mais simples para tais aplicações de rastreamento em tempo real.