Quantized IRS Phase Control under Limited Observation with Short-History State Stacking

Resumo Técnico: Controle de Fase de IRS Quantizado sob Observação Limitada com Empilhamento de Histórico Curto de Estados

Formulação do Problema
Este artigo aborda o controle de Superfícies Inteligentes Refletoras (IRS) de Resolução Finita em ambientes sem fio móveis, onde o controlador opera sob observação limitada. No cenário considerado, os usuários movem-se ao longo de trajetórias planares, mas o controlador não tem acesso a uma decomposição instantânea completa dos canais direto e cascateado antes de cada atualização de fase. Em vez disso, o controlador recebe um vetor de observação compacto composto por:

1. Geometria atual do usuário (posições).
2. Status de atividade do usuário (máscara de usuários ativos).
3. A configuração de IRS aplicada anteriormente.
4. Feedback agregado de link (Eficiência Espectral média, SINR média e magnitude efetiva do canal).

O desafio central é que uma única observação no tempo $t$ pode criar um aliasing de estados temporais subjacentes distintos (por exemplo, diferentes direções de movimento ou condições de link para o futuro próximo). O artigo investiga se o fornecimento explícito de um empilhamento de estado de histórico curto (uma sequência de observações recentes) para alimentar controladores de Aprendizado por Reforço Profundo (DRL) feed-forward pode melhorar o desempenho neste cenário de observabilidade parcial, sem alterar a arquitetura subjacente do controlador (como adicionar camadas recorrentes) ou a interface de ação quantizada.

Metodologia
O estudo emprega um framework comparativo controlado envolvendo seis métodos avaliados sob um modelo de feedback de síntese de trajetória determinístico e uma extensão estocástica auxiliar de canal Rician.

1. Modelo de Sistema: O ambiente consiste em uma Estação Base (BS) multiantena, uma IRS passiva de resolução finita e usuários móveis. O espaço de ação da IRS é multi-discreto, onde cada um dos $L$ elementos seleciona uma fase de um alfabeto quantizado de tamanho $M_\phi$.
2. Famílias de Controladores: O estudo compara quatro variantes de Deep Q-Network (DQN) contra duas linhas de base (baselines) não aprendentes:
   • Baselines: Aleatório Fixo (não adaptativo) e um Heurístico Geométrico (constrói fases diretamente a partir da geometria atual do caminho).
   • Controladores de Aprendizado:
     • DDQN & D3QN: Redes Q-Duais e Duais de Dueling padrão utilizando uma observação de passo único ($H=1$).
     • SEQ-DDQN & SEQ-D3QN: As mesmas arquiteturas de rede, mas utilizando um empilhamento de estado de histórico curto de $H=4$ observações consecutivas como entrada.
3. Representação de Entrada: As variantes de entrada empilhada substituem o vetor de observação de passo único $s_t$ por um vetor concatenado $\tilde{s}^{(H)}_t = [s_t; s_{t-1}; \dots; s_{t-H+1}]$. Isso aumenta a dimensão da entrada linearmente, mas mantém a estrutura de rede feed-forward.
4. Protocolo de Treinamento: Todos os controladores de aprendizado compartilham um protocolo de treinamento unificado envolvendo experience replay, alvos de Double-Q e sincronização de rede alvo (hard target network synchronization). A função de recompensa combina eficiência espectral (SE) com uma penalidade para a troca de reconfiguração de fase.

Contribuições Principais
O artigo apresenta as seguintes contribuições específicas:

• Formulação Baseada em Trajetória: Estabelece uma formulação planar para o controle de IRS de resolução finita com usuários móveis, definindo uma interface de observação de controlador compacta que exclui CSI instantâneo, mas inclui geometria e feedback agregado.
• Isolamento dos Efeitos de Entrada Temporal: Ao instanciar o empilhamento de histórico curto tanto em DDQN quanto em D3QN, mantendo a interface de ação e a família de rede fixas, o estudo isola o ganho de desempenho atribuível apenas à representação de entrada temporal explícita, distinta de mudanças arquiteturais recorrentes ou de atenção.
• Comparação Controlada de Seis Métodos: Fornece uma comparação rigorosa entre controladores de valor não adaptativos, baseados em geometria e baseados em feedback, distinguindo os ganhos provenientes da entrada temporal das capacidades inerentes do aprendizado baseado em valor versus construção geométrica.
• Caracterização de Trade-offs: O artigo analisa o equilíbrio entre o intervalo de observação, eficiência espectral, comportamento da recompensa, dimensão de entrada e custos de armazenamento de replay através de diferentes comprimentos de sequência e perfis de canal.

Resultos
Na configuração de referência (4 usuários, grade de IRS 5x5, 4 níveis de fase):

• Ganhos de Desempenho: O empilhamento de histórico curto ($H=4$) melhorou a Eficiência Espectral (SE) de janela de atraso em aproximadamente 6,9% para o par DDQN/SEQ-DDQN e 1,7% para o par D3QN/SEQ-D3QN em comparação com seus equivalentes de passo único.
• Comparação com Baseline: O Heurístico Geométrico alcançou a maior SE final e de janela de atraso entre todos os métodos no cenário determinístico. No entanto, os controladores de aprendizado alcançaram recompensas regularizadas mais altas devido às menores penalidades de troca de fase.
• Sensibilidade ao Comprimento da Sequência: A relação entre o comprimento do histórico e o desempenho foi não-monotônica. Embora o $H=4$ tenha proporcionado ganhos, aumentar o histórico para $H=8$ ou $H=16$ não melhorou consistentemente a SE e aumentou linearmente a dimensão de entrada e os custos de armazenamento.
• Robustez: Na extensão auxiliar de canal Rician (5 fluxos de desvanecimento distintos), ambas as variantes de entrada empilhada produziram diferenças de SE positivas em quatro dos cinco fluxos, embora a magnitude da melhoria tenha variado com o número de usuários e o tamanho da IRS.

Significância e Alegações
O artigo afirma que o empilhamento de estado de histórico curto serve como uma base compacta e eficaz para aprimorar controladores DRL feed-forward no controle de IRS sob observação limitada. Os resultados demonstram que:

1. O empilhamento explícito de observações recentes pode fortalecer a representação de entrada temporal sem a complexidade de redes neurais recorrentes (RNNs) ou mecanismos de atenção.
2. O benefício de desempenho é mensurável, mas dependente de configuração; não é uma melhoria universal em todos os números de usuários, tamanhos de IRS ou comprimentos de sequência.
3. A configuração proposta de $H=4$ representa um "ponto operacional compacto" que equilibra os ganhos de desempenho contra os custos de dimensionalidade e armazenamento.

Os autores enfatizam que o Heurístico Geométrico serve como um benchmark estruturado e consciente da posição, em vez de um limite teórico superior, e que os ganhos observados destacam o valor do contexto temporal no controle baseado em feedback quando o CSI instantâneo não está disponível. O trabalho futuro sugerido inclui isolar componentes específicos do histórico e comparar o empilhamento explícito contra codificadores temporais aprendidos sob modelos de canal mais ricos.