Generalizable Multi-Task Learning for Wireless Networks Using Prompt Decision Transformers

Resumo Técnico: Aprendizado Multitarefa Generalizável para Redes Sem Fio Usando Prompt Decision Transformers

Definição do Problema
As futuras redes sem fio exigem uma adaptação rápida a ambientes heterogêneos e configurações de tarefas dinâmicas, necessitando de uma mudança das abordagens de Gestão de Recursos de Rádio (RRM) baseadas em regras para abordagens impulsionadas por Inteligência Artificial (IA). Um desafio crítico de RRM é a transmissão de Multiponto Coordenado (CoMP), especificamente o problema de seleção de múltiplas células. Isso envolve determinar combinações ideais de células de serviço para Equipamentos de Usuário (UEs) para mitigar a interferência intercelular e maximizar a Qualidade de Experiência (QoE).

Embora métodos de Aprendizado por Reforço Profundo (DRL), como a Otimização de Política Próxima (PPO), tenham mostrado potencial, eles enfrentam gargalos significativos neste domínio:

1. Baixa Eficiência de Amostragem e Generalização: O RL online convencional luta contra a complexidade combinatória da seleção de múltiplas células.
2. Problemas de Escalabilidade: Mudanças na topologia da rede (por exemplo, aumentar o número de Estações Base (BSs) ou UEs) alteram os espaços de estado e ação, exigem o retreinamento custoso da política.
3. Adaptabilidade Limitada: As soluções existentes frequentemente exigem agentes separados para diferentes configurações de rede ou dependem de interações iterativas com o ambiente que são lentas para convergir em cenários altamente dinâmicos.

Metodologia: Prompt Decision Transformer (PromptDT)
Os autores propõem um framework Prompt Decision Transformer (PromptDT), que reformula o problema de seleção de múltiplas células como uma tarefa de modelagem de sequência, em vez de um problema tradicional de otimização de função de valor ou de política.

• Aprendizado Offline e Modelagem de Sequência: Ao contrário do RL online, o PromptDT aprende políticas de decisão diretamente de trajetórias históricas offline. Ele utiliza uma arquitetura Transformer (especificamente um modelo do tipo GPT, apenas decodificador) para realizar a predição autoregressiva do próximo token. A sequência de entrada consiste em Retorno-para-Ir (RTG - Return-to-Go), estados e ações.
• Aprendizado Multitarefa via Prompts: Para lidar com diversas configurações de rede (variando o número de UEs, BSs e políticas de escalonamento como Resource-Fair (ReF) e Proportional-Fair (PF)), o framework emprega prompts de trajetória específicos da tarefa.
  • Durante o treinamento, o modelo é exposto a uma mistura de tarefas. Uma trajetória de "prompt" curta ($K^*$) representando uma configuração de tarefa específica é concatenada com uma trajetória histórica mais longa ($K$).
  • O modelo aprende uma representação de política unificada que pode generalizar através dessas variações.
• Lidando com Dimensões Variáveis: Para acomodar diferentes dimensões de espaço de estado/ação entre tarefas (ex: 3 BSs vs. 7 BSs), os autores aplicam zero-padding às representações de estado e ação para igualar as dimensões máximas. O mascaramento de ação (action masking) é usado durante o treinamento e a inferência para garantir que o modelo selecione apenas ações válidas (ex: evitar conexões com BSs com SNR abaixo do limite).
• Adaptação de Poucos Disparos (Few-Shot): Durante a avaliação, o modelo seleciona uma trajetória de prompt de alta recompensa de um conjunto de demonstração para uma tarefa específica não vista, e então gera ações de forma closed-loop condicionada a este prompt e ao histórico de interação, permitindo a adaptação a novas configurações sem necessidade de retreinamento ou ajuste fino (fine-tuning).

Principais Contribuições

1. Framework Multitarefa PromptDT: O artigo introduz um framework para seleção de múltiplas células complexa em CoMP onde as tarefas variam em escalas de UE/BS e políticas de escalonamento. Ele estende trabalhos anteriores para espaços de ação multi-discretos usando perda de entropia cruzada mascarada e mascaramento de ação.
2. Generalização Robusta de Poucos Disparos: Os autores demonstram que o framework pode se adaptar a configurações de rede não vistas usando prompts de trajetória específicos da tarefa, alcançando uma generalização eficaz sem a necessidade de retreinamento.
3. Escalabilidade e Desempenho: Experimentos extensos mostem que o PromptDT escala efetivamente com o aumento da diversidade de tarefas e da capacidade do modelo, superando significativamente os baselines.

Resultos Experimentais
O framework foi avaliado usando a plataforma de simulação de código aberto mobile-env através de 12 tarefas distintas envolvendo escalas variadas (Tiny a Large) e políticas de escalonamento.

• Desempenho vs. PPO: O PromptDT superou consistentemente os baselines de PPO de tarefa única, particularmente conforme a capacidade do modelo aumentava (testado com 5M, 15M e 45M de parâmetros).
  • Em ambientes de pequena escala, os ganhos foram modestos (5–10%).
  • Em ambientes maiores e mais complexos (escalas Medium a Large), o PromptDT melhorou as recompensas em 12–30%.
  • No geral, o framework alcançou até 49% de melhoria na QoE em configurações multitarefa comparado aos baselines.
• Adaptação a Tarefas Não Vistas: Quando avaliado em tarefas não vistas durante o treinamento, o PromptDT com maiores capacidades de modelo aproximou-se ou excedeu o desempenho de agentes PPO que foram especificamente treinados para esses ambientes alvo.
• Eficiência: Os modelos demonstraram viabilidade prática para implantação em tempo real, com latências de inferência de aproximadamente 11 ms em GPUs de baixo custo e requisitos de memória de até 90 MB (FP16).

Significância e Alegações
O artigo afirma que o PromptDT oferece uma solução escalável e unificada para RRM em redes sem fio dinâmicas. Ao alavancar as forças de modelagem sequencial dos Transformers e a adaptabilidade do aprendizado baseado em prompts, o framework supera as limitações inerentes do RL convencional, como instabilidade de treinamento e os custos proibitivos de retreinamento para cada nova configuração de rede.

Os autores posicionam este trabalho como um passo em direção a aplicações nativas de IA em redes sem fio, onde um único modelo unificado pode generalizar através de múltiplas áreas operacionais e configurações de tarefa, substituindo a necessidade de manter agentes separados para cada cenário. Os resultados sugerem que o aumento da capacidade do modelo correlaciona-se diretamente com uma melhor robustez e generalização em ambientes multitarefa e de alta dimensão. O trabalho futuro sugere explorar técnicas como Mixture-of-Experts para mitigar ainda mais os conflitos de gradiente e aumentar a escalabilidade das tarefas.