⚡ electrical engineering

Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

Este artigo propõe um framework de aprendizado por reforço profundo distribuído e multiagente para MIMO massivo sem células em O-RAN que determina eficientemente matrizes de precodificação para maximizar a taxa agregada e atender aos requisitos de taxa dos usuários, ao mesmo tempo em que reduz significativamente a sobrecarga de sinalização em comparação com esquemas centralizados e supera os métodos distribuídos existentes.

Autores originais: Mohammad Hossein Shokouhi, Vincent W. S. Wong

Publicado 2026-05-04

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mohammad Hossein Shokouhi, Vincent W. S. Wong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma rede sem fio massiva como uma enorme e movimentada sala de concertos. Nesta sala, há centenas de pequenos alto-falantes (chamados O-RUs) espalhados por toda parte, e milhares de membros da plateia (chamados usuários) tentando ouvir suas músicas favoritas com clareza.

Nos velhos tempos, a sala de concertos tinha um único sistema de som gigante no centro. Mas esse sistema lutava quando a sala ficava grande demais ou muito cheia; algumas pessoas ouviam a música perfeitamente, enquanto outras no fundo ou nos cantos ouviam apenas estática.

Este artigo propõe uma nova maneira de conduzir o concerto: Cell-Free Massive MIMO. Em vez de um único alto-falante grande, cada pequeno alto-falante trabalha em conjunto para direcionar o som diretamente para membros específicos da plateia. O objetivo é garantir que todos ouçam sua música alto e claro, sem que o som da música de uma pessoa abafar a do vizinho (isso é chamado de interferência).

No entanto, fazer centenas de alto-falantes coordenarem-se perfeitamente é incrivelmente difícil. É como tentar fazer um coral de 1.000 pessoas cantar em perfeita harmonia sem um maestro gritando instruções para todos de uma vez. Se todos tentarem falar entre si para coordenar, as linhas de comunicação ficam congestionadas (muita sobrecarga de sinalização). Se apenas adivinharem, a música soa confusa.

O Problema: O "Maestro" vs. o "Caos"

Os pesquisadores analisaram duas maneiras existentes de resolver isso:

O Maestro Centralizado: Um super-cérebro (um computador central) calcula exatamente o que cada alto-falante deve fazer. Isso funciona bem para grupos pequenos, mas se o grupo ficar grande demais, o cérebro fica sobrecarregado, e as instruções demoram muito para chegar.
Os Cantores Independentes: Cada alto-falante decide o que fazer por conta própria. Isso é rápido, mas sem coordenação, eles frequentemente pisam nos pés uns dos outros, causando uma bagunça de ruídos.

A Solução: Uma Equipe Inteligente e Multi-Tier

Os autores propõem um novo framework que se encaixa em uma arquitetura de rede moderna chamada O-RAN (Rede de Acesso Rádio Aberta). Pense no O-RAN como um sistema de gerenciamento inteligente que permite que diferentes partes da rede conversem entre si de forma eficiente.

Sua solução é um framework de Aprendizado por Reforço Profundo Multi-Agente (DRL). Eis como funciona, usando uma analogia criativa:

1. O "Especialista" e o "Estudante"

Imagine um maestro mestre (o Algoritmo Iterativo) que conhece a maneira perfeita de organizar a música, mas é muito lento e cansado. Ele precisa calcular matemática complexa para cada nota.

A Inovação: Em vez de pedir ao mestre para fazer os cálculos a cada segundo, os pesquisadores treinaram uma equipe de estudantes de IA (os Agentes DRL) para observar o mestre e aprender sua "intuição".
A IA não tenta calcular a música inteira do zero. Em vez disso, ela aprende a tomar algumas decisões inteligentes e rápidas (como ajustar o volume ou o tempo) com base no que o mestre teria feito. Isso é chamado de usar "conhecimento especializado".

2. O Relógio de Três Velocidades (Multi-Escala de Tempo)

O artigo introduz uma maneira inteligente de lidar com o tempo, como um relógio com três velocidades diferentes:

O Relógio Lento (Loop Não-RT): De vez em quando (a cada poucos segundos), o "Mestre" (um treinador central de IA) atualiza a estratégia geral dos estudantes. Ele ensina-lhes como lidar com grandes mudanças na plateia.
O Relógio Médio (Loop Near-RT): A cada poucos milissegundos, os estudantes (executando em um controlador central) ajustam rapidamente os "botões de volume" e o "tempo" para todo o grupo com base na densidade atual da plateia.
O Relógio Rápido (Loop RT): A cada milissegundo, os alto-falantes locais (O-RUs) fazem pequenos ajustes instantâneos em seus feixes para atingir perfeitamente os membros da plateia em movimento. Eles usam os "botões de volume" definidos pelos estudantes para fazer isso instantaneamente.

3. O "Aperto de Mão Secreto" (Coordenação Distribuída)

Em vez de cada alto-falante gritar para todos os outros alto-falantes (o que congestionaria a rede), os alto-falantes falam apenas com seus vizinhos imediatos e um gerente local.

Eles compartilham apenas informação suficiente para evitar pisar nos pés uns dos outros.
Isso é como um grupo de dançarinos que conhece a coreografia. Eles não precisam perguntar a toda a sala o que fazer; apenas observam a pessoa ao lado e a música, e sabem exatamente para onde se mover.

Os Resultados: O Que Eles Encontraram?

Os pesquisadores realizaram simulações para ver quão bem esse novo "coral conduzido por IA" se saiu em comparação com os métodos antigos:

Melhor Qualidade de Som: O novo sistema entregou até 50% a mais de dados totais (throughput) do que os antigos métodos distribuídos onde os alto-falantes agiam sozinhos.
Tão Bom Quanto o Mestre: Desempenhou quase tão bem quanto o "Maestro Centralizado" (o método perfeito, mas lento), mas foi muito mais rápido.
Menos Tráfego: Como os alto-falantes não precisavam gritar instruções para o cérebro central constantemente, o tráfego de rede (sobrecarga de sinalização) foi reduzido em até 99,8%. É como substituir mil telefonemas por uma única mensagem de texto.
Adaptável: Se um usuário precisar repentinamente de uma conexão mais rápida (como mudar de ouvir um podcast para assistir a um filme em 4K), o sistema ajusta-se automaticamente para atender a essa necessidade sem travar.
Robusto: Mesmo que os alto-falantes não consigam ouvir a plateia perfeitamente (devido a ruído ou "estimativa imperfeita do canal"), o sistema de IA é surpreendentemente bom em adivinhar os movimentos certos, muitas vezes superando os métodos matemáticos tradicionais em ambientes ruidosos.

Em Resumo

Este artigo apresenta uma maneira inteligente e escalável de gerenciar uma rede sem fio massiva. Em vez de depender de um cérebro central lento e sobrecarregado ou de um grupo caótico de alto-falantes independentes, eles criaram uma equipe de agentes de IA que aprendem com matemática especializada, mas agem rapidamente e localmente. Eles coordenam-se apenas o suficiente para evitar ruído, garantindo que todos na "sala de concertos" recebam um sinal claro e de alta qualidade, mesmo quando a multidão é enorme e se move rapidamente.

1. Declaração do Problema

O artigo aborda o desafio da precodificação em sistemas Massive MIMO sem Célula integrados na arquitetura de Rede de Acesso Rádio Aberta (O-RAN).

Contexto: No Massive MIMO sem Célula, múltiplas Unidades de Rádio Abertas (O-RUs) servem usuários colaborativamente para garantir cobertura uniforme e alta capacidade. A precodificação é crítica para direcionar feixes e mitigar a interferência entre usuários.
O Desafio:
- Esquemas centralizados (e.g., Forçamento Zero Regularizado Centralizado, C-RZF) oferecem alto desempenho, mas sofrem com problemas de escalabilidade, alta complexidade computacional e sobrecarga excessiva de sinalização na interface E2 (entre O-DUs e RICs).
- Esquemas totalmente distribuídos (e.g., RZF Distribuído) reduzem a sobrecarga, mas frequentemente levam a desempenho subótimo devido à alta interferência entre O-RUs e à falta de coordenação global.
- Abordagens de ML existentes: O uso direto de Aprendizado por Reforço Profundo (DRL) para determinar matrizes de precodificação frequentemente falha em implantações densas devido a espaços de estado/ação de alta dimensão, levando a problemas de convergência. Além disso, muitos métodos existentes focam exclusivamente na maximização da taxa agregada sem garantir requisitos de taxa de dados mínimos para usuários individuais.
Objetivo: Desenvolver uma framework de precodificação distribuída, escalável e de baixa latência que garanta os requisitos de taxa mínima dos usuários, maximize a taxa agregada e minimize a sobrecarga de sinalização dentro da hierarquia O-RAN.

2. Metodologia

Os autores propõem uma framework híbrida multi-escala temporal que combina conhecimento especializado de algoritmos de otimização iterativa com Aprendizado por Reforço Profundo Multiagente (DRL). A solução aproveita a arquitetura hierárquica O-RAN (Non-RT RIC, Near-RT RIC e O-DUs).

A. Formulação Matemática

Problema de Otimização: Os autores formulam um problema de otimização não convexo para maximizar a taxa agregada sujeito a restrições de taxa mínima ( $R_{min}$ ) e restrições de potência de transmissão.
Transformação: O problema é reformulado como um problema equivalente de Erro Quadrático Médio Mínimo Ponderado (WMMSE).
Solução Iterativa: Uma abordagem de Descida de Coordenadas em Bloco (BCD) é utilizada para atualizar iterativamente:
1. Filtros de recepção ( $U$ )
2. Matrizes de ponderação ( $W$ )
3. Matrizes de precodificação ( $V$ )
Insight Chave: Em sistemas sem célula, as matrizes de precodificação são acopladas entre as O-RUs. No entanto, os filtros de recepção ( $U$ ) e os pesos ( $W$ ) dependem de somas de canais efetivos que exibem "endurecimento de canal", tornando-os menos sensíveis a flutuações rápidas do que as matrizes de precodificação instantâneas.

B. A Framework Proposta de DRL Multiagente

Em vez de usar DRL para prever diretamente matrizes de precodificação de alta dimensão (o que é computacionalmente caro e difícil de treinar), a framework usa DRL para aprender as variáveis intermediárias de baixa dimensão ( $U$ e $W$ ) derivadas do algoritmo iterativo.

Arquitetura Multiagente:
- Agentes: Um agente DRL é atribuído a cada usuário.
- Observação: Cada agente observa os canais de interferência efetiva ( $\Xi_{k,i}$ ) de um subconjunto de usuários interferentes ( $I_k$ ) que compartilham perfis de desvanecimento em grande escala semelhantes.
- Ação: O agente produz o filtro de recepção ( $U_k$ ) e o fator de Cholesky da matriz de ponderação ( $L_k$ , onde $W_k = L_k L_k^H$ ). Isso reduz significativamente a dimensão do espaço de ações.
- Algoritmo: Uma extensão multiagente do algoritmo Soft Actor-Critic (SAC) é utilizada para maximizar uma combinação de recompensa (taxa) e entropia da política.

C. Implantação Multi-escala Temporal em O-RAN

A framework é distribuída entre diferentes componentes O-RAN com base em suas escalas temporais operacionais:

Loop Non-RT (>1 seg):
- Componente: Non-RT RIC (rApps).
- Tarefa: Treinamento dos modelos DRL (redes Ator e Crítico) e atualização de parâmetros.
Loop Near-RT (10 ms – 1 seg):
- Componente: Near-RT RIC (xApps).
- Tarefa: Os agentes determinam $U_k$ e $W_k$ para cada usuário com base nas estatísticas de canal atuais. Estes são enviados às O-DUs.
Tempo Real (RT) (<1 ms):
- Componente: O-DUs (dApps).
- Tarefa: Usando os $U_k$ e $W_k$ recebidos, juntamente com a Informação de Estado do Canal (CSI) instantânea e um multiplicador de Lagrange aprendido ( $\xi_l$ ) para restrições de potência, as O-DUs computam as matrizes finais de precodificação ( $V_{k,l}$ ) usando uma equação de atualização de forma fechada.
- Comunicação Inter-O-DU: Uma nova interface D2 é proposta para permitir que as O-DUs troquem informações de canal/precodificação necessárias para O-RUs acopladas, minimizando a carga na interface E2.

3. Contribuições Principais

Formulação de Otimização Inovadora: Formulação de um problema de precodificação não convexo para Massive MIMO sem Célula com transmissão conjunta coerente, reformulado como um problema WMMSE e resolvido via BCD.
DRL Guiado por Especialistas: Proposta de uma framework híbrida onde o DRL aprende variáveis intermediárias de baixa dimensão ( $U, W$ ) em vez de matrizes de precodificação de alta dimensão. Isso aproveita a teoria de otimização para guiar o processo de aprendizado, melhorando a convergência e a estabilidade.
Implementação Hierárquica em O-RAN: Projeto de uma implantação prática através dos loops Non-RT, Near-RT e RT, utilizando dApps para precodificação em tempo real e xApps/rApps para otimização e treinamento.
Adaptabilidade Dinâmica: A framework adapta-se dinamicamente a mudanças nos requisitos de taxa de dados mínima dos usuários ( $R_{min}$ ) atualizando multiplicadores de Lagrange em tempo real sem retreinamento.
Redução de Sinalização: Introdução de um mecanismo distribuído que reduz drasticamente a sobrecarga de sinalização na interface E2 em comparação com esquemas centralizados.

4. Resultados de Desempenho

Extensas simulações foram conduzidas comparando a framework proposta com C-RZF, D-RZF, WMMSE e várias bases de DRL (E2E-DRL, DRL-WMMSE).

Taxa Agregada:
- Supera o D-RZF em até 24,4%.
- Supera o WMMSE em até 35,8%.
- Supera o DRL de Ponta a Ponta em até 50,2%.
- Alcança desempenho comparável ao RZF Centralizado (C-RZF), mas com complexidade significativamente menor.
Sobrecarga de Sinalização:
- Reduz a sobrecarga de sinalização da interface E2 em até 99,81% em comparação com o C-RZF. Isso ocorre porque apenas variáveis intermediárias de baixa dimensão são trocadas, e não matrizes de canal completas.
Escalabilidade:
- A complexidade computacional escala eficientemente com o número de usuários e O-RUs, ao contrário dos métodos centralizados que escalam cubicamente.
- A latência de inferência por loop Near-RT é de 6,38 ms, bem dentro do alvo de 10 ms.
Robustez:
- Mobilidade: A framework mantém o desempenho mesmo em altas velocidades de usuários (até 45 km/h), com degradação mínima (<4%).
- CSI Imperfeito: Sob erros severos de estimação de canal, o método proposto baseado em aprendizado supera o método analítico centralizado (C-RZF).
- Justiça: Ao ajustar $R_{min}$ , a framework pode equilibrar entre maximizar a taxa agregada e garantir justiça para usuários na borda da célula.

5. Significado

Este artigo preenche a lacuna entre otimização teórica e implantação prática em redes sem fio de próxima geração.

Praticidade: Demonstra como a arquitetura flexível do O-RAN pode hospedar soluções complexas de IA/ML (DRL) enquanto adere a restrições estritas de tempo real.
Eficiência: Resolve a "maldição da dimensionalidade" no DRL para sistemas sem fio ao usar conhecimento de domínio (algoritmos iterativos) para reduzir o espaço de aprendizado.
Preparação para o Futuro: A framework é projetada para lidar com condições de rede dinâmicas (mobilidade de usuários, requisitos de QoS em mudança) e informações de canal imperfeitas, tornando-a uma candidata viável para redes 6G sem célula.

Em resumo, o artigo apresenta uma solução robusta, escalável e eficiente para precodificação em Massive MIMO sem Célula que aproveita a sinergia entre teoria de otimização e aprendizado por reforço multiagente dentro do ecossistema O-RAN.