Benchmarking Wireless Representations: High-Dimensional vs. Compressed Embeddings for Efficiency and Robustness

Resumo Técnico: Avaliação Comparativa de Representações Sem Fio

Declaração do Problema
Avanços recentes em modelos de base (FMs) para comunicações sem fio, como o Modelo Sem Fio de Grande Escala (LWM), demonstraram o potencial de embeddings aprendidos de alta dimensão para atuar como extratores de características universais. Esses modelos, pré-treinados em dados sintéticos por meio de modelagem de canal mascarado, visam reduzir a dependência de conjuntos de dados rotulados extensos e melhorar a robustez a dados fora da distribuição. No entanto, os trade-offs práticos de implantar esses embeddings de alta dimensão em sistemas do mundo real permanecem pouco explorados. Especificamente, há uma falta de análise sistemática sobre a relação custo-benefício de representações aprendidas de alta dimensão em comparação com alternativas compactas de baixa dimensão e baselines de dados brutos. Preocupações-chave incluem a sobrecarga computacional, a latência de transmissão e a robustez ao ruído associadas à expansão da dimensionalidade do canal.

Metodologia
Este trabalho estabelece uma avaliação comparativa sistemática que compara três tipos distintos de representações de canal sem fio em diversas tarefas downstream:

1. Embeddings Aprendidos de Alta Dimensão: Derivados do LWM, uma arquitetura baseada em transformador pré-treinada em Informações de Estado do Canal (CSI). Isso inclui tanto embeddings de canal "finos" (nível de patch) quanto um embedding "CLS" global.
2. Representações Latentes Comprimidas: Geradas por autoencoders (AE) compactos treinados para reconstruir CSI ruidoso. Foram testadas duas taxas de compressão (1:16 e 1:32), produzindo vetores latentes de baixa dimensão.
3. Baseline de Dados Brutos: A matriz CSI complexa original, achatada para processamento.

A avaliação foi conduzida em três tarefas downstream projetadas para testar capacidades complementares:

• Classificação LoS/NLoS: Uma tarefa de classificação binária para avaliar a preservação das características de propagação física.
• Seleção de Feixe: Uma tarefa de classificação multiclasse que avalia a capacidade de capturar relações geométricas espaciais para formação de feixe.
• Alocação de Potência: Uma tarefa de regressão novel em um cenário MIMO de Usuário Múltiplo (MU-MIMO), visando maximizar a eficiência espectral sob restrições de potência. Esta tarefa utilizou uma estratégia de treinamento híbrida envolvendo um aquecimento supervisionado (usando rótulos de Descida de Gradiente Projetada) seguida de aprendizado não supervisionado para maximizar a taxa de soma.

O desempenho foi medido usando Eficiência de Dados (desempenho vs. tamanho da amostra de treinamento), Robustez ao Ruído (desempenho vs. Relação Sinal-Ruído) e Complexidade Computacional (parâmetros, FLOPs e tempo de inferência).

Principais Contribuições

• Avaliação Comparativa Sistemática: O artigo fornece uma comparação abrangente de embeddings de modelos de base contra representações de autoencoder compacto e dados brutos, indo além de avaliações de tarefa única para um framework de múltiplas tarefas.
• Introdução de Alocação de Potência: Os autores introduzem a alocação de potência em um sistema MU-MIMO como uma nova tarefa downstream para avaliar representações em um contexto de gerenciamento de recursos em nível de sistema, uma tarefa não utilizada anteriormente para avaliar essas representações específicas.
• Caracterização de Sobrecarga de Recursos: O estudo quantifica explicitamente a latência, a contagem de parâmetros e os custos de transmissão associados a embeddings de alta dimensão, destacando as implicações práticas do uso de modelos de base em sistemas sem fio.

Resultados Experimentais

• Eficiência de Dados: Na tarefa de classificação LoS/NLoS, embeddings de alta dimensão do LWM (especificamente embeddings de canal) demonstraram desempenho superior em regimes de poucos exemplos, saturando mais cedo do que a baseline de CSI bruto. No entanto, com dados suficientes, todas as representações convergiram para níveis de desempenho semelhantes.
• Robustez ao Ruído: Representações comprimidas de autoencoder demonstraram consistentemente robustez superior ao ruído em comparação com embeddings do LWM. Em regimes de baixa SNR, os embeddings do LWM sofreram degradação de desempenho mais pronunciada, muitas vezes tendo desempenho inferior tanto ao autoencoder quanto à baseline bruta em tarefas de seleção de feixe.
• Desempenho Específico da Tarefa:
  • Seleção de Feixe: Representações aprendidas não ofereceram vantagem clara sobre a baseline bruta ou autoencoders. O embedding global CLS performou pior do que outras representações em regimes de baixa e alta quantidade de dados.
  • Alocação de Potência: A abordagem baseada em autoencoder mostrou maior eficiência de dados e estabilidade de treinamento, superando tanto a baseline quanto o LWM enquanto alcançava eficiência espectral quase ótima.
• Complexidade Computacional: O LWM incorreu em sobrecarga significativa. Apesar de ter menos FLOPs para geração de embeddings do que alguns autoencoders, sua arquitetura de transformador resultou em tempos de inferência mais longos (aprox. 10,98 ms vs. 0,73 ms para AEs) e uma maior pegada de memória. Além disso, a alta dimensionalidade dos embeddings do LWM aumenta os requisitos de memória para modelos downstream e a largura de banda de transmissão.

Significado e Afirmações
O artigo conclui que, embora embeddings de alta dimensão de modelos de base ofereçam vantagens distintas em regimes de poucos dados para tarefas específicas como classificação LoS/NLoS, eles introduzem latência substancial e sobrecarga de parâmetros que podem impedir a implantação prática. Em contraste, representações latentes compactas aprendidas via autoencoders fornecem uma solução mais equilibrada, demonstrando robustez aprimorada ao ruído, desempenho estável em diversas tarefas e custos computacionais e de transmissão significativamente reduzidos.

Os autores afirmam que o design de representação é central para determinar a eficiência e a robustez de sistemas sem fio baseados em aprendizado. Eles argumentam que a "riqueza" dos embeddings de alta dimensão deve ser cuidadosamente ponderada contra as restrições de recursos de implantações do mundo real. As descobertas sugerem que, para muitas aplicações práticas, particularmente aquelas que exigem robustez ao ruído e baixa latência, representações baseadas em autoencoders compactos podem ser uma alternativa mais viável a modelos de base de grande escala.