Transformer Architecture with Minimal Inference Latency for Multi-Modal Wireless Networks

Título: Arquitetura Transformer com Latência de Inferência Mínima para Redes Sem Fio Multimodais

1. O Problema

As redes sem fio de próxima geração (como 6G) dependem cada vez mais de dados multimodais (câmeras, LiDAR, radar, GPS) para executar tarefas críticas como seleção de feixes (beamforming) e previsão de obstruções com consciência situacional. Embora os Transformers baseados em atenção sejam ferramentas eficazes para fundir essas modalidades, eles enfrentam dois gargalos principais em cenários dinâmicos de veículos em movimento:

• Alta Latência de Inferência: O mecanismo de atenção auto-atencional tem complexidade quadrática ($O(N^2)$) em relação ao número de tokens (unidades de dados). Processar todos os tokens de múltiplas modalidades atrasa a decisão, tornando-a obsoleta antes de ser aplicada (ex.: um feixe é selecionado após o obstáculo já ter bloqueado o sinal).
• Uso Excessivo de Memória e Computação: O processamento de sequências longas de dados multimodais consome grandes quantidades de memória GPU e operações de ponto flutuante (FLOPs), inviabilizando a implementação em hardware de borda com recursos limitados.

Soluções existentes de poda (pruning) ou fusão de tokens geralmente focam em uma única modalidade (ex.: apenas visão) ou usam heurísticas fixas, não otimizando conjuntamente a performance da rede sem fio e a eficiência computacional.

2. Metodologia Proposta

Os autores propõem um novo framework de inferência para Transformers multimodais que processa apenas os tokens mais importantes, otimizando o número de tokens ($K$) sob um orçamento computacional alvo (FLOPs). A arquitetura consiste em três componentes principais:

1. Tokenizadores Específicos por Modalidade:

   • Projetam dados heterogêneos (imagens, nuvens de pontos, radar, GPS, RSSI) para uma mesma dimensão de embedding compartilhada.
   • Utiliza-se uma CNN leve (baseada em ResNet) para imagens e nuvens de pontos, e camadas lineares para dados escalares (GPS/RSSI), reduzindo a lacuna inerente entre modalidades.

2. Roteador de Tokens (Token Router):

   • Um módulo leve inserido em cada bloco do Transformer que prevê a importância de cada token com base no seu embedding.
   • Seleciona os Top-K tokens mais importantes para processamento no bloco atual.
   • Os tokens não selecionados contornam (bypass) o bloco de atenção e o MLP, reduzindo a complexidade de $O(N^2)$ para $O(K^2)$.

3. Razão de Manutenção (Keep Ratio) Treinável:

   • Para evitar a otimização heurística de $K$, o framework introduz uma "razão de manutenção" ($r_l$) treinável e contínua para cada camada $l$.
   • Mecanismo de Gradiente: Como a operação Top-K não é diferenciável, o método realiza duas passagens forward com os inteiros mais próximos ($K_{up}$ e $K_{down}$) e combina linearmente suas saídas. Isso cria um caminho de gradiente para otimizar $r_l$ de ponta a ponta.
   • Função de Perda: Adiciona uma penalidade de erro quadrático médio (MSE) entre a razão média de manutenção e uma razão alvo ($\gamma'$), garantindo que o orçamento de FLOPs seja respeitado durante o treinamento.

3. Principais Contribuições

• Otimização Conjunta: É a primeira abordagem que otimiza simultaneamente a performance da tarefa de comunicação sem fio e o número de tokens processados sob uma restrição de latência/FLOPs em cenários multimodais.
• Arquitetura Multimodal Eficiente: Adapta o conceito de Mixture-of-Depth (MoD) para domínios sem fio, permitindo o roteamento de tokens entre diferentes modalidades (ex.: ignorar ruído de fundo em imagens enquanto mantém dados críticos de radar).
• Otimização End-to-End: Elimina a necessidade de ajuste manual de hiperparâmetros para o número de tokens, aprendendo dinamicamente quantos tokens cada camada deve processar para maximizar a eficiência.
• Validação em Cenário Real: Desenvolvimento e uso de um conjunto de dados real de handover (transferência de célula) multimodal coletado em um teste de campo, algo raro na literatura.

4. Resultados Experimentais

Os resultados foram validados em dois conjuntos de dados públicos de beamforming (DeepSense 6G e CARLA) e em um conjunto de dados real de handover proativo.

• Eficiência Computacional (DeepSense 6G):

  • Ao processar apenas 30% dos tokens ($\gamma' = 30\%$), o framework propôs uma redução de 86,2% na latência de inferência, 35% no uso de memória GPU e 80% nos FLOPs em comparação com uma linha de base que processa todos os tokens.
  • A perda de precisão foi negligenciável (apenas 0,12% na acurácia Top-1).
  • Em configurações com $\gamma' = 50\%$, o modelo superou a linha de base em acurácia, sugerindo um efeito de regularização ao focar apenas em dados relevantes.

• Validação em Cenário Real (Handover Proativo):

  • Em um teste de campo com veículos e RSUs (Unidades de Equipamento de Estrada), o modelo foi capaz de iniciar o handover proativo antes da obstrução do sinal.
  • A linha de base (processamento completo) sofreu uma degradação de 70% na força do sinal recebido (RSSI) devido à latência alta, resultando em decisões obsoletas após o bloqueio já ter ocorrido.
  • O modelo proposto completou a inferência 83% mais rápido, evitando a perda de conexão.

• Análise de Ablação:

  • A remoção dos tokenizadores específicos causou queda drástica de desempenho devido à incompatibilidade de espaços de embedding.
  • O congelamento dos roteadores de tokens (processamento aleatório) reduziu a acurácia, comprovando a importância da seleção inteligente.
  • O uso de uma razão fixa (sem otimização por camada) foi inferior à abordagem treinável, mostrando que camadas iniciais e profundas exigem quantidades diferentes de tokens.

5. Significância

Este trabalho é fundamental para a viabilidade prática da Inteligência Artificial em redes 6G e sistemas de transporte inteligente (V2I).

• Tempo Real: Resolve o problema crítico de latência, permitindo que modelos complexos de IA tomem decisões em tempo real em ambientes dinâmicos onde milissegundos importam.
• Viabilidade de Implantação: Ao reduzir drasticamente os requisitos de FLOPs e memória, torna possível a execução de modelos multimodais avançados em hardware de borda (como RSUs e veículos) que possuem recursos computacionais limitados.
• Confiabilidade: Demonstra que a eficiência não precisa vir às custas da segurança ou confiabilidade; pelo contrário, ao reduzir a latência, o sistema torna-se mais robusto contra falhas de comunicação causadas por obstruções repentinas.

Em resumo, o paper estabelece um novo paradigma para inferência de Transformers em redes sem fio, equilibrando desempenho e eficiência através da seleção dinâmica e treinável de dados relevantes.