Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning

Resumo Técnico: Resolução de Associação de Múltiplos Alvos em ISAC baseado em OFDM via Aprendizado Multimodal Assistido por Visão

Definição do Problema
Sistemas de Comunicação e Sensoriamento Integrados (ISAC) baseados em Multiplexação por Divisão de Frequência Ortogonal (OFDM) tipicamente estimam parâmetros de alvos identificando picos em um Mapa de Atraso-Doppler (DDM) construído a partir de sinais piloto refletidos. Em cenários de múltiplos alvos, essa abordagem enfrenta duas limitações fundamentais:

1. Ambiguidade de Associação de Dados: O DDM não revela inerentemente qual alvo físico corresponde a um pico específico, tornando difícil associar estimativas de atraso-Doppler a objetos específicos.
2. Limites de Resolução: Quando múltiplos alvos residem dentro da mesma célula de resolução de atraso-Doppler, os métodos convencionais baseados apenas em comunicações sem fio não conseguem distingui-los.
   Estudos de ISAC existentes baseiam-se primariamente em sinais sem fio, tornando-os sensíveis a ambientes de propagação (ex: desvanecimento por multicaminho, falta de Linha de Visão direta). Embora alguns trabalhos utilizem informações visuais fora de banda para previsão de bloqueio ou alinhamento de feixe, nenhum trabalho prévio resolveu conjuntamente as limitações de associação de múltiplos alvos e de resolução do ISAC utilizando dados visuais.

Metodologia
Os autores propõem um framework de ISAC-OFDM assistido por visão que funde modalidades wireless e visuais dentro de uma arquitetura de aprendizado profundo unificada. O sistema opera da seguinte forma:

1. Modelo do Sistema: O transmissor é equipado com uma câmera embarcada que captura imagens de visão de rua. Essas imagens são codificadas usando Codificação Conjunta de Fonte e Canal Profunda (DeepJSCC) e transmitidas através da mesma forma de onda OFDM usada para o sensoriamento. O receptor reconstrói a imagem, realiza a detecção de objetos e processa os sinais OFDM refletidos para gerar um DDM.
2. DeepJSCC para Transmissão de Imagem: Para garantir robustez contra impedimentos de canal, o sistema emprega um codificador/decodificador DeepJSCC redesenhado. O codificador utiliza camadas convolucionais, normalização em lote (batch normalization), ativações ReLU e blocos residuais para extrair vetores de características compactos. O decodificador espelha essa estrutura usando convoluções transpostas para reconstruir a imagem.
3. Extração de Características Visuais: A imagem reconstruída é processada por um detector YOLOv5 ajustado. Este módulo extrai características semânticas, especificamente coordenadas de caixas delimitadoras (normalizadas às dimensões da imagem) e rótulos de classe de veículos (sedã, SUV, caminhão).
4. Extração de Características Wireless: O receptor estima a resposta de frequência do canal usando Mínimos Quadrados (LS) em símbolos piloto, prevê coefões de canal para símbolos de dados via extrapolação linear e remove o componente de link direto. Uma Transformada Discreta Inversa de Fourier (IDFT) 2D seguida por uma Transformada de Fourier (DFT) gera o DDM, capturando deslocamentos de atraso e Doppler.
5. Rede de Fusão Multimodal: Uma rede neural profunda (DNN) funde entradas heterogêneas:
   • Embedding de Tipo de Veículo: Categorias de veículos codificadas via one-hot mapeadas através de camadas totalmente conectadas (FC).
   • Embedding de Caixa Delimitadora: Coordenadas de pixels mapeadas para representações físicas via camadas FC.
   • Extração de Características do DDM: Uma rede baseada em CNN (DDMNet) com blocos de Squeeze-and-Excitation (SE) extrai características do DDM.
   • Informação Prévia: Localizações do transmissor e do receptor são incorporadas para auxiliar na estimativa geométrica.
     Esses embeddings são concatenados e processados através de uma rede de fusão para estimar conjuntamente a localização 3D do alvo, o atraso de propagação e a frequência Doppler.
6. Design da Função de Perda: Para abordar a instabilidade de treinamento de classificadores de alta dimensão para atraso e Doppler, os autores introduzem uma perda de divergência de Kullback–Leibler (KL) contra rótulos suaves triangulares (triangular soft labels). Em vez de rótulos de verdade absoluta (one-hot ground-truth), os rótulos suaves distribuem a massa de probabilidade sobre o bin da verdade absoluta e seus vizinhos, estabilizando o treinamento.

Principais Contribuições

• Framework ISAC Assistido por Visão: O artigo propõe uma nova arquitetura que integra transmissão de imagem baseada em DeepJSCC, detecção YOLOv5 e extração de características de DDM. Esta fusão resolve a ambiguidade de associação de múltiplos alvos e supera a incapacidade de distinguir alvos próximos, inerente ao ISAC de modalidade única.
• Embedding de Características Multimodais: O design de uma DNN que incorpora e funde eficazmente características visuais (caixas delimitadoras, categorias), priors geométricos e características wireless de DDM para produzir estimativas de parâmetros precisas.
• Nova Função de Perda: A adoção de perda KL com rótulos suaves triangulares para estabilizar o treinamento de classificadores de atraso e Doppler de alta dimensão, mitigando problemas associados a grandes espaços de saída.
• Plataforma de Avaliação Realista: A construção de um gerador de cenas de rua baseado em Blender que produz tuplas de imagens, Informação de Estado do Canal (CSI) e estados de alvo de verdade absoluta para avaliação de ponta a ponta.

Resultados
O framework foi avaliado em um conjunto de dados sintéticos de 2.500 imagens de visão de rua (resolução 1920×1080) com tipos de veículos e velocidades variados (5–30 m/s) em frequência portadora de 28 GHz.

• Métricas de Desempenho: O sistema proposto alcançou um Erro Quadrático Médio (RMSE) de 16 cm para localização, 10,8 ns para atraso e 5,5 m/s para velocidade.
• Estudo de Ablação: A remoção da modalidade visual (especificamente a informação da caixa delimitadora) causou uma falha catastrófica na estimativa de parâmetros, com o RMSE de localização degradando de 0,16 m para 10,69 m (uma degradação de ~60×). A remoção do DDM aumentou significativamente o RMSE de velocidade para 18,30 m/s, enquanto a remoção da informação prévia degradou a localização para 0,54 m.
• Sensibilidade de Parâmetros: Aumentar o número de pilotos OFDM melhorou a resolução de Doppler (reduzindo o RMSE de velocidade), mas aumentou a dimensão de saída, reduzindo ligeiramente a precisão da classificação. O aumento de subportadoras melhorou a resolução de atraso (reduzindo o RMSE de atraso), mas similarmente aumentou a dificuldade de classificação.

Significância
O artigo afirma que o framework de aprendizado multimodal assistido por visão proposto supera efetivamente as duas limitações fundamentais do ISAC convencional: a ambiguidade de associação de dados e as restrições de resolução em cenários de múltiplos alvos. Ao fundir informações semânticas visuais com características físicas da camada física sem fio, o sistema alcança uma estimativa de parâmetros de alta precisão onde abordagens de modalidade única falham. Os autores destacam que a visão fornece uma solução prática para mitigar os limites de associação de dados e de resolução do ISAC de modalidade única, com trabalhos futuros planejados para estender o framework para cenários noturnos usando visão de baixa luminosidade ou infravermelho.