A Camera-Cooperative ISAC Framework for Multimodal Non-Cooperative UAVs Sensing

Resumo Técnico: Um Framework ISAC Cooperativo com Câmera para Detecção Multimodal de UAVs Não Cooperativos

Declaração do Problema
A detecção e o rastreamento de veículos aéreos não tripulados (UAVs) não cooperativos apresentam desafios significativos para sistemas de Sensoriamento e Comunicação Integrados (ISAC). Esses desafios decorrem das limitações inerentes à percepção de modalidade única e da intensa competição por recursos físicos compartilhados entre as funções de sensoriamento e comunicação (S&C). UAVs não cooperativos tipicamente exibem características de baixa altitude, baixa velocidade e pequena seção transversal de radar (RCS), tornando-os difíceis de detectar apenas por meio de ecos ISAC. Além disso, abordagens ISAC tradicionais frequentemente dependem de varredura de feixe exaustiva ou hierárquica para localizar alvos, o que incorre em sobrecarga substancial de tempo e recursos, reduzindo assim a capacidade disponível para tarefas de comunicação. Embora o sensoriamento baseado em visão ofereça informações espaciais de alta resolução, ele é suscetível a fatores ambientais, como mudanças de iluminação e oclusão. Por outro lado, o sensoriamento ISAC oferece robustez em todas as condições climáticas, mas carece de detalhes visuais finos e exige gerenciamento significativo de feixes.

Metodologia
Para abordar essas questões, os autores propõem um framework ISAC Cooperativo com Câmera (CC-ISAC). Este sistema integra uma câmera externa com uma estação base (BS) ISAC para criar um loop de percepção complementar. O framework decompõe o processo de sensoriamento em três tarefas sinérgicas:

1. Detecção de Espaço Aéreo em Tempo Real por Visão: Uma câmera externa realiza monitoramento de espaço aéreo de granulação grosseira utilizando um detector baseado em YOLO para identificar UAVs e extrair coordenadas de caixas delimitadoras e patches de imagem recortados.
2. Seleção de Feixe Assistida por Visão: Os dados visuais são alinhados com o domínio de sensoriamento ISAC para orientar a seleção de feixes, reduzindo o espaço de busca para a BS.
3. Rastreamento de Feixe Baseado em Fusão Multimodal: Dados históricos de sensoriamento e observações atuais são fundidos para permitir um rastreamento contínuo e robusto.

O framework depende de dois módulos principais de aprendizado profundo:

• Alinhamento de Dados Visão para Eco (V2EDA): Este modelo aborda a incompatibilidade de representação heterogênea entre observações visuais (espaço de imagem) e ângulos do espaço de feixes. Ele emprega uma arquitetura de extração de características de fluxo duplo (usando ResMLP para vetores de caixas delimitadoras e CNN para imagens recortadas) seguida por um mecanismo de Atenção Cruzada (CA). Este mecanismo permite que o modelo recupere dinamicamente pistas visuais relevantes para mapear observações do espaço de imagem para ângulos de azimute e elevação do espaço de feixes, aprendendo efetivamente o mapeamento não linear sem medições de profundidade explícitas.
• Estimativa Baseada em Fusão Multimodal (MMFE): Projetado para a fase de rastreamento, este módulo integra informações históricas de sensoriamento no domínio de eco (ESI) com informações atuais de sensoriamento visual (VSI). Utiliza um codificador Transformer para capturar dependências temporais de longo alcance em dados históricos fundidos e combina isso com entradas visuais atuais por meio de um Perceptron de Camadas Múltiplas (MLP). O modelo incorpora um mecanismo de fallback: se os dados visuais forem pouco confiáveis (por exemplo, oclusão severa), ele recorre à previsão apenas por eco; se os dados de eco estiverem ausentes, ele confia nos dados visuais ou em medições recentes.

Principais Contribuições

1. Inovação no Nível do Framework: O artigo introduz um novo design de nível de sistema que redefine os papéis funcionais de sensores heterogêneos. Diferentemente de trabalhos anteriores que utilizam a visão apenas para refinar o alinhamento de feixes dentro de um pipeline fixo, o CC-ISAC emprega particionamento hierárquico explícito de tarefas. A visão é atribuída ao papel de consciência inicial do espaço aéreo e localização grosseira, enquanto os recursos ISAC são reservados para sensoriamento colaborativo de granulação fina. Essa abordagem realiza o deslocamento de percepção, transferindo a consciência ambiental de granulação grosseira do módulo ISAC para a câmera, a fim de reduzir a sobrecarga geral de sensoriamento.
2. Habilitação de Módulos de Aprendizado Multimodal: Os autores desenvolvem os modelos V2EDA e MMFE especificamente para suportar este framework. O V2EDA permite a cooperação prática entre sensores espacialmente separados ao alinhar características visuais e de eco. O MMFE aprimora a robustez da estimativa de estado através da fusão de decisões entre modalidades, reduzindo a sobrecarga de rastreamento de feixes.
3. Otimização no Nível do Sistema: O trabalho afirma ser o primeiro a aproveitar a cooperação multimodal para otimizar diretamente a eficiência de recursos ISAC (reduzindo o tempo de apontamento de feixe) em vez de apenas melhorar a precisão da percepção.

Resultados Experimentais
O framework foi avaliado utilizando o conjunto de dados DeepSense6G, que fornece imagens RGB sincronizadas e dados GPS de verdade de UAV.

• Eficiência de Apontamento de Feixe: A estratégia de seleção de feixe assistida pelo V2EDA reduziu significativamente o número médio de varreduras de feixe necessárias para a aquisição de alvos. Em comparação com a varredura hierárquica convencional, o método proposto alcançou uma redução média de 71% na sobrecarga de apontamento de feixe.
• Eficiência de Rastreamento de Feixe: O modelo MMFE demonstrou desempenho robusto no rastreamento de feixes. Em comparação com uma linha de base apenas por eco, a abordagem MMFE reduziu a sobrecarga de rastreamento de feixe em 1,69% a 11,15% em várias condições de relação sinal-ruído (SNR) e cenários de perda de dados.
• Robustez: O sistema manteve alta precisão de estimativa angular mesmo sob degradação do canal (SNR até -2 dB) e perda parcial de dados (eco ou dados visuais ausentes). O modelo de fusão aproveitou adaptativamente os pontos fortes de cada modalidade, mostrando tolerância a falhas superior em comparação com abordagens de modalidade única ou baseadas em filtro de Kalman.
• Recuperação de Recursos: Ao reduzir a sobrecarga de sensoriamento, o framework libera efetivamente recursos no domínio do tempo (símbolos OFDM) dentro da estrutura de comunicação, aumentando assim a capacidade disponível para tarefas de comunicação.

Significado e Alegações
O artigo postula que o framework CC-ISAC representa um avanço prático no design de sistemas ISAC. Seu principal significado reside na mitigação da contenção de recursos entre sensoriamento e comunicação. Ao deslocar a detecção grosseira para a visão e utilizar o ISAC apenas para refinamento de granulação fina, o sistema alcança vigilância confiável de UAVs, liberando recursos substanciais do sistema para tarefas adicionais de comunicação. Os autores enfatizam que essa abordagem transforma o compromisso tradicional entre precisão de sensoriamento e consumo de recursos ISAC em um compromisso entre precisão de sensoriamento e capacidades de sensoriamento multimodal. O framework é particularmente adequado para cenários de baixa altitude com propagação dominante de linha de visada (LoS), oferecendo uma solução escalável para detecção eficiente de UAVs não cooperativos sem exigir busca exaustiva de feixes.