mmAnomaly: Leveraging Visual Context for Robust Anomaly Detection in the Non-Visual World with mmWave Radar

Resumo Técnico: mmAnomaly

1. O Problema

A detecção de anomalias utilizando radares de onda milimétrica (mmWave) é crucial em cenários não visuais, como segurança (detecção de armas ocultas), saúde (monitoramento de quedas) e vigilância (intrusos através de paredes). No entanto, o radar mmWave enfrenta desafios significativos:

• Ruído e Distorções Complexas: Os sinais são altamente sensíveis a propriedades dos materiais, desordem ambiental (clutter) e interferência de multipath, gerando distorções não-Gaussianas complexas.
• Falta de Contexto: Métodos existentes (baseados apenas em radar) frequentemente interpretam variações benignas (como mudanças na roupa ou na disposição dos móveis) como anomalias, resultando em altos índices de falsos positivos.
• Limitação dos Modelos Atuais: Modelos de detecção de anomalias tradicionais (inspirados em visão ou específicos de RF) não conseguem capturar padrões estruturados de interferência ou diferenciar anomalias reais de variações contextuais sem informações externas.

2. Metodologia: A Abordagem mmAnomaly

O mmAnomaly é um framework de detecção de anomalias multimodal que combina dados de radar mmWave com entrada visual (RGB-D) para criar um sistema robusto e consciente do contexto. A ideia central é usar a câmera como uma "âncora" para sintetizar o que o radar deveria estar vendo em condições normais, identificando anomalias como desvios entre a previsão e a realidade.

O sistema é composto por três módulos principais:

1. Pré-processador (Preprocessor):

   • Alinhamento (Aligner): Funde os dados RGB e de profundidade (Depth) e os reprojeta no sistema de coordenadas do radar, criando uma "Projeção de Perspectiva do Radar" que alinha a geometria visual com o mapa de alcance-azimute do radar.
   • Extrator de Contexto (Context Extractor): Utiliza classificadores baseados em ResNet para identificar semântica de alto nível (ex: tipo de tecido da roupa, material da parede, layout do ambiente). Essas informações são convertidas em um prompt de linguagem natural.

2. Gerador (Generator):

   • Utiliza um Modelo de Difusão Latente Condicional (baseado em Stable Diffusion).
   • Recebe a projeção visual e o prompt de contexto.
   • Função: Sintetizar o espectro mmWave esperado (livre de anomalias) para aquele contexto específico. O modelo aprende como materiais e poses normais afetam as reflexões do radar.

3. Localizador (Localizer):

   • Utiliza uma arquitetura de Vision Transformer (ViT) de Dupla Ramificação.
   • Compara o espectro real do radar com o espectro sintetizado pelo gerador.
   • Identifica e localiza espacialmente os desvios (resíduos) que indicam anomalias (ex: uma arma oculta, um intruso atrás da parede, uma queda).

3. Contribuições Principais

• Paradigma de Geração Cruzada: É a primeira abordagem a sintetizar diretamente sinais mmWave esperados a partir de entradas RGB-D de uma câmera co-localizada, permitindo a detecção de anomalias onde sensores visuais ou de radar isolados falham.
• Abordagem "Sem Anomalias" (Anomaly-Free Training): O sistema é treinado apenas com dados normais (sem anomalias). Ele aprende a distribuição de sinais normais condicionada ao contexto visual, tornando-o capaz de generalizar para anomalias nunca vistas antes.
• Robustez Contextual: Ao incorporar informações visuais (tecido, material da parede), o sistema reduz drasticamente os falsos positivos causados por variações ambientais benignas.
• Localização Espacial Precisa: Diferente de métodos que apenas classificam a presença de uma anomalia, o mmAnomaly gera mapas de anomalia que localizam fisicamente o objeto ou evento anômalo no espaço.

4. Resultados Experimentais

O sistema foi avaliado em dois conjuntos de dados multimodais cobrindo três aplicações críticas:

• Detecção de Armas Ocultas (Through-Cloth):

  • Desempenho: Alcançou um F1-score de ~94% e um erro de localização médio (MLE) de 16 mm.
  • Comparação: Superou significativamente modelos de base (CVAE, CGAN, MMW-Carry), que tiveram F1-scores entre 72-73% e erros de localização de 78-82 mm.
  • Robustez: Mantive alta precisão sob diferentes tipos de roupas (casual, fleece, jaqueta de neve) e ambientes.

• Detecção de Intrusos Através de Paredes (Through-Wall Intrusion):

  • Desempenho: F1-score de ~92% e erro de localização de ~0,7 m.
  • Generalização: Funcionou bem através de diferentes materiais (isopor, gator board, painéis de partículas) e em ambientes com desordem (clutter).

• Detecção de Quedas Através de Paredes (Through-Wall Fall):

  • Desempenho: F1-score de ~96% e erro de localização de ~0,5 m.
  • Mecanismo: Combinou classificação consciente da pose com entropia temporal para distinguir quedas de atividades rotineiras, mesmo quando o sujeito estava oculto ou fora do campo de visão da câmera.

• Análise de Latência: O sistema opera em tempo quase real, localizando objetos ocultos em menos de 1 segundo (em GPU H100), embora os módulos de alinhamento e geração sejam os mais custosos computacionalmente.

5. Significado e Impacto

O mmAnomaly representa um avanço significativo no sensoriamento não visual ao resolver o problema fundamental da "ambiguidade contextual" no radar mmWave.

• Interpretabilidade: Ao gerar um espectro de referência baseado no contexto visual, o sistema torna a detecção de anomalias mais explicável (o que é "normal" é definido pelo contexto visual).
• Aplicabilidade em Segurança e Saúde: Permite a detecção confiável de ameaças ocultas (armas) e eventos críticos (quedas, intrusos) em ambientes onde a privacidade impede o uso de câmeras ou onde a visibilidade é bloqueada.
• Generalização: A abordagem baseada em geração condicional permite que o sistema se adapte a novos ambientes e materiais sem necessidade de retreinamento massivo com dados de anomalias, que são difíceis de obter.

Em suma, o mmAnomaly demonstra que a fusão de contexto visual com geração de sinais de radar cria um sistema de detecção de anomalias muito mais robusto, preciso e confiável do que as abordagens unimodais atuais.