mmAnomaly: Leveraging Visual Context for Robust Anomaly Detection in the Non-Visual World with mmWave Radar

1. Il Problema

La rilevazione di anomalie tramite radar a onde millimetriche (mmWave) è cruciale in scenari non visivi (es. attraverso muri, sotto vestiti, in ambienti bui) dove le telecamere ottiche falliscono a causa di occlusioni o limitazioni sulla privacy. Tuttavia, l'uso esclusivo dei dati radar presenta sfide significative:

• Rumore e Distorsioni Complesse: I segnali mmWave sono altamente sensibili alle proprietà dei materiali, al disordine ambientale (clutter) e agli effetti di multipath (riflessioni multiple), generando distorsioni non gaussiane e non stazionarie.
• Mancanza di Contesto: I metodi esistenti spesso trattano le variazioni del segnale causate da fattori ambientali benigni (es. tipo di tessuto, disposizione dei mobili) come anomalie, portando a un alto tasso di falsi positivi.
• Limiti dei Modelli Esistenti: I modelli basati su visione artificiale o specifici per RF (come VAE o GAN unimodali) non riescono a catturare le sottili distorsioni d'onda o a distinguere le anomalie reali dalle variazioni contestuali, poiché mancano di una comprensione semantica dell'ambiente.

2. Metodologia: mmAnomaly

Il paper propone mmAnomaly, un framework di rilevazione di anomalie multimodale che combina dati radar mmWave con input visivi (RGB-D) per creare un contesto ambientale. L'idea centrale è utilizzare la visione per prevedere come dovrebbe apparire il segnale radar in condizioni normali, identificando le anomalie come deviazioni da questa previsione.

L'architettura si compone di tre moduli principali:

A. Preprocessore (Allineamento ed Estrazione del Contesto)

• Allineamento Geometrico (Aligner): Fonde i frame RGB e di profondità (Depth) e li riproietta nel sistema di coordinate del radar, creando una "Radar-Perspective Projection" allineata alla mappa Range-Azimuth.
• Estrazione del Contesto (Context Extractor): Utilizza classificatori ResNet per identificare semantiche ad alto livello (es. tipo di tessuto, ambiente, materiali del muro) e le trasforma in un prompt testuale strutturato (es. "Una persona indossa un cappotto pesante in un corridoio").

B. Generatore (Sintesi del Segnale Atteso)

• Utilizza un Modello di Diffusione Latente Condizionale (basato su Stable Diffusion).
• Input: La proiezione visiva dal radar e il prompt testuale descrittivo.
• Funzione: Genera uno spettro mmWave "atteso" e privo di anomalie per il contesto visivo fornito. Il modello impara a mappare le proprietà visive (materiali, pose) alle riflessioni radar corrispondenti.
• Loss Function: Addestrato con una funzione di perdita composita che include similarità percettiva, allineamento distributivo (KL-divergence), realismo avversariale (GAN) e coerenza semantica (CLIP).

C. Localizzatore (Rilevazione e Localizzazione)

• Confronta lo spettro radar reale con quello generato (atteso).
• Utilizza un'architettura Dual-Branch Vision Transformer (ViT) per analizzare le discrepanze spaziali tra i due segnali.
• Produce una mappa di anomalie che localizza le deviazioni (es. un'arma nascosta, un intruso dietro un muro, una caduta) con alta precisione spaziale.

3. Contributi Chiave

1. Paradigma di Rilevazione Cross-Modale: È il primo sistema che sintetizza direttamente i segnali mmWave attesi partendo da input RGB-D di una telecamera co-localizzata, permettendo la rilevazione in scenari dove né la visione né il radar da soli sono sufficienti.
2. Modellazione del Contesto: Introduce un approccio che utilizza la comprensione semantica visiva (materiali, geometria) per calibrare le aspettative sul segnale radar, riducendo drasticamente i falsi positivi causati da variazioni ambientali.
3. Architettura Ibrida: Integra un generatore di diffusione latente con un localizzatore basato su Transformer, permettendo sia la sintesi di dati realistici che la localizzazione fine delle anomalie.
4. Validazione su Scenari Diversi: Il framework è stato testato su tre applicazioni critiche: rilevazione di armi nascoste, intrusione attraverso i muri e rilevamento di cadute attraverso i muri.

4. Risultati Sperimentali

Il sistema è stato valutato su due dataset multimodali (uno raccolto dagli autori e uno pubblico) in tre scenari principali:

• Rilevazione di Armi Nascoste (Through-Cloth):

  • Punteggio F1: ~94% (superiore ai baseline come CVAE, CGAN e MMW-Carry che si attestano tra il 72-73%).
  • Errore di Localizzazione (MLE): ~16 mm (vs 78-82 mm dei baseline).
  • Robustezza dimostrata su diversi tipi di abbigliamento (tessuti casual, pile, giacche da neve).

• Rilevazione di Intrusi attraverso i Muri (Through-Wall Intrusion):

  • Punteggio F1: ~92%.
  • Errore di Localizzazione: ~0.7 metri (vs fino a 11.6 m per i baseline).
  • Efficace su diversi materiali murari (styrofoam, pannelli, compensato) e in presenza di oggetti riflettenti.

• Rilevazione di Cadute attraverso i Muri (Through-Wall Fall):

  • Punteggio F1: ~96%.
  • Errore di Localizzazione: ~0.5 metri.
  • Capacità di distinguere le cadute dalle attività routine anche quando il soggetto è occluso o fuori dal campo visivo della camera.

Analisi di Ablazione: Lo studio ha dimostrato che rimuovere l'allineamento geometrico o l'estrazione del contesto degrada significativamente la qualità della generazione (misurata tramite FID), confermando che entrambi i moduli sono essenziali per la precisione.

5. Significato e Impatto

Il lavoro di mmAnomaly rappresenta un passo avanti significativo nel campo del sensing mmWave:

• Affidabilità: Risolve il problema fondamentale della distinzione tra variazioni ambientali "benigne" e anomalie reali, rendendo i sistemi radar molto più robusti in ambienti reali e disordinati.
• Interpretabilità: Fornisce mappe di anomalie spaziali che spiegano dove si trova l'anomalia, non solo se esiste.
• Generalizzazione: Dimostra che l'integrazione di contesto visivo permette al sistema di generalizzare a materiali, ambienti e scenari mai visti durante l'addestramento (out-of-distribution), superando i limiti dei modelli puramente statistici o unimodali.
• Applicabilità: Offre una soluzione pratica per la sicurezza (rilevazione armi), la sanità (monitoraggio anziani/cadute) e il controllo industriale in scenari dove la privacy o l'oscurità impediscono l'uso di telecamere tradizionali.

In sintesi, mmAnomaly trasforma il radar mmWave da un sensore "cieco" soggetto a rumore ambientale in un sistema di percezione contestuale intelligente, capace di "vedere" attraverso gli ostacoli con una precisione senza precedenti.