mmAnomaly: Leveraging Visual Context for Robust Anomaly Detection in the Non-Visual World with mmWave Radar

1. El Problema

La detección de anomalías utilizando radares de ondas milimétricas (mmWave) es crucial en escenarios no visuales (detrás de paredes, a través de la ropa, en entornos oscuros) donde las cámaras tradicionales fallan debido a la oclusión o limitaciones de privacidad. Sin embargo, este enfoque presenta desafíos significativos:

• Complejidad de la señal: Las reflexiones de mmWave son altamente sensibles a las propiedades de los materiales, el desorden del entorno (clutter) y la interferencia multipath. Esto genera distorsiones complejas y no gaussianas que no se ajustan a los modelos de ruido tradicionales.
• Falta de contexto: Los métodos existentes (basados puramente en radar) carecen de conciencia contextual. A menudo confunden variaciones benignas (causadas por la ropa, la geometría de la habitación o el movimiento normal) con anomalías, lo que resulta en una alta tasa de falsos positivos.
• Limitaciones de los modelos actuales: Los modelos de visión por computadora adaptados a mmWave no capturan bien las distorsiones de la forma de onda, mientras que los modelos específicos de RF asumen características de ruido simplificadas y ignoran el contexto visual crítico.

2. Metodología: mmAnomaly

Los autores proponen mmAnomaly, un marco de trabajo multimodal que combina datos de radar mmWave con entradas visuales (RGB-D) para realizar una detección de anomalías robusta y basada en el contexto. El sistema opera bajo el principio de que, aunque la cámara no puede ver objetos ocultos, puede proporcionar el contexto visual (geometría, materiales, postura) necesario para predecir cómo debería verse la señal de radar en condiciones normales.

El sistema consta de tres módulos principales:

A. Preprocesador (Preprocessor)

• Alineación (Aligner): Fusiona las entradas RGB y de profundidad, reproyectándolas al sistema de coordenadas del radar para crear una "Proyección de Perspectiva de Radar" (Radar-Perspective Projection). Esto alinea la estructura visual con el mapa de rango-azimut del radar.
• Extractor de Contexto (Context Extractor): Utiliza clasificadores basados en ResNet para identificar semántica de alto nivel (tipo de ropa, tipo de entorno, materiales de la pared). Esta información se convierte en un prompt de lenguaje natural que condiciona la generación posterior.

B. Generador (Generator)

• Utiliza un modelo de difusión latente condicional (basado en Stable Diffusion) para sintetizar la señal de espectro mmWave esperada (sin anomalías) basándose en la proyección visual y el prompt de texto.
• Aprende a mapear la semántica visual (ej. "persona con abrigo grueso en pasillo") a la respuesta física esperada del radar.
• Se entrena exclusivamente con datos normales (sin anomalías) para aprender la distribución de señales "normales" condicionadas al contexto.

C. Localizador (Localizer)

• Compara el espectro de radar real (observado) con el espectro sintetizado (esperado) utilizando una arquitectura de Transformador de Visión (ViT) de doble rama.
• Identifica las desviaciones espaciales (residuos) entre ambas señales.
• Genera un mapa de anomalías que localiza dónde ocurre la discrepancia (ej. un objeto metálico oculto, una intrusión detrás de una pared o una caída).

3. Contribuciones Clave

1. Paradigma de Detección Contextual: Es el primer sistema que sintetiza señales mmWave esperadas directamente a partir de entradas RGB-D de una cámara co-ubicada, permitiendo la detección de anomalías en dominios donde ni la visión ni el radar por sí solos son suficientes.
2. Arquitectura Multimodal Generativa: Introduce un enfoque de generación cruzada (cross-modal generation) que utiliza la visión para calibrar las expectativas del radar, reduciendo drásticamente los falsos positivos causados por variaciones ambientales.
3. Marco Unificado: Proporciona un sistema integral que aborda tres aplicaciones críticas: detección de armas ocultas, intrusión a través de paredes y detección de caídas, demostrando generalización en entornos complejos.

4. Resultados Experimentales

El sistema se evaluó en dos conjuntos de datos multimodales (uno recopilado por los autores y otro público) en tres escenarios:

• Detección de Objetos Ocultos (Armas):
  • Logró un F1-score de ~94% y un error de localización medio (MLE) de 16 mm.
  • Superó significativamente a baselines como CVAE, CGAN y MMW-Carry, manteniendo alta precisión bajo diferentes tipos de ropa (fleece, cuero, chaquetas de nieve).
• Intrusión a Través de Paredes:
  • Alcanzó un F1-score de ~92% con un error de localización de ~0.7 metros.
  • Demostró robustez frente a diferentes materiales de pared (poliestireno, tablero de partículas) y entornos con desorden.
• Detección de Caídas (Through-Wall):
  • Alcanzó un F1-score de ~96% y un error de localización de ~0.5 metros.
  • Utilizó entropía temporal y conciencia de la postura para distinguir caídas de actividades rutinarias, incluso cuando el sujeto estaba oculto a la vista de la cámara.

Análisis de Ablación:

• La eliminación del módulo de alineación o del extractor de contexto resultó en un aumento significativo en el FID (Fréchet Inception Distance), indicando que ambos componentes son esenciales para generar espectros realistas y precisos.
• El uso de contexto visual mejoró consistentemente la precisión en comparación con modelos que solo usaban mmWave.

5. Significado e Impacto

El trabajo de mmAnomaly establece un nuevo estándar en la detección de anomalías con mmWave al demostrar que la integración de contexto visual es fundamental para superar las limitaciones físicas de las señales de radar.

• Robustez: El sistema es capaz de generalizar a materiales de ropa no vistos, tipos de paredes y entornos desordenados, algo que los modelos unimodales no logran.
• Interpretabilidad: Al generar un mapa de anomalías basado en la diferencia entre lo esperado y lo observado, el sistema ofrece una explicación clara de por qué se detectó una anomalía.
• Aplicabilidad: Abre la puerta a aplicaciones de seguridad y monitoreo de salud más fiables en entornos donde la privacidad es prioritaria o la visibilidad es nula, permitiendo detectar amenazas ocultas o emergencias médicas sin necesidad de cámaras directas sobre el sujeto.

En resumen, mmAnomaly transforma la detección de anomalías de un problema puramente estadístico de señales a uno semántico y contextual, logrando una precisión y una tasa de falsos positivos muy superiores a las tecnologías actuales.