WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment

1. El Problema

El entendimiento semántico de las actividades humanas en espacios interiores es crucial para la interacción humano-computadora, pero el uso de cámaras en entornos privados (como dormitorios u hospitales) plantea graves preocupaciones sobre la privacidad.

Aunque existen alternativas de sensores no visuales como el Wi-Fi (Información de Estado del Canal o CSI), los sistemas actuales basados en CSI se limitan principalmente a:

• Estimación de la postura (coordenadas de articulaciones).
• Clasificación de acciones predefinidas (etiquetas discretas).

El desafío principal es generar descripciones de lenguaje natural libres y detalladas ("captioning") a partir de señales de radio. Esto es difícil por dos razones:

1. Brecha semántica: Existe una gran distancia entre las señales numéricas del CSI y el lenguaje natural, con muy pocos pares de datos etiquetados (CSI-texto) disponibles para el entrenamiento.
2. Ambigüedad direccional: Las señales de Wi-Fi a menudo sufren de confusión entre acciones especulares (ej. levantar el brazo izquierdo vs. el derecho), lo que dificulta la generación de descripciones precisas sobre la orientación del cuerpo.

2. Metodología: El Framework WiFi2Cap

Los autores proponen WiFi2Cap, un marco de trabajo de tres etapas diseñado para cerrar la brecha entre el CSI y el lenguaje, utilizando un enfoque de transferencia de conocimiento y aprendizaje contrastivo.

Etapa 1: Maestro Visión-Lenguaje (Vision-Language Teacher)

• Se utiliza un modelo preentrenado (CLIP) como "maestro" para aprender un espacio semántico compartido entre video y texto.
• El maestro se entrena con pares de video-texto sincronizados utilizando una función de pérdida contrastiva (InfoNCE) para alinear las representaciones visuales y textuales.
• Pérdida de Consistencia de Espejo (Mirror-Consistency Loss): Se introduce una regularización específica donde se crean pares espejo (volteando horizontalmente el video y cambiando palabras direccionales en el texto, ej. "izquierda" por "derecha"). Esto fuerza al modelo a distinguir claramente entre acciones especulares, reduciendo la ambigüedad.

Etapa 2: Estudiante CSI-Texto (CSI-Text Student)

• Un codificador CSI (el "estudiante") aprende a mapear las señales de Wi-Fi al espacio semántico del maestro.
• Codificación CSI: El CSI se procesa separando la amplitud y la fase mediante dos redes ResNet-18, que luego se fusionan mediante un módulo de "puerta" (gating module) para capturar la información temporal y espectral.
• Alineación: El estudiante se entrena en dos pasos:
  1. Alineación Visión-CSI: Alinea las características del CSI con las representaciones visuales del maestro (distilación de conocimiento).
  2. Ajuste CSI-Texto: Alinea directamente el CSI con las incrustaciones de texto, nuevamente utilizando la pérdida contrastiva y la Pérdida de Consistencia de Espejo para asegurar que el modelo entienda la dirección de los movimientos.

Etapa 3: Generación de Lenguaje Guiada por Prefijos (Prefix-Guided Generation)

• Se utiliza un modelo de lenguaje autoregresivo congelado (GPT-2, Qwen o Phi-2).
• En lugar de ajustar todo el modelo, se utiliza Prefix Tuning: las incrustaciones del CSI se mapean a través de una MLP ligera para generar "prefijos" (claves y valores) que se inyectan en las capas de atención del modelo de lenguaje.
• Esto permite que el modelo de lenguaje genere descripciones condicionadas al CSI sin necesidad de un entrenamiento masivo del modelo base, preservando sus capacidades lingüísticas.

3. Contribuciones Clave

1. WiFi2Cap Framework: La primera propuesta para generar descripciones de acciones de gran detalle directamente desde señales de Wi-Fi CSI, combinando transferencia de conocimiento visual y aprendizaje contrastivo.
2. Consistencia de Espejo (Mirror-Consistency): Identificación de la confusión izquierda/derecha como un fallo crítico en la alineación multimodal. La introducción de una función de pérdida específica que obliga al modelo a aprender la orientación de las extremidades, mejorando significativamente la precisión semántica.
3. Dataset WiFi2Cap: Creación de un nuevo conjunto de datos de referencia sincronizado que incluye:
   • Señales CSI (1 transmisor, 3 receptores).
   • Video RGB.
   • Descripciones de oraciones a nivel de acción.
   • Cubre 100 clases de acciones, cada una grabada como un clip de 5 segundos.

4. Resultados Experimentales

Los experimentos se realizaron en el dataset WiFi2Cap y se validaron en el dataset público Person-in-WiFi 3D.

• Rendimiento Superior: WiFi2Cap supera consistentemente a los métodos de línea base (que ajustan directamente el CSI al modelo de lenguaje sin alineación visual) en todas las métricas estándar de generación de texto:
  • BLEU-4: Aumenta de ~14.85 a 51.78.
  • METEOR: Aumenta de ~25.86 a 57.48.
  • ROUGE-L: Aumenta de ~32.38 a 64.32.
  • También se observan mejoras significativas en CIDEr y SPICE.
• Transferibilidad: El modelo mantiene un alto rendimiento al transferirse al dataset Person-in-WiFi 3D, demostrando que la estrategia de alineación es robusta ante diferentes configuraciones de captura.
• Análisis de Ablación:
  • La eliminación de la etapa de alineación con el maestro (Visión-Lenguaje) reduce drásticamente el rendimiento.
  • La eliminación de la Pérdida de Consistencia de Espejo causa una caída notable en la precisión, confirmando su importancia crítica para resolver la ambigüedad izquierda/derecha.
  • Se probaron diferentes modelos de lenguaje (GPT-2, Phi-2, Qwen), siendo Qwen el que obtuvo los mejores resultados generales.

5. Significado e Impacto

El trabajo de WiFi2Cap es significativo por varias razones:

• Privacidad: Permite un entendimiento semántico rico de las actividades humanas sin necesidad de cámaras, lo cual es vital para entornos sensibles a la privacidad.
• Interacción Natural: Transforma la detección de movimiento basada en radio en descripciones de lenguaje natural comprensibles, facilitando nuevas aplicaciones en asistencia médica, domótica y monitoreo de ancianos.
• Avance en Alineación Multimodal: Demuestra que es posible cerrar la brecha semántica entre señales de radio complejas y lenguaje natural mediante la transferencia de conocimiento desde dominios ricos en datos (video) y el uso de regularizaciones específicas (consistencia de espejo) para problemas de ambigüedad física.

En resumen, WiFi2Cap establece un puente efectivo y respetuoso con la privacidad entre el sensado inalámbrico y la comprensión semántica de alto nivel.