🤖 machine learning

KOALA: Koopman Operator Learning for WiFi-Based Anticipatory Hum

KOALA es un marco de trabajo novedoso que permite la predicción de movimiento humano multihorizonte y robusta directamente desde CSI de WiFi ruidoso mediante el levantamiento de secuencias de pose hacia un espacio latente de Koopman aprendido donde la dinámica no lineal se linealiza, evitando así la acumulación de errores típica de los métodos autorregresivos al tiempo que introduce componentes arquitectónicos específicos para resolver fallos dinámicos comunes.

Autores originales: Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

Publicado 2026-08-18

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar ver una película en una habitación donde las luces están apagadas, las paredes son gruesas y la cámara está rota. Esta es la realidad diaria de muchos sistemas inteligentes que dependen de cámaras para comprender el movimiento humano. Las cámaras necesitan una línea de visión clara, tienen dificultades en la oscuridad y plantean serias preocupaciones de privacidad cuando se colocan en hogares u hospitales. Durante años, los científicos han buscado una mejor manera de ver sin ver realmente. Encontraron un candidato prometedor en las ondas invisibles de las señales Wi-Fi que llenan nuestros hogares. Estas señales rebotan en todo, incluyendo a las personas, y la forma en que cambian a medida que una persona se mueve transporta una firma oculta de ese movimiento. Si bien los investigadores ya han descubierto cómo usar estas señales para adivinar dónde está parada una persona en este momento, una pregunta mucho más difícil permanecía: ¿podría una computadora predecir hacia dónde va a ir esa persona antes de que llegue allí?

Un nuevo estudio publicado en el Transactions on Machine Learning Research introduce un sistema llamado KOALA, diseñado para responder a esa pregunta. Los investigadores, trabajando con datos de dos importantes conjuntos de datos de detección Wi-Fi, desarrollaron un método que toma las señales ruidosas y erráticas de un router Wi-Fi y las convierte en un pronóstico fiable del movimiento humano. A diferencia de intentos previos que intentaban adivinar el siguiente momento basándose en el anterior, un proceso que a menudo conduce a una cascada de errores, KOALA utiliza un enfoque matemático que trata todo el futuro como una única trayectoria lineal. El sistema predice con éxito las poses humanas hasta dos segundos en el futuro con un nivel de precisión que supera con creces los métodos existentes, demostrando que el Wi-Fi puede hacer más que solo conectar dispositivos; puede anticipar la acción humana.

El desafío de predecir el movimiento a partir de Wi-Fi es fundamentalmente diferente al hacerlo con una cámara de video. Cuando una cámara graba a una persona, captura una imagen limpia y detallada de su esqueleto. El Wi-Fi, sin embargo, ve el mundo a través de una niebla de interferencias. A medida que una persona se mueve, las partes de su cuerpo reflejan y dispersan las ondas de radio, creando un patrón complejo de cambios de señal que a menudo son incompletos y están llenos de estática. Los sistemas anteriores trataron esto como un problema simple de adivinar la posición actual basada en la señal, pero fallaron al modelar cómo esa posición cambia con el tiempo. Cuando los investigadores intentaron aplicar técnicas estándar de predicción de video a estas señales de Wi-Fi tan desordenadas, los errores se acumularon rápidamente. Si un sistema adivina incorrectamente el siguiente paso, ese error se convierte en el punto de partida para la siguiente suposición, y la predicción rápidamente se convierte en un sinsentido.

KOALA resuelve esto cambiando la forma en que la computadora piensa el problema. En lugar de intentar predecir la siguiente pose paso a paso, el sistema eleva toda la secuencia de movimientos a un espacio matemático especial donde las reglas del movimiento se vuelven simples y rectas. En este espacio, la trayectoria compleja y sinuosa de un cuerpo humano puede describirse mediante una regla única e invariable que se aplica a cada momento en el futuro. Los investigadores construyeron una red neuronal que aprende a traducir las señales de Wi-Fi desordenadas en este espacio limpio, aplicar la regla para saltar hacia adelante en el tiempo y luego traducir el resultado de vuelta a una pose humana. Debido a que el sistema no tiene que adivinar un paso a la vez, evita la acumulación de errores que plaga a otros métodos. Puede observar la señal actual e instantáneamente calcular dónde estará la persona en un segundo, dos segundos o incluso más allá, sin que la predicción se degrade.

Para que esto funcionara, el equipo tuvo que superar un problema específico donde el sistema simplemente copiaba la pose actual y pretendía que nada cambiaría, una solución que funciona para tiempos muy cortos pero falla para tiempos más largos. Lo solucionaron diseñando el sistema para que prediga solo la diferencia entre la pose actual y la pose futura, en lugar de la pose en sí misma. También añadieron un método de entrenamiento especial que obliga al sistema a mantenerse consistente a través de diferentes escalas de tiempo, asegurando que la regla matemática que aprende realmente refleje cómo se mueven los humanos. El resultado es un modelo que permanece estable incluso cuando la señal de Wi-Fi es ruidosa o el entorno cambia.

Los investigadores probaron KOALO en dos grandes conjuntos de datos que contienen miles de ejemplos de personas moviéndose en diferentes habitaciones y realizando diversas acciones. En una prueba que involucraba movimiento bidimensional, el sistema predijo poses con un error promedio de solo 26.14 milímetros a un décimo de segundo en el futuro, y 27.28 milímetros a un segundo. Este fue un avance significativo sobre el siguiente mejor método, que era aproximadamente un 19 por ciento menos preciso. En una prueba más difícil que involucraba movimiento tridimensional, el sistema superó a todos los demás enfoques por un margen amplio, reduciendo el error por un factor de más de seis comparado con el mejor método competidor en la escala de tiempo más corta. Crucialmente, a medida que el tiempo de predicción aumentaba, el error crecía de forma lenta y constante, mientras que otros métodos veían sus errores explotar o estancarse de una manera que sugería que solo estaban adivinando la posición promedio en lugar de rastrear el movimiento real.

Los hallazgos sugieren que las señales de Wi-Fi contienen suficiente información no solo para localizar a una persona, sino para pronosticar sus movimientos futuros con alta precisión. Esta capacidad podría transformar la forma en que los entornos inteligentes interactúan con las personas, permitiendo asistencia proactiva en hogares, una colaboración humano-robot más segura en fábricas y una intervención temprana en el monitoreo de la salud. El sistema funciona sin requerir que la persona use sensores o sea vista por una cámara, ofreciendo una alternativa que preserva la privacidad, que siempre está encendida y siempre está escuchando. Aunque la versión actual del sistema está diseñada para una sola persona y asume que el entorno permanece relativamente estable, el éxito del enfoque abre la puerta a aplicaciones más complejas. Los investigadores señalan que el trabajo futuro podría expandir esto para predecir los movimientos de múltiples personas a la vez o manejar cambios más repentinos en el comportamiento, pero el logro central se mantiene: una máquina ha aprendido a ver el futuro en la estática de una señal de Wi-Fi.

Resumen Técnico: KOALA – Aprendizaje de Operador de Koopman para la Predicción Anticipatoria del Movimiento Humano Basada en WiFi

1. Planteamiento del Problema

El artículo aborda el desafío de la predicción anticipatoria del movimiento humano utilizando Información de Estado del Canal (CSI) de WiFi. Si bien el CSI de WiFi ofrece una alternativa que preserva la privacidad y no requiere infraestructura frente al sensado basado en cámaras para la estimación de la pose humana, los enfoques existentes tratan la inferencia de la pose como un problema de regresión instantánea. Estos fallan al modelar la dinámica temporal, lo que hace que la predicción de movimientos futuros sea inviable.

La aplicación directa de métodos de predicción basados en visión a las poses derivadas de CSI es ineficaz debido a:

Amplificación del Ruido: Las poses derivadas de CSI son inherentemente ruidosas e incompletas debido al desvanecimiento por trayectorias múltiples (multipath fading) y la interferencia ambiental. Los despliegues autorregresivos amplifican estos errores en cada paso.
Inestabilidad Temporal: A diferencia de las secuencias de captura de movimiento limpias, las dinámicas temporales extraídas de CSI son menos estables y más difíciles de modelar.
Acumulación de Errores: La predicción de múltiples horizontes requiere mantener la consistencia en secuencias largas, una tarea en la que las estrategias autorregresivas estándar sufren de sesgo de exposición y acumulación de errores.

El problema central es pronosticar estados esqueléticos futuros a partir de señales WiFi ruidosas sin depender de la iteración autorregresiva o de la acumulación de errores a lo largo del tiempo.

2. Metodología: El Marco KOALA

Los autores proponen KOALA (Arquitectura de Elevación Atenta con Operador de Koopman), un marco unificado que eleva las secuencias de poses derivadas de CSI ruidosas a un espacio latente de Koopman aprendido. En este espacio, las dinámicas no lineales se transforman en dinámicas lineales, permitiendo la predicción de múltiples horizontes mediante simples productos matriz-vector.

2.1 Descripción de la Arquitectura

El marco opera en cuatro etapas secuenciales:

Codificación de CSI:
- Un codificador basado en Mamba procesa tensores de CSI crudos ( $X \in \mathbb{R}^{T \times S \times A}$ ) para extraer características por cuadro y un vector de contexto global ( $c$ ).
- Se elige la arquitectura Mamba por su procesamiento de tiempo lineal, adecuado para las correlaciones de largo alcance en las señales de CSI a medida que un cuerpo se mueve a través de zonas de Fresnel.
- El contexto global $c$ condiciona exclusivamente el operador de Koopman, implementando el sesgo inductivo de que el CSI modula cómo evoluciona el movimiento en lugar de qué es la pose.
Estimación de Pose Integrada y Codificación:
- Módulo HPE: Un módulo de Estimación de Pose Humana (HPE) basado en Mamba recupera coordenadas de articulaciones 3D estimadas a partir de las características de CSI. Utiliza refinamiento temporal condicionado por articulaciones, incrustaciones anatómicas y atención propia sesgada por el esqueleto.
- Desacoplamiento de Gradiente: Crucialmente, las poses estimadas se desacoplan del grafo de computación antes de entrar en el módulo de dinámica. Esto aísla el objetivo de localización de la pose del objetivo de predicción, evitando que la pérdida de predicción degrade la precisión geométrica de la pose.
- Codificador de Esqueleto: Convierte las poses estimadas en características compactas y cinemáticamente estructuradas utilizando un codificador consciente del esqueleto con incrustaciones de tipo anatómico compartidas.
Fusión de Doble Flujo y Dinámica de Koopman:
- Fusión: Las características derivadas de la pose y las características de CSI se combinan mediante fusión residual aditiva. Esto asegura que el módulo de dinámica reciba información directa de CSI, evitando que las estimaciones de pose inexactas dominen la representación.
- Elevación (Lifting): Una red neuronal ( $\phi$ ) mapea las características fusionadas en un espacio latente de Koopman de mayor dimensión ( $z_t \in \mathbb{R}^{D_z}$ ) donde $D_z > d$ .
- Operador Condicionado por CSI Residual: La innovación central es un operador de Koopman residual ( $K_{eff}$ $K_{e f f}$ ) definido como:
  $K_{eff} = I + B + \gamma U(c)V(c)^\top$
  - $I + B$ : Captura la dinámica base compartida.
  - $\gamma U(c)V(c)^\top$ : Un término de bajo rango que adapta la dinámica basándose en el contexto global de CSI ( $c$ ), contabilizando los efectos de trayectoria múltiple específicos del entorno.
  - Esta formulación resuelve el problema del atractor de identidad (donde los operadores colapsan hacia la matriz identidad $I$ ) al integrar la identidad en la arquitectura en lugar de forzarla mediante la inicialización.
Decodificación Basada en Anclaje:
- En lugar de predecir poses absolutas, el modelo predice deltas de pose relativos a una pose de anclaje (la última pose observada).
- El estado futuro se propaga mediante $z_{T+k} = K_{eff} z_{T+k-1}$ (un solo producto matriz-vector por paso).
- La predicción final es $\hat{p}_{T+h} = \bar{p} + \Delta_\theta(z_{T+h})$ . Esta formulación de "ancla-delta" elimina el atajo degenerado de copiar la pose actual a través de todos los horizontes.

2.2 Función de Pérdida

El objetivo de entrenamiento ( $L$ ) combina tres términos, evitando la necesidad de pérdidas contrastivas, espectrales o auxiliares separadas:

Pérdida de Predicción ( $L_{pred}$ ): Penaliza el error en el espacio de la pose en todos los horizontes, ponderado para enfatizar los horizontos largos.
Pérdida de Latente Anclado de Koopman (KAL) ( $L_{KAL}$ ): Una pérdida novedosa que opera en el espacio de características del codificador temporal. Requite que los despliegues del operador coincidan con las características que el modelo produciría si observara cuadros futuros.
- Incluye un término de reconstrucción ( $k=0$ ) y términos de predicción ponderados por horizonte ( $k>0$ ).
- Los horizontes cortos dominan el gradiente de KAL para asegurar la estabilidad, mientras que la supervisión de largo horizonte es gestionada por $L_{pred}$ .
- Esta pérdida impone consistencia dinámica y evita que las redes de elevación y reconstrucción colapsen en una solución degenerada donde la norma del operador crece sin límites.
Pérdida de Estimación de Pose ( $L_{est}$ ): Supervisa el módulo HPE utilizando poses observadas de verdad fundamental (ground-truth).

3. Contribuciones Clave

Marco Novedoso: KOALA es el primer marco unificado para la predicción de la pose humana de múltiples horizontes directamente desde WiFi CSI, uniendo el sensado de RF y la comprensión anticipatoria del movimiento.
Operador Condicionado por CSI Residual: Introduce una parametrización residual que resuelve el problema del atractor de identidad inherente a los métodos de Koopman previos, junto con una formulación de predicción de ancla-delta para prevenir el colapso de la pose media.
Pérdida de Latente Anclado de Koopman (KAL): Subsume los objetivos de reconstrucción, linealidad y estabilidad en un único término de predicción en el espacio de características, eliminando la necesidad de complejas pérdidas contrastivas o espectrales.
Rendimiento Robusto: Demuestra un rendimiento superior constante sobre las líneas base en horizontes de corto y largo plazo en conjuntos de datos estándar.

4. Resultados Experimentales

Los autores evaluaron KOALA en dos conjuntos de datos: WiPose (poses 2D) y MM-Fi (poses 3D, gran escala, múltiples sujetos, múltiples entornos).

WiPose (2D): KOALA logró el MPJPE y PA-MPJPE más bajos en todos los horizontes (por ejemplo, 26.14 mm a 100 ms, 27.28 mm a 1000 ms). Mejoró respecto a la línea base más fuerte (VMRNN) aproximadamente un 19%. Crucialmente, la degradación del error a través de los horizontes fue mínima (solo 1.14 mm), indicando que no hay una acumulación significativa de errores.
MM-Fi (3D): KOALA superó a todas las líneas base (incluyendo métodos específicos de WiFi como MetaFi++ y modelos espaciotemporales como VMRNN) por un margen sustancial.
- A 100 ms, KOALA logró un MPJ de 52.1 mm, aproximadamente 6.4 veces menor que el mejor método competidor (SwinLSTM con 332.6 mm).
- El PCK@10 alcanzó el 73.9%, mientras que ninguna línea base superó el 18.1%.
- El modelo mantuvo un alto rendimiento en configuraciones de sujetos y entornos cruzados, con un crecimiento del error moderado en lugar de exponencial.

5. Significado y Reivindicaciones

El artículo afirma que KOALA establece un nuevo paradigma para la predicción del movimiento humano a partir de señales inalámbricas. Su importancia radica en:

Superar el Ruido: Modelado exitoso de dinámicas temporales a partir de datos de CSI inherentemente ruidosos sin la acumulación de errores típica de los métodos autorregresivos.
Linealización de la No Linealidad: Aprovechamiento de la teoría de Koopman para transformar el complejo movimiento humano no lineal en un espacio latente lineal, permitiendo una predicción de múltiples pasos eficiente y no iterativa.
Privacidad y Ubicuidad: Provisión de una alternativa de alta precisión y preservación de la privacidad frente a sistemas basados en cámaras para aplicaciones en hogares inteligentes, salud y colaboración humano-robot.

Limitaciones y Trabajo Futuro:
Los autores reconocen modestamente las limitaciones actuales:

La formulación actual maneja escenarios de una sola persona y no aborda la superposición de señales en entornos con múltiples ocupantes.
El operador condicionado por CSI no ha sido validado bajo transferencia de sitio cero (zero-shot cross-site transfer).
El modelo produce una única predicción determinista, careciendo de la capacidad de capturar la distribución completa de los posibles movimientos futuros.
La suposición de dinámicas invariantes en el tiempo puede romperse durante transiciones de acción abruptas.

Se sugiere como trabajo futuro extender KOALA a la predicción probabilística y abordar las transiciones abruptas mediante extensiones de mezcla de operadores o cambio de modo.