WiFlow: A Lightweight WiFi-based Continuous Human Pose Estimation Network with Spatio-Temporal Feature Decoupling

Dit paper introduceert WiFlow, een lichtgewicht encoder-decoder netwerk dat spatio-temporele kenmerken ontkoppelt om continu menselijk houdingsschatting met WiFi-signalen mogelijk te maken met hoge nauwkeurigheid en een lage rekenlast.

De kern

WiFlow: De "Onzichtbare Camera" die je bewegingen voelt via WiFi

Stel je voor dat je in een kamer loopt, springt of dansen, maar er staat geen enkele camera. Toch kan een computer precies zien hoe je lichaam eruitziet, welke ledematen je beweegt en hoe je staat. Hoe is dat mogelijk? Het antwoord ligt in de WiFi-signalen die al door je huis vliegen.

Dit paper introduceert WiFlow, een slimme nieuwe manier om je houding te volgen met alleen WiFi. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: WiFi is vaak "ruis"

Normaal gesproken gebruiken we WiFi om internet te krijgen. Maar als je beweegt, verstoort je lichaam die onzichtbare golven. Net zoals een steen die in een vijver valt rimpelingen veroorzaakt, zorgt je beweging voor kleine veranderingen in het WiFi-signaal.

Vroeger probeerden onderzoekers deze signalen te behandelen als foto's (beelden). Ze dachten: "Laten we het signaal als een plaatje zien en een computer laten zoeken naar vormen." Het probleem? WiFi-signalen zijn geen foto's. Ze zijn een tijdlijn. Een foto is statisch, maar WiFi verandert elke milliseconde. Door het als een foto te behandelen, verloor men het tijdsaspect en werd het rekenwerk enorm zwaar, alsof je een hele film probeert te analyseren door elke frame als een losse foto te bekijken.

2. De Oplossing: WiFlow (De "Tijds- en Ruimte-Detector")

WiFlow doet het anders. Het kijkt niet naar het signaal als een plaatje, maar als een muziekstuk.

• De Tijd-Deel (De Rhythm): Het systeem luistert eerst naar hoe het signaal verandert in de tijd. Dit doet het met een speciale techniek (TCN) die zorgt dat het de volgorde van de muziek niet verstoort. Het is alsof je luistert naar het ritme van je stappen in plaats van naar een foto van je voeten.
• De Ruimte-Deel (De Melodie): Vervolgens kijkt het naar de verschillende "noten" in het signaal (de frequenties). Hier gebruikt het een slimme truc (asymmetrische convolutie) om te filteren welke frequenties belangrijk zijn voor je beweging en welke alleen ruis zijn. Het is alsof je in een orkest alleen naar de viool luistert en de rest van de muziek weghaalt.

3. De "Knooppunten" (Axial Attention)

Nadat WiFlow de tijd en ruimte heeft gescheiden, moet het de verschillende delen van je lichaam koppelen. Je hand beweegt niet zomaar; hij beweegt in verhouding tot je schouder.

WiFlow gebruikt een mechanisme genaamd Axial Attention. Denk hierbij aan een puzzelmeester.

• Eerst kijkt de puzzelmeester naar de stukjes van één ledemaat (bijv. je arm) en zorgt dat de elleboog en de pols logisch bij elkaar passen.
• Dan kijkt hij naar de relatie tussen de verschillende ledematen (bijv. hoe je arm en been samenwerken).
  Dit gebeurt heel efficiënt, zonder dat de computer duizelig wordt van het rekenen.

4. Waarom is dit zo speciaal?

• Lichtgewicht: Veel andere systemen zijn als een zware vrachtwagen: ze kunnen veel, maar verbruiken enorm veel energie en tijd. WiFlow is als een sportfiets: hij is klein, snel en verbruikt weinig energie (slechts 2,23 miljoen parameters, wat heel weinig is voor een AI).
• Privé: Er zijn geen camera's nodig. Je privacy is veilig, want WiFlow ziet geen beelden, alleen golfpatronen.
• Nauwkeurig: Het systeem is getraind op 360.000 voorbeelden van mensen die 8 verschillende dagelijkse activiteiten doen (lopen, hurken, zwaaien, springen). Het resultaat? Het mist bijna nooit een beweging. Het is binnen 2 centimeter nauwkeurig (97,25% correctie).

5. Het Resultaat: Een nieuwe standaard

Stel je voor dat je in een verpleeghuis woont en je valt. Een camera zou je niet kunnen zien als je gordijnen dicht zijn of als je privacy gewaarborgd moet blijven. WiFlow zou echter direct weten: "Ah, iemand is gevallen," omdat het de WiFi-golven ziet veranderen.

Kort samengevat:
WiFlow is als een gevoelige spinnenweb in je huis. Het voelt de trillingen van je beweging door de lucht heen, zonder dat er een oog op je gericht is. Het is snel, slim, bespaart energie en maakt het mogelijk om mensen te helpen en te beschermen met alleen de WiFi-router die je al hebt.

De onderzoekers hebben hun code en data openbaar gemaakt, zodat iedereen dit slimme systeem kan gebruiken en verder kan ontwikkelen.

Technische samenvatting

Probleemstelling

Menselijke houdingsbepaling (Human Pose Estimation - HPE) is cruciaal voor toepassingen zoals intelligente gezondheidszorg en mens-computerinteractie binnen het Internet of Things (IoT). Bestaande methoden hebben echter significante beperkingen:

• Visuele methoden (zoals OpenPose) zijn afhankelijk van verlichting en roepen privacyproblemen op.
• Draagbare sensoren zijn invasief voor de gebruiker.
• Bestaande WiFi-gebaseerde methoden (die Channel State Information of CSI gebruiken) kampen vaak met twee hoofdzaken:
  1. Ze behandelen CSI-data vaak als 2D-beelden, waardoor de inherente tijdsafhankelijkheid (temporele structuur) en fysieke betekenis verloren gaan.
  2. Ze zijn vaak berekend zwaar (hoge complexiteit) en presteren slecht bij continue beweging, wat leidt tot "jitter" (trillen) in de voorspellingen.
  3. Er is een gebrek aan systematisch onderzoek naar continue bewegingssequenties; de meeste studies focussen op discrete statische houdingen.

Methodologie: Het WiFlow-architectuur

WiFlow is een nieuw raamwerk dat een encoder-decoder-architectuur gebruikt om continu menselijke houding te schatten vanuit WiFi-signalen. De kerninnovatie is de expliciete ontkoppeling van ruimtelijke en temporele kenmerken (Spatio-Temporal Feature Decoupling).

1. Data Voorverwerking:

   • Gebruikt amplitude-informatie van CSI (verwerpt fase-informatie vanwege ruis door frequentie-offsets in commerciële hardware).
   • Data wordt verzameld via 18 link-verbindingen (3 zenders x 3 ontvangers x 2 ontvangers) met 30 subdragers per link, resulterend in een invoer van $540 \times 20$ (subdragers $\times$ tijdsvenster).

2. Encoder (Kenmerkextractie):

   • Temporele Extractie (TCN): In plaats van CNN's die tijd en ruimte verwarren, gebruikt WiFlow een Temporal Convolutional Network (TCN) met causale en gegroeide convoluties. Dit behoudt de causale structuur van het signaal en vangt lange-termijn afhankelijkheden efficiënt op. Tegelijkertijd wordt er een progressieve kanaalcompressie toegepast om ruisrijke subdragers te filteren.
   • Ruimtelijke Extractie (Asymmetrische Convolutie): Na de temporele verwerking worden ruimtelijke correlaties tussen subdragers geëxtraheerd met asymmetrische convoluties ($1 \times k$). Dit comprimeert de subdrager-dimensie naar het aantal menselijke sleutelpunten (keypoints) zonder de temporele structuur te beschadigen.
   • Axiale Self-Attention: Om de afhankelijkheden tussen de verschillende sleutelpunten te modelleren en de kenmerken binnen elk punt te verfijnen, wordt een Axial Attention mechanisme gebruikt. Dit splitst de 2D-attentie op in twee 1D-attenties (langs de breedte en hoogte-as), wat de rekencomplexiteit drastisch verlaagt ten opzichte van standaard Transformer-aandacht, terwijl de ruimtelijke topologie behouden blijft.

3. Decoder:

   • De decoder mapt de hoog-dimensionale kenmerken direct naar 2D-coördinaten van de sleutelpunten via convolutielagen en pooling, in plaats van een zware volledig verbonden laag.

4. Verliesfunctie:

   • Gebruikt een Smooth L1-norm voor coördinaatregressie (robuust tegen uitbijters).
   • Voegt een bot-lengte beperking toe ($L_B$) om ervoor te zorgen dat de voorspelde houding voldoet aan de fysieke anatomische beperkingen van het menselijk skelet.

Dataset en Experimenten

• Dataset: De auteurs hebben een nieuwe dataset verzameld met 360.000 gesynchroniseerde CSI-pose paren van 5 proefpersonen die 8 dagelijkse activiteiten uitvoeren (lopen, hurken, springen, etc.).
• Ground Truth: Verkregen via OpenPose op gesynchroniseerde video, met een tijdsconsistentie-correctie voor ontbrekende sleutelpunten door visuele obstructie.
• Evaluatieprotocollen:
  1. Random Split (Subject-Dependent): Test prestaties op bekende gebruikers.
  2. Cross-Subject Split (LOSO): Test generalisatie op onbekende gebruikers (Leave-One-Subject-Out).
  3. Cross-Dataset: Validatie op de publieke MM-Fi dataset.

Belangrijkste Resultaten

WiFlow presteert aanzienlijk beter dan state-of-the-art baselines (zoals WiSPPN, WPformer, PerUnet) in zowel nauwkeurigheid als efficiëntie:

• Nauwkeurigheid (Random Split):
  • PCK@20: 97,25% (vs. 85,87% voor WiSPPN en 70,02% voor WPformer).
  • PCK@50: 99,48%.
  • MPJPE (Gemiddelde fout per gewricht): Slechts 0,007 m.
• Generalisatie (Cross-Subject):
  • Haalt een gemiddelde PCK@20 van 87,26% op onbekende gebruikers, wat significant hoger is dan de concurrenten (bijv. 71,41% voor WiSPPN op de moeilijkste proefpersoon).
• Efficiëntie:
  • Parameters: Slechts 2,23 miljoen parameters (vs. 121,5M voor WiSPPN en 309M voor PerUnet).
  • FLOPs: 0,07 B (vs. 338,45 B voor WiSPPN).
  • Trainingstijd: 3,17 uur per fold (vs. 137,5 uur voor WPformer).

Bijdragen en Significantie

1. Nieuwe Dataset: Publicatie van een groot, gesynchroniseerd dataset voor continue WiFi-gebaseerde houdingsbepaling.
2. Architecturale Innovatie: Introductie van WiFlow, dat de beperkingen van 2D-CNN's oplost door temporele en ruimtelijke kenmerken expliciet te ontkoppelen via TCN en asymmetrische convoluties.
3. Efficiëntie en Praktische Toepasbaarheid: WiFlow bewijst dat hoge nauwkeurigheid haalbaar is met een extreem lichtgewicht model, wat het ideaal maakt voor implementatie op randapparatuur (edge devices) in IoT-omgevingen.
4. Robuustheid: Het model toont sterke generalisatievermogen over verschillende gebruikers en complexe bewegingssequenties, wat een nieuwe benchmark zet voor praktische WiFi-sensoren.

Kortom, WiFlow biedt een oplossing voor de uitdagingen van privacy, kosten en rekenkracht bij menselijke houdingsbepaling, en maakt het mogelijk om continue bewegingen nauwkeurig en real-time te volgen met standaard WiFi-hardware.