⚡ electrical engineering

MU-SHOT-Fi: Self-Supervised Multi-User Wi-Fi Sensing with Source-free Unsupervised Domain Adaptation

Dit artikel stelt MU-SHOT-Fi voor, een bronvrij onbewaakt domeinadaptatiekader dat gebruikmaakt van permutatie-invariante setvoorspelling, bezettingsgewogen informatiemaximalisatie en ruimtelijke zelftoezicht om robuuste Wi-Fi-activiteitsherkenning voor meerdere gebruikers in diverse omgevingen mogelijk te maken zonder dat er gelabelde doeldata nodig zijn.

Oorspronkelijke auteurs: Ahmed Y. Radwan, Hina Tabassum

Gepubliceerd 2026-05-05

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ahmed Y. Radwan, Hina Tabassum

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsagent (een AI-model) probeert te leren wat mensen in een kamer doen, puur door te luisteren naar de Wi-Fi-signalen die tegen de muren kaatsen. Dit heet Wi-Fi-sensing.

Het probleem is dat de agent die je in je woonkamer hebt getraind (de Bron) volledig in de war raakt als je ze verplaatst naar een kantoor (het Doel). De meubels zijn anders, de muren zijn anders, en de Wi-Fi-signalen gedragen zich anders.

Nog erger is dat er in een echt kantoor niet slechts één persoon rondloopt. Er zijn meerdere personen die tegelijkertijd verschillende dingen doen. Hun bewegingen mengen zich in het Wi-Fi-signaal, waardoor een verward kluwen ontstaat. Het is alsof je probeert het stemgeluid van één persoon te horen in een drukke, lawaaiige ruimte waar iedereen over elkaar heen praat.

Dit artikel introduceert een nieuw systeem genaamd MU-SHOT-Fi om twee grote problemen op te lossen:

Het "Nieuwe Kamer"-probleem: Hoe maak je de AI werkend in een nieuwe omgeving zonder deze opnieuw te trainen met nieuwe gelabelde data (wat vaak onmogelijk is vanwege privacy).
Het "Overvolle Kamer"-probleem: Hoe bepaal je wat elke persoon doet wanneer er meerdere mensen zijn, en hoe voorkom je dat de AI gewoon raadt "er is niemand" omdat dat het makkelijkste antwoord is.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De "Zonder Labels"-Uitdaging (Bronvrije Adaptatie)

Normaal gesproken heb je, om een AI over een nieuwe kamer te leren, een leraar nodig die op mensen wijst en zegt: "Dat is lopen, dat is springen." Maar in het echte leven kun je niet altijd een leraar hebben die alles bekijkt en labelt (privacykwesties).

MU-SHOT-Fi is als een slimme student die al hard heeft gestudeerd in de woonkamer. Als ze het kantoor binnenlopen, vragen ze geen leraar. In plaats daarvan kijken ze naar de Wi-Fi-signalen en zeggen ze: "Ik ben er vrij zeker van dat dit signaal op lopen lijkt, en dat die op springen, zelfs al heb ik dit specifieke kantoor nog nooit gezien." Ze leren door te vertrouwen op hun eigen beste gokken en deze te verfijnen, een proces dat Zelftoezichthoudend Leren (Self-Supervised Learning) heet.

2. Het "Verwarde Signaal"-probleem (Multi-User Sensing)

In een scenario met één persoon hoeft de AI slechts één activiteit te raden. Maar in een scenario met meerdere gebruikers, stel je voor dat de AI 6 lege stoelen (slots) heeft om in te vullen. Het moet beslissen wie waar zit en wat ze doen.

De Valstrik: In de meeste kantoren zijn de meeste stoelen het grootste deel van de tijd leeg. Als de AI gewoon probeert "divers" te zijn (door alle verschillende activiteiten te raden), kan ze in de war raken en voor iedereen "niemand" gaan raden, omdat "niemand" het meest voorkomende antwoord is. Dit heet modelinstorting (model collapse).
De Oplossing (Bezetting-Gewogen Maximalisatie): De auteurs hebben een speciale regel bedacht. Ze vertellen de AI: "Maak je geen zorgen om de lege stoelen. Probeer alleen divers en zelfverzekerd te zijn over de stoelen waar echt mensen op zitten."
- Analogie: Stel je een leraar voor die een toets nakijkt. Als een student een vraag leeg laat, negeert de leraar deze. Maar als een student een antwoord schrijft, controleert de leraar of het uniek en correct is. MU-SHOT-Fi negeert de "lege stoel"-antwoorden zodat de AI niet lui wordt en voor alles gewoon "leeg" raadt.

3. De "Magische Spiegel" (Rotatie Zelftoezichthoudend Leren)

Om de AI te helpen de nieuwe kamer te begrijpen zonder een leraar, gebruikt het systeem een truc genaamd Rotatie Zelftoezichthoudend Leren.

Analogie: Stel je voor dat je naar een foto van een lopende persoon kijkt. Als je de foto ondersteboven of op zijn kant draait, is het nog steeds dezelfde lopende persoon, alleen anders georiënteerd.
De AI wordt getraind om te herkennen dat een Wi-Fi-signaalpatroon dezelfde "activiteit" is, zelfs als het signaal wiskundig is geroteerd (zoals het draaien van een kaart). Dit dwingt de AI om de essentie van de beweging (de vorm van het signaal) te leren in plaats van het specifieke ruis van de oude kamer te memoriseren. Dit helpt haar om zich aan te passen aan de nieuwe kamer.

4. Één Persoon versus Meerdere Personen

Het artikel heeft ook een eenvoudigere versie gemaakt genaamd SU-SHOT-Fi voor wanneer er slechts één persoon is.

In de wereld van één persoon kan de AI een andere truc gebruiken genaamd Contrastive Predictive Coding (CPC). Dit is alsof je naar een liedje luistert en de volgende noot voorspelt op basis van de vorige. Het helpt de AI om het ritme van de beweging van één persoon in de tijd te begrijpen.
De Twist: De auteurs ontdekten dat deze "ritme"-truc niet werkt voor meerdere personen. Waarom? Omdat wanneer twee mensen bewegen, hun ritmes door elkaar lopen. Het proberen om de "volgende noot" van een verwarde kluwen te voorspellen, brengt de AI in de war. Dus, voor overvolle kamers houden ze vast aan de "Magische Spiegel"-truc en de "Bezetting"-regel.

De Resultaten

De onderzoekers testten dit op echte data:

Multi-User (WiMANS dataset): Toen ze de AI verplaatsten van een klaslokaal naar een vergaderzaal, of de Wi-Fi-frequentie veranderden (van 2,4GHz naar 5GHz), faalde de oude AI volledig (0% nauwkeurigheid op exacte matches). MU-SHOT-Fi herstelde en deed zijn werk, en identificeerde correct wie wat deed in de nieuwe kamer.
Single-User (Widar 3.0 dataset): De versie voor één persoon verbeterde ook, en werd beter in het herkennen van gebaren zoals "klappen" of "een zigzag tekenen" in nieuwe kamers.

Samenvatting

MU-SHOT-Fi is een slim systeem dat Wi-Fi-sensoren in staat stelt zich aan te passen aan nieuwe, drukke omgevingen zonder dat een mens elk moment hoeft te labelen. Dit doet het door:

Lege ruimtes te negeren zodat het niet lui wordt.
Te leren bewegingen te herkennen zelfs als het signaal "geroteerd" is of veranderd door de omgeving.
Te weten dat "ritme"-trucs werken voor solo-optredens maar falen in een menigte.

Het is in wezen het leren van een Wi-Fi-sensor om een flexibele, zelfopgeleide detective te zijn die mysteries kan oplossen in een nieuwe, drukke kamer zonder ooit de antwoorden te horen.

Technische Samenvatting: MU-SHOT-Fi: Zelftoezichthoudende Multi-Gebruiker Wi-Fi Sensing met Bronvrije Ongecontroleerde Domeinadaptatie

Probleemstelling
Diep leren (DL) heeft Wi-Fi Channel State Information (CSI)-gebaseerde Menselijke Activiteitsherkenning (HAR) verbeterd door ruimtelijk-temporele kenmerken te leren zonder handmatige engineering. DL-modellen kampen echter met een slechte generalisatie over verschillende omgevingen (domeinverschuivingen) veroorzaakt door veranderingen in de fysieke lay-out, gebruikerskenmerken, hardware en frequentiebanden. Deze uitdaging wordt verergerd in multi-gebruiker settings waar gelijktijdige activiteiten "signaalkluisting" creëren, waardoor het moeilijk wordt om CSI-variaties toe te schrijven aan specifieke individuen. Bovendien staan praktische implementaties voor privacybeperkingen die toegang tot gelabelde brondata tijdens de adaptatie naar het doeldomein verhinderen. Hoewel Ongecontroleerde Domeinadaptatie (UDA) bestaat, vereist deze gelabelde brondata. Bronvrije Ongecontroleerde Domeinadaptatie (SFUDA) lost dit op, maar staat voor drie kritieke hindernissen in multi-gebruiker Wi-Fi sensing:

Klasse-Imbalans: "Geen persoon" (lege) slots domineren datasets, waardoor standaard informatiemaximalisatie instort tot het voorspellen van de dominante lege klasse.
Permutatie-invariantie: Multi-gebruiker toestanden zijn ongeordende verzamelingen (bijv. [lopen, zitten] is equivalent aan [zitten, lopen]), waardoor standaard op clustering gebaseerde pseudo-labeling en slot-niveau matching onuitvoerbaar zijn zonder grondwahrheid.
Signaalkluisting: Multi-gebruiker CSI reflecteert gesuperponeerde activiteiten, wat de stabiele kenmerk-naar-label mappingen schendt die door veel adaptatietechnieken worden verondersteld.

Methodologie
De auteurs stellen MU-SHOT-Fi voor, een bronvrij raamwerk ontworpen voor zowel single-user als multi-user scenario's. Het raamwerk werkt in twee fasen: brontraining en doeldomeinadaptatie.

Brontraining: Het model wordt getraind op gelabelde brondata met behulp van een permutatie-invariante setvoorspelling-benadering. In plaats van activiteiten aan vaste slots toe te wijzen, voorspelt het model een set activiteiten over $M$ slots. Een Hongaarse matching-algoritme aligneert voorspelde slots optimaal met grondwahrheid labels om de cross-entropy verliesfunctie te berekenen, waarbij variabele bezetting en ongeordende gebruikersstaten worden verwerkt.
Doeladaptatie (SFUDA): In het doeldomein is alleen ongelabelde data beschikbaar. De classifier wordt bevroren en de backbone wordt aangepast met twee zelftoezichthoudende doelstellingen:
1. Bezetting-gewogen Informatiemaximalisatie: Om instorting naar de dominante "geen persoon"-klasse te voorkomen, introduceren de auteurs een gemodificeerde informatiemaximalisatie-verliesfunctie. In tegenstelling tot standaardmethoden die diversiteit over alle slots afdwingen, weegt deze benadering de diversiteitsregularisatie op basis van de geschatte bezettingskans van elke slot. Het sluit de "geen persoon"-klasse uit van de marginale entropieterm, zodat het model zich richt op het diversifiëren van voorspellingen alleen voor waarschijnlijk bezette slots.
2. Rotatie-gebaseerde Ruimtelijke Zelftoezicht: Om domein-invariante kenmerken te leren, hanteert het raamwerk een binaire rotatievoorspellingstaak (0° vs. 180°) op het CSI frequentie-tijd rooster. Dit maakt gebruik van de structurele eigenschappen van CSI-signalen om bron- en doeldomeinrepresentaties zonder labels te aligneren.
Single-User Variant (SU-SHOT-Fi): Voor single-user scenario's wordt het raamwerk aangepast door bezetting-gewogen maximalisatie te vervangen door standaard informatiemaximalisatie, wat k-nabije centroid pseudo-labeling mogelijk maakt (wat stabiel is door gebalanceerde klassendistributies), en door Contrastive Predictive Coding (CPC) toe te voegen om temporale consistentie in CSI-sequenties te benutten.

Belangrijkste Bijdragen

MU-SHOT-Fi Raamwerk: Het eerste SFUDA-raamwerk specifiek ontworpen voor multi-gebruiker Wi-Fi sensing, agnostisch ten opzichte van CSI-voorverwerking (amplitude of faseverhouding).
Bezetting-gewogen Informatiemaximalisatie: Een nieuwe verliesfunctie die klasse-imbalans mitigeert door dynamisch diversiteitsregularisatie te wegen op basis van slotbezetting, waardoor modelinstorting naar de "geen persoon"-klasse wordt voorkomen.
Permutatie-invariante Lering: De integratie van Hongaarse matching tijdens brontraining en de aanpassing daarvan aan het doeldomein zonder expliciete slot-correspondentie, wat de ongeordende aard van multi-gebruiker staten adresseert.
Ruimtelijke Zelftoezicht: Het gebruik van rotatievoorspelling op CSI frequentie-tijd structuren om domein-invariante kenmerken te leren zonder labels.
Uitgebreide Evaluatie: Uitgebreide experimenten op de WiMANS (multi-gebruiker) en Widar 3.0 (single-user) datasets over kruisomgeving, kruisfrequentie en kruisoriëntatie verschuivingen.

Experimentele Resultaten

Multi-Gebruiker (WiMANS): Onder gecombineerde domeinverschuivingen (kruisomgeving en kruisfrequentie) bereikte het model alleen op brondata slechts 19,61% slot-precisie. MU-SHOT-Fi verbeterde dit tot 41,97%, terwijl het Occupancy Mean Absolute Error (MAE) werd verlaagd van 3,00 naar 2,12. Het bereikte ook een Exact Match-precisie van 2,88% (tegenover 0,71% voor baselines), wat een enorme verbetering is ten opzichte van willekeurige kans in de combinatorische uitvoerruimte.
Single-User (Widar 3.0): SU-SHOT-Fi verbeterde de gemiddelde precisie van 80,18% (bron alleen) naar 85,75% over verschillende verschuivingen, en presteerde beter dan standaard SFUDA-baselines (SHOT-IM en SHOT++).
Ablatie Studies:
- Het toevoegen van CPC aan het multi-gebruiker model verslechterde de prestaties, omdat temporale consistentie in strijd is met de permutatie-invariante slot-herschikking die door Hongaarse matching vereist wordt.
- Een gepoolde parallelle classifier-architectuur presteerde beter dan een query-gebaseerde transformer-decoder (DETR-stijl) in adaptatie, omdat de laatste de neiging had om de meerderheidsklasse "geen persoon" te exploiteren in plaats van activiteitskenmerken te leren.

Betekenis en Claims
Het artikel beweert dat MU-SHOT-Fi effectief de prestaties van multi-gebruiker exacte-activiteitclassificatie herstelt onder grote domeinverschuivingen, terwijl het nauwkeurige bezettingsschatting behoudt. De auteurs benadrukken dat hun aanpak modelinstorting naar dominante klassen voorkomt – een veelvoorkomende faalmodus in multi-gebruiker SFUDA – door expliciet de bezettingsstructuur van de uitvoerruimte te modelleren. Het werk onderstreept dat terwijl standaard adaptatietechnieken (zoals adversariaal leren of eenvoudige entropieminimalisatie) falen in multi-gebruiker settings vanwege signaalkluisting en klasse-imbalans, de voorgestelde bezetting-gewogen diversiteit en permutatie-invariante leringsstabilisatie stabiele adaptatie mogelijk maken. De broncode is publiek beschikbaar om verder onderzoek te faciliteren in privacybehoudende, multi-gebruiker Wi-Fi sensing.