🤖 machine learning

KOALA: Koopman Operator Learning for WiFi-Based Anticipatory Hum

KOALA is een nieuw framework dat robuuste, multi-horizon menselijke bewegingsvoorspelling mogelijk maakt direct vanuit ruisachtige WiFi CSI door pose-sequenties te liften naar een geleerde Koopman latente ruimte waar nietlineaire dynamica wordt gelineariseerd, waardoor de foutaccumulatie die typerend is voor autoregressieve methoden wordt vermeden terwijl specifieke architecturale componenten worden geïntroduceerd om veelvoorkomende dynamische valkuilen op te lossen.

Oorspronkelijke auteurs: Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

Gepubliceerd 2026-08-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Quang-Anh N. D., Duc Pham Minh, Thao Phuong Pham, Minh Anh Nguyen, Huan X. Nguyen, Tuan Dang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film probeert te kijken in een kamer waar het licht uit is, de muren dik zijn en de camera kapot is. Dit is de dagelijkse realiteit voor veel slimme systemen die afhankelijk zijn van camera's om menselijke bewegingen te begrijpen. Camera's hebben een vrije zichtlijn nodig, ze worstelen in het donker en roepen ernstige privacyzorgen op wanneer ze in huizen of ziekenhuizen worden geplaatst. Jarenlang hebben wetenschappers gezocht naar een betere manier om te zien zonder echt te zien. Ze vonden een veelbelovende kandidaat in de onzichtbare golven van Wi-Fi-signalen die onze huizen vullen. Deze signalen weerkaatsen op alles, inclusief mensen, en de manier waarop ze veranderen terwijl een persoon beweegt, draagt een verborgen handtekening van die beweging met zich mee. Hoewel onderzoekers al hebben uitgevogeld hoe ze deze signalen kunnen gebruiken om te raden waar een persoon zich nú bevindt, bleef een veel moeilijkere vraag over: kan een computer voorspellen waar die persoon zal zijn voordat hij daar aankomt?

Een nieuwe studie gepubliceerd in de Transactions on Machine Learning Research introduceert een systeem genaamd KOALA, ontworpen om die vraag te beantwoorden. De onderzoekers, werkend met gegevens uit twee belangrijke Wi-Fi-sensing datasets, ontwikkelden een methode die de ruisachtige, schokkerige signalen van een Wi-Fi-router omzet in een betrouwbare voorspelling van menselijke beweging. In tegenstelling tot eerdere pogingen die probeerden de volgende instantie te raden op basis van de vorige — een proces dat vaak leidt tot een cascade van fouten — gebruikt KOALA een wiskundige benadering die de hele toekomst als één enkel, lineair pad behandelt. Het systeem voorspelt succesvol menselijke houdingen tot twee seconden in de toekomst met een nauwkeurigheid die de bestaande methoden ver overstijgt, wat bewijst dat Wi-Fi meer kan dan alleen apparaten verbinden; het kan menselijke actie anticiperen.

De uitdaging om beweging te voorspellen vanuit Wi-Fi is fundamenteel anders dan dat met een videocamera. Wanneer een camera een persoon opneemt, legt het een schoon, gedetailleerd beeld van hun skelet vast. Wi-Fi ziet de wereld echter door een mist van interferentie. Terwijl een persoon beweegt, reflecteren en verstrooien lichaamsdelen de radiogolven, wat een complex patroon van signaalveranderingen creëert dat vaak incompleet is en vol statische ruis zit. Eerdere systemen behandelden dit als een simpel probleem van het raden van de huidige positie op basis van het signaal, maar ze faalden in het modelleren van hoe die positie in de loop van de tijd verandert. Wanneer onderzoekers probeerden standaard video-voorspellings technieken toe te passen op deze rommelige Wi-Fi-signalen, stapelden de fouten zich snel op. Als een systeem de volgende stap onjuist raadt, wordt die fout het startpunt voor de volgende gok, waardoor de voorspelling snel onzinnig wordt.

KOALA lost dit op door de manier waarop de computer over het probleem denkt te veranderen. In plaats van te proberen de volgende houding stap voor stap te voorspellen, tilt het systeem de gehele sequentie van bewegingen naar een speciale wiskundige ruimte waar de regels van beweging eenvoudig en recht worden. In deze ruimte kan het complexe, draaiende pad van een menselijk lichaam worden beschreven door een enkele, onveranderlijke regel die voor elk moment in de toekomst geldt. De onderzoekers bouwden een neuraal netwerk dat leert om de rommelige Wi-Fi-signalen te vertalen naar deze schone ruimte, de regel toe te passen om in de tijd vooruit te springen, en vervolgens het resultaat terug te vertalen naar een menselijke houding. Omdat het systeem niet stap voor stap hoeft te raden, vermijdt het de opeenhoping van fouten die andere methoden teistert. Het kan naar het huidige signaal kijken en direct berekenen waar de persoon zich over één seconde, twee seconden of zelfs langer zal bevinden, zonder dat de voorspelling degradeert.

Om dit werkend te krijgen, moest het team een specifiek probleem overwinnen waarbij het systeem simpelweg de huidige houding kopieerde en deed alsover dat er niets zou veranderen, een oplossing die werkt voor zeer korte tijdsperioden maar faalt voor langere perioden. Ze losten dit op door het systeem te ontwerpen om alleen het verschil te voorspellen tussen de huidige houding en de toekomstige houding, in plaats van de houding zelf. Ze voegden ook een speciale trainingsmethode toe die het systeem dwingt om consistent te blijven over verschillende tijdschalen, wat ervoor zorgt dat de wiskundige regel die het leert daadwerkelijk reflecteert hoe mensen bewegen. Het resultaat is een model dat stabiel blijft, zelfs wanneer het Wi-Fi-signaal ruisachtig is of de omgeving verandert.

De onderzoekers testten KOALA op twee grote datasets met duizenden voorbeelden van mensen die bewegen in verschillende kamers en diverse handelingen verrichten. In één test die tweidimensionale beweging betrof, voorspelde het systeem houdingen met een gemiddelde fout van slechts 26,14 millimeter op een tiende van een seconde in de toekomst, en 27,28 millimeter op één seconde. Dit was een significante verbetering ten opzien van de op één na beste methode, die ongeveer 19 procent minder nauwkeurig was. In een moeilijkere test die driedimensionale beweging betrof, presteerde het systeem aanzienlijk beter dan alle andere benaderingen, waarbij de fout met een factor van meer dan zes werd verminderd vergeleken met de beste concurrerende methode op de kortste tijdschaal. Cruciaal was dat naarmate de voorspeltijd toenam, de fout slechts langzaam en gestaag groeide, terwijl andere methoden zagen dat hun fouten explodeerden of afvlakten op een manier die suggereerde dat ze slechts de gemiddelde positie raadden in plaats van echte beweging te volgen.

De bevindingen suggereren dat Wi-Fi-signalen genoeg informatie bevatten om niet alleen een persoon te lokaliseren, maar ook hun toekomstige bewegingen met hoge precisie te voorspellen. Deze capaciteit zou de manier waarop slimme omgevingen met mensen interageren kunnen transformeren, door proactieve ondersteuning mogelijk te maken in huishoudens, veiligere mens-robot samenwerking in fabrieken en vroege interventie in de gezondheidszorgmonitoring. Het systeem werkt zonder dat de persoon sensoren hoeft te dragen of door een camera gezien hoeft te worden, wat een privacy-vriendelijk alternatief biedt dat altijd aan staat en altijd luistert. Hoewel de huidige versie van het systeem is ontworpen voor één persoon en ervan uitgaat dat de omgeving relatief stabiel blijft, opent het succes van de aanpak de deur naar complexere toepassingen. De onderzoekers merken op dat toekomstig werk dit kan uitbreiden naar het voorspellen van de bewegingen van meerdere mensen tegelijk of het afhandelen van meer plotselinge veranderingen in gedrag, maar de kernprestatie staat vast: een machine heeft geleerd de toekomst te zien in de statische ruis van een Wi-Fi-signaal.

Technische Samenvatting: KOALA – Koopman Operator Learning voor WiFi-gebaseerde Anticiperende Menselijke Bewegingsvoorspelling

1. Probleemstelling

Het artikel behandelt de uitdaging van anticiperende menselijke bewegingsvoorspelling met behulp van WiFi Channel State Information (CSI). Hoewel WiFi CSI een privacy-beschermend, infrastructuurvrij alternatief biedt voor camera-gebaseerde sensing voor menselijke pose-schatting, behandelen bestaande benaderingen pose-inferentie als een instantane regressieprobleem. Ze falen in het modelleren van temporele dynamiek, waardoor toekomstige bewegingsvoorspelling onmogelijk wordt.

Het direct toepassen van visuele voorspellingsmethoden op CSI-afgeleide poses is ineffectief omdat:

Ruisversterking: CSI-afgeleide poses zijn inherent ruizig en incompleet door multipath fading en omgevingsinterferentie. Autoregressieve rollouts versterken deze fouten bij elke stap.
Temporele Instabiliteit: In tegenstelling tot schone motion capture-sequenties zijn de uit CSI geëxtraheerde temporele dynamieken minder stabiel en moeilijker te modelleren.
Foutaccumulatie: Voorspelling over meerdere horizonten vereist het handhaven van consistentie over lange sequenties, een taak waarbij standaard autoregressieve strategieën lijden onder exposure bias en foutaccumulatie.

Het kernprobleof is het voorspellen van toekomstige skeletale toestanden vanuit ruisige WiFi-signalen zonder te vertrouwen op autoregressieve iteratie of het accumuleren van fouten over de tijd.

2. Methodologie: Het KOALA-framework

De auteurs stellen KOALA voor (Koopman Operator with Attentive Lifting Architecture), een verenigd framework dat ruisige CSI-afgeleide pose-sequenties naar een geleerd Koopman latent vlak tilt. In dit vlak worden nietlineaire dynamieken getransformeerd naar lineaire dynamieken, wat multi-horizon voorspelling mogelijk maakt via eenvoudige matrix-vectorproducten.

2.1 Architectuuroverzicht

Het framework werkt in vier opeenvolgende stadia:

CSI Codering:
- Een Mamba-gebaseerde encoder verwerkt ruwe CSI-tensoren ( $X \in \mathbb{R}^{T \times S \times A}$ ) om per frame kenmerken en een globale contextvector ( $c$ ) te extraheren.
- De Mamba-architectuur is gekozen vanwege de lineaire-tijd verwerking, geschikt voor de langetermijncorrelaties in CSI-signalen terwijl een lichaam door Fresnel-zones beweegt.
- De globale context $c$ conditioneert uitsluitend de Koopman-operator, wat de inductieve bias implementeert dat CSI moduleert hoe beweging evolueert in plaats van wat de pose is.
Geïntegreerde Pose Schatting en Codering:
- HPE Module: Een Mamba-gebaseerde Human Pose Estimation module herstelt geschatte 3D gewrichtscoördinaten uit CSI-kenmerken. Deze maakt gebruik van joint-conditioned temporele verfijning, anatomische embeddings en skeleton-biased self-attention.
- Gradient Detachment: Cruciaal is dat de geschatte poses worden losgekoppeld van de computationele graaf voordat ze de dynamica-module ingaan. Dit isoleert het pose-lokalisatieobjectief van het voorspellingsobjectief, waardoor voorkomt dat de voorspellingsverlies de geometrische pose-nauwkeurigheid verslechtert.
- Skeleton Encoder: Zet de geschatte poses om in compacte, kinematisch gestructureerde kenmerken met behulp van een skeleton-bewuste encoder met gedeelde anatomische type-embeddings.
Dual-Stream Fusie & Koopman Dynamica:
- Fusie: Pose-afgeleide kenmerken en CSI-kenmerken worden gecombineerd via additieve residuele fusie. Dit zorgt ervoor dat de dynamica-module directe CSI-informatie ontvangt, wat voorkomt dat onnauwkeurige pose-schattingen de representatie domineren.
- Lifting: Een neuraal netwerk ( $\phi$ ) brengt de gefuseerde kenmerken naar een hoger-dimensionaal Koopman latent vlak ( $z_t \in \mathbb{R}^{D_z}$ ) waar $D_z > d$ .
- Residuele CSI-geconditioneerde Operator: De kerninnovatie is een residuele Koopman-operator ( $K_{eff}$ $K_{e f f}$ ) gedefinieerd als:
  $K_{eff} = I + B + \gamma U(c)V(c)^\top$
  - $I + B$ : Vangt gedeelde, basisdynamica op.
  - $\gamma U(c)V(c)^\top$ : Een low-rank term die de dynamica aanpast op basis van de globale CSI-context ( $c$ ), rekening houdend met omgeving-specifieke multipath-effecten.
  - Deze formulering lost het identity attractor probleem op (waarbij operatoren instorten naar de identiteitsmatrix $I$ ) door de identiteit in de architectuur te bakken in plaats van het af te dwingen via initialisatie.
Anchor-Based Decoding:
- In plaats van absolute poses te voorspellen, voorspelt het model pose delta's relatief aan een anchor pose (de laatst geobserveerde pose).
- De toekomstige toestand wordt gepropageerd via $z_{T+k} = K_{eff} z_{T+k-1}$ (een enkele matrix-vectorproduct per stap).
- De uiteindelijke voorspelling is $\hat{p}_{T+h} = \bar{p} + \Delta_\theta(z_{T+h})$ . Deze "anchor-delta" formulering elimineert de degeneratieve shortcut van het kopiëren van de huidige pose over alle horizonten.

2.2 Verliesfunctie

Het trainingsdoel ( $L$ ) combineert drie termen, waardoor er geen behoefte is aan aparte contrastieve, spectrale of hulp-losses:

Voorspellingsverlies ( $L_{pred}$ ): Bestraft pose-ruimte fouten op alle horizonten, gewogen om lange horizonten te benadrukken.
Koopman Anchored Latent (KAL) Verlies ( $L_{KAL}$ ): Een nieuw verlies dat opereert in de temporele-encoder feature-ruimte. Het vereist dat operator rollouts overeenkomen met de kenmerken die het model zou produceren als het toekomstige frames zou observeren.
- Het bevat een reconstructieterm ( $k=0$ ) en horizon-gewogen voorspell termen ( $k>0$ ).
- Korte horizonten domineren de KAL-gradiënt om stabiliteit te garanderen, terwijl supervisie over lange horizonten wordt afgehandeld door $L_{pred}$ .
- Dit verlies dwingt dynamische consistentie af en voorkomt dat de lifting en reconstructie netwerken instorten in een degeneratieve oplossing waarbij de operator-norm onbegrensd groeit.
Pose Schattingsverlies ( $L_{est}$ ): Superviseert de HPE-module met grondwaarheid geobserveerde poses.

3. Belangrijkste Bijdragen

Nieuw Framework: KOALA is het eerste verenigde framework voor multi-horizon menselijke pose-voorspelling direct vanuit WiFi CSI, waarmee de brug wordt geslagen tussen RF-sensing en anticiperend bewegingsbegrip.
Residuele CSI-geconditioneerde Operator: Introduceert een residuele parametrisatie die het identity attractor probleem oplost dat inherent is aan eerdere Koopman-methoden, gekoppeld aan een anchor-delta voorspellingsformulering om gemiddelde-pose instorting te voorkomen.
Koopman Anchored Latent (KAL) Verlies: Absorbeert reconstructie, lineariteit en stabiliteit doelen in één enkele feature-ruimte voorspell term, waardoor complexe contrastieve of spectrale losses overbodig worden.
Robuuste Prestaties: Demonstreert consistente uitmuntendheid ten opzien van baselines over korte- en langetermijnhorizonten op standaard datasets.

4. Experimentele Resultaten

De auteurs evalueerden KOALA op twee datasets: WiPose (2D poses) en MM-Fi (3D poses, grootschalig, multi-subject, multi-environment).

WiPose (2D): KOALA behaalde de laagste MPJPE en PA-MPJPE op alle horizonten (bijv. 26,14 mm bij 100ms, 27,28 mm bij 1000ms). Het verbeterde ten opzichte van de sterkste baseline (VMRNN) met ongeveer 19%. Cruciaal is dat de foutdegradatie over horizonten minimaal was (slechts 1,14 mm), wat wijst op geen significante foutaccumulatie.
MM-Fi (3D): KOALA presteerde aanzienlijk beter dan alle baselines (inclusclusief WiFi-specifieke methoden zoals MetaFi++ en spatiotemporele modellen zoals VMRNN).
- Bij 100ms behaalde KOALA 52,1 mm MPJPE, wat ongeveer 6,4 keer lager is dan de beste concurrerende methode (SwinLSTM met 332,6 mm).
- PCK@10 bereikte 73,9%, terwijl geen enkele baseline de 18,1% overschreed.
- Het model behield een hoge prestatie in cross-subject en cross-environment settings, waarbij de foutgroei gematigd was in plaats van exponentieel.

5. Betekenis en Claims

Het artikel claimt dat KOALA een nieuw paradigma vestigt voor menselijke bewegingsvoorspelling vanuit draadloze signalen. De betekenis ligt in:

Overwinnen van Ruis: Succesvol het modelleren van temporele dynamiek vanuit inherent ruisige CSI-data zonder de foutaccumulatie die typisch is voor autoregressieve methoden.
Linearisering van Nietlineariteit: Het benutten van de Koopman-theorie om complexe, nietlineaire menselijke beweging te transformeren naar een lineair latent vlak, wat efficiënte, niet-iteratieve multi-step voorspelling mogelijk maakt.
Privacy en Alomtegenwoordigheid: Het bieden van een hoogwaardig, privacy-beschermend alternatief voor camera-gebaseerde systemen voor toepassingen in smart homes, gezondheidszorg en mens-robot samenwerking.

Beperkingen en Toekomstig Werk:
De auteurs erkennen bescheiden de huidige beperkingen:

De huidige formulering behandelt single-person scenario's en adresseert niet signaalsuperpositie in multi-occupant settings.
De CSI-geconditioneerde operator is niet gevalideerd onder zero-shot cross-site transfer.
Het model produceert een enkele deterministische voorspelling, waardoor het niet in staat is de volledige distributie van mogelijke toekomstige bewegingen te vangen.
De aanname van tijd-invariante dynamiek kan breken tijdens abrupte actie-transities.

Toekomstig werk wordt gesuggereerd om KOALA uit te breiden naar probabilistische voorspelling en om abrupte transities aan te pakken via mixture-of-operators of mode-switching extensies.