Technische Samenvatting: RePos – Relative-to-Absolute Pose Factorization voor Cross-Environment WiFi-gebaseerde 3D Menselijke Pose Schatting

1. Probleemstelling

Het artikel behandelt de kritieke uitdaging van cross-environment generalisatie bij device-free 3D menselijke pose schatting met behulp van commodity WiFi Channel State Information (CSI). Hoewel WiFi-sensing privacy-bewarende en verlichtings-robuuste alternatieven biedt voor camera-gebaseerde systemen, hebben bestaande modellen moeite met implementatie in onbekende omgevingen zonder per-omgeving kalibratie.

De kern van de moeilijkheid ligt in de aard van CSI: in tegenstelling tot afbeeldingen mist CSI ruimtelijk gelokaliseerde correspondentie met lichaamsdelen en wordt het sterk gevormd door multipath-propagatie die specifisch is voor de kamerindeling, meubilair en de geometrie tussen zender en ontvanger. Bijgevolg hebben modellen die absolute poses (gewrichtscoördinaten in de kamerruimte) regresseren de neiging om lichaamsstructuur te verstrengelen met omgevingsspecifieke positiekenmerken. Dit "coördinaat-overfitting" fenomeen zorgt ervoor dat modellen een hoge nauwkeurigheid bereiken binnen één enkele trainingsomgeving, maar een scherpe prestatieafname vertonen bij implementatie in onbekende kamers, omdat de geleerde positie-priors niet overdraagbaar zijn.

2. Methodologie: RePos Framework

De auteurs stellen RePos (Relative-to-Absolute Pose) voor, een gefactoriseerd framework dat de voorspelling van de lichaamsstructuur ontkoppelt van de absolute locatie. In plaats van één enkele mapping van CSI naar absolute coördinaten te leren, splitst RePos de taak op in twee onafhankelijk getrainde takken die aan de output worden gecombineerd.

A. Pose Factorisatie

De absolute pose $J_{abs}$ wordt gedecomposeerd in:
$$J_{abs} = J_{rel} + r$$
Waarbij $J_{rel}$ de root-relatieve pose is (lichaamsconfiguratie onafhankelijk van globale translatie) en $r$ de root positie is (bekkenlocatie in de kamer).

• Structure Branch: Getraind alleen op $J_{rel}$, zonder ontvangst van absolute positie-supervisie. Dit voorkomt dat omgevingsspecifieke positiekenmerken lekken naar de structurele representatie.
• Localization Branch: Getraind om $r$ te voorspellen vanuit CSI-amplitude, fungerend als een leerbare ruimtelijke prior.

B. Fase 1: Structured Pose Decoder (Structure Branch)

Deze fase schat de root-relatieve pose $J_{rel}$ via een modaliteit-specifieke architectuur die is ontworpen om anatomische structuur op de ruwe CSI op te leggen:

1. CSI Encoder: Verwerkt CSI-amplitude in gecodeerde features met behulp van een CNN en Transformer.
2. Body-Part Latent Queries (BP-LQs): Introduceert een gestructureerde intermediaire representatie. Leerbare latente tokens worden gegroepeerd in zes anatomische regio's (hoofd, romp, linker/rechter armen, linker/rechter benen). Deze tokens fungeren als queries die aandacht schenken aan CSI-features, wat een bottleneck creëert die informatie organiseert op basis van lichaamsdelen in plaats van ruwe signalen.
3. Skeleton Graph Attention (SGA): Een graph attention module die de BP-LQs verfijnt. Het gebruikt een binaire adjacency matrix om skeletale connectiviteitsrestricties af te dwingen (bijv. de romp die verbonden is met ledematen) tijdens de feature-verfijning, waardoor de intermediaire representatie de anatomische topologie respecteert vóór de gewrichtsdecodering.
4. Part-to-Joint Decoder: Aggregeert part-level features en decodeert deze naar 17 gewrichtscoördinaten relatief aan de root.

C. Fase 2: Amplitude-gebaseerde Spatial Prior Network (ASPN)

Deze fase schat de root positie $r$ met uitsluitend de CSI-amplitude (waarbij de vaak onbetrouwbare fase bij commodity devices wordt genegeerd):

1. Latent Modulation Code: Een CNN brengt de CSI-amplitude in kaart naar een leerbare latente code, die de amplitude moduleert om een complex signaal te synthetiseren.
2. Differentiable Spatial Decomposition: Het gesynthetiseerde signaal ondergaat een natuurkundig gemotiveerde maar leerbare decompositie die gebruikmaakt van receive-only beamforming (angular spectrum) en Inverse Fast Fourier Transform (IFFT) om een ruimtelijke heatmap te genereren. Dit creëert een ruimtelijke representatie die geoptimaliseerd is voor lokalisatie zonder dat expliciete fysieke fasekalibratie nodig is.
3. Root Regressor: Een CNN en MLP voorspellen de 3D root positie vanuit de ruimtelijke heatmap.

D. Trainingsstrategie

Het model wordt getraind in twee opeenvolgende fasen:

1. Fase 1: Optimaliseert de volledige Structured Pose Decoder op root-relatieve targets met een limb-length regularizer.
2. Fase 2: Bevriest Fase 1 en optimaliseert enkel de ASPN-parameters met absolute pose targets. Dit zorgt ervoor dat de structure branch niet wordt gecorrumpeerd door positie-gradiënten.

E. RePos-D (In-Domain Variant)

Voor in-domain deployment waar positiekenmerken consistent zijn, introduceren de auteurs een directe variant genaamd RePos-D, die dezelfde Fase 1 backbone gebruikt maar de absolute pose end-to-end regresseert, waarbij de factorisatie en ASPN worden weggelaten.

3. Belangrijkste Bijdragen

1. Gefactoriseerd Framework: RePos pakt coördinaat-overfitting aan door de root-relatieve pose schatting te scheiden van de root lokalisatie, wat ervoor zorgt dat de structure branch omgevingsstabiele representaties leert.
2. Body-Part Latent Queries (BP-LQs): Een anatomisch gegroepeerde latente token representatie die een skeletstructuur oplegt vóór de joint decodering, verfijnd door Skeleton Graph Attention (SGA).
3. Kalibratie-vrije Lokalisatie: Het ontwerp van ASPN, dat de root positie schat vanuit de CSI-amplitude via een differentiabele ruimtelijke decompositie, waardoor de noodzaak voor gekalibreerde fase of fysieke AoA/ToF schatting wordt vermeden.
4. State-of-the-Art Prestaties: Gedemonstreerd superieure prestaties in zowel cross-environment als in-domain settings.

4. Experimentele Resultaten

De methode werd geëvalueerd op de MM-Fi dataset (cross-environment) en Person-in-WiFi-3D (in-domain).

• Cross-Environment (MM-Fi): Onder het strikte protocol (trainen op omgevingen E01–E03, testen op onbekende E04), verminderde RePos de Mean Per-Joint Position Error (MPJPE) met 10–21% vergeleken met bestaande WiFi-only methoden (bijv. DT-Pose, MetaFi++).
  • RePos behaalde een MPJPE van 254.4–296.1 mm over verschillende activiteitsprotocollen.
  • Cruciaal is dat de Root Position Error significant werd verminderd (bijv. 203 mm versus >260 mm voor baselines), terwijl de PA-MPJPE (Procrustes-aligned, meet lichaamsvorm) vergelijkbaar bleef met de baselines. Dit bevestigt dat de verbetering voortkomt uit een betere behandeling van lokalisatie in plaats van een fundamentele verandering in de reconstructie van de structuur.
• In-Domain (Person-in-WiFi-3D): De directe variant RePos-D behaalde een 86.9 mm MPJPE, een verbetering van 3.4% ten opzichte van de vorige beste methode (DT-Pose met 90.0 mm), wat aantoont dat de backbone zeer effectief is wanneer de omgeving vaststaat.
• Ablatie-studies:
  • Het verwijderen van de factorisatie (gebruik van RePos-D in cross-environment settings) zorgde ervoor dat de prestaties terugvielen naar het niveau van de baselines, wat de noodzaak van het scheiden van structuur en positie bevestigt.
  • Het verwijderen van BP-LQs of SGA verslechterde zowel de structuur als de root nauwkeurigheid, wat de belangrijkheid van anatomische groepering valideert.
  • Foutanalyse toonde aan dat de twee takken geen fouten doorgeven (cascaderen); de lokalisatie-tak is robuust tegen ruis in de structure-tak.

5. Betekenis en Claims

Het artikel stelt dat de primaire hindernis voor inzetbare WiFi-sensing niet het onvermogen is om de lichaamsvorm te reconstrueren, maar de verstrengeling van lichaamsstructuur met omgevingsspecifieke positiekenmerken.

• Architecturale Bias boven Feature Invariantie: De auteurs benadrukken dat RePos niet slaagt door "omgevings-invariante features" te leren. Analyse laat zien dat interne representaties (inclusclusief structure features) nog steeds sterk omgevings-separable blijven. In plaats daarvan komt het succes voort uit een architecturale inductieve bias die de omgevingsafhankelijke grootheid (positie) naar een aparte tak routeert, waardoor de structure branch alleen wordt gesuperviseerd door de omgevingsstabiele target (relatieve pose).
• Praktische Implementatie: Het framework maakt het mogelijk dat een model getraind op een set bronomgevingen kan draaien in een onbekende doelomgeving zonder kalibratie of fine-tuning.
• Omvang en Beperkingen: De auteurs merken bescheiden op dat hoewel RePos de cross-environment kloof aanzienlijk verkleint, de lokalisatie-tak nog steeds omgevingsafhankelijk is (root error blijft ~260 mm). De methode wordt gepresenteerd als een grove, kalibratie-vrije lokalisator geschikt voor toepassingen zoals valdetectie en gezondheidsmonitoring, maar kan verdere verbetering vereisen voor fijnmazige AR/VR interacties. De auteurs erkennen ook beperkingen met betrekking tot single-person constraints en de noodzaak voor toekomstig werk op free-roaming data en multi-person scenario's.

Samenvattend biedt RePos een verenigde backbone die zowel hoogwaardige in-domain deployment (via RePos-D) als robuuste, kalibratie-vrije cross-environment deployment (via RePos) ondersteunt, waarmee het inherent falen door coördinaat-overfitting in huidige WiFi-sensing benaderingen effectief aanpakt.