Structured Latent Dynamics in Wireless CSI via Homomorphic World Models

Probleemstelling

De huidige methoden voor het modelleren van draadloze kanalen en het creëren van "Channel Charts" (het inbedden van hoge-dimensionale Channel State Information (CSI) in een lagere dimensie die ruimtelijke nabijheid behoudt) hebben enkele fundamentele beperkingen:

1. Gebrek aan temporeel inzicht: Klassieke benaderingen zijn vaak statisch en vertrouwen op handgemaakte dissimilariteitsmaten of contrastieve training, zonder rekening te houden met de tijdsafhankelijke evolutie van het kanaal.
2. Afhankelijkheid van labels: Veel methoden vereisen specifieke domeinkennis of ruimtelijke labels (zoals exacte posities) voor het trainen van de representatie.
3. Ongeordende latent ruimte: Bestaande voorspellende modellen behandelen overgangen in de latent ruimte vaak als generieke mappingen, wat leidt tot een gebrek aan geometrische consistentie en compositie (de mogelijkheid om complexe bewegingen te modelleren door eenvoudige bewegingen te combineren).

Het doel van dit werk is het ontwikkelen van een zelftoezichthoudend (self-supervised) raamwerk dat niet alleen toekomstige kanalen voorspelt, maar ook een gestructureerde, meetkundig trouwe latent ruimte leert die de fysieke beweging van gebruikers en de dynamiek van het kanaal nauwkeurig weerspiegelt.

Methodologie

De auteurs introduceren een Voorspellend Wereldmodel (Predictive World Model) gebaseerd op de Joint Embedding Predictive Architecture (JEPA). Het kernidee is om de evolutie van het draadloze kanaal te modelleren als een dynamisch systeem in een compacte latent ruimte, gestuurd door de beweging van de gebruiker.

Belangrijkste technische componenten:

1. Architectuur en Input:

   • Het model neemt complexe CSI-data (amplitude en fase) als input en verwerkt deze via een gedeelde encoder ($\zeta$) naar een latent vector $z_t$.
   • De beweging van de gebruiker (geschatte 2D-velocity) fungeert als een "actie" ($a_t$) die de overgang in de latent ruimte bestuurt.

2. Homomorphe Latente Dynamica (Kerninnovatie):

   • In plaats van een generieke neurale netwerkmapping voor overgangen, gebruiken de auteurs een homomorphe structuur gebaseerd op Lie-algebra.
   • De actie $a_t$ wordt geprojecteerd naar een Lie-algebra via een leerbare mapping $\phi_\Theta$.
   • De overgangsoperator wordt verkregen via de matrix-exponentiële: $\rho_\Theta(a_t) = \exp(\phi_\Theta(a_t))$.
   • De toekomstige latent toestand wordt voorspeld door opeenvolgende groepssamenstellingen: $\hat{z}_{t+h} = (\prod \rho_\Theta(a_{t+i})) z_t$.
   • Dit garandeert dat de dynamica algebraïsch consistent is, wat zorgt voor soepele en voorspelbare rollouts, zelfs voor lange reeksen bewegingen.

3. Trainingsdoel (Self-Supervised):

   • Het model wordt getraind zonder expliciete ruimtelijke labels, uitsluitend op basis van CSI-sequenties en bewegingsdata.
   • Teacher-Student Setup: Een online encoder genereert voorspellingen, terwijl een "target encoder" (bijgewerkt via Exponential Moving Average - EMA) de doelen genereert.
   • Verliesfuncties:
     • Teacher-forcing & Rollout Loss: Minimaliseert de fout tussen voorspelde en echte toekomstige latent vectors.
     • VICReg Regularisatie: Voorkomt degeneratie van de latent ruimte door de variantie te handhaven en covariantie tussen dimensies te minimaliseren.
     • Inverse Dynamics Modeling (IDM): Een extra loss die de encoder dwingt informatie over de beweging (actie) in de latent representatie te coderen, zodat de beweging uit opeenvolgende latent vectors kan worden afgeleid.

Belangrijkste Bijdragen

1. Eerste toepassing van Homomorphe JEPA: Dit is de eerste toepassing van een JEPA-achtige architectuur met homomorphe latent dynamica (Lie-groep gebaseerd) specifiek voor radio-kanaalmodellering.
2. Unified End-to-End Learning: In tegenstelling tot eerdere werken die een tweestapsproces gebruikten (eerst charten, dan dynamica leren), traint dit model het gehele proces end-to-end op ruwe CSI-data.
3. Gestructureerde Representatie: Door de Lie-algebra te gebruiken, creëert het model een latent ruimte die niet alleen ruimtelijke nabijheid behoudt, maar ook de compositie van bewegingen (bijv. twee opeenvolgende bewegingen zijn equivalent aan hun som in de latent ruimte).
4. Forward Charting Function (FCF): De getrainde encoder fungeert als een meetkundig trouwe functie die CSI afbeeldt op een ruimte waar Euclidische afstanden corresponderen met fysieke verplaatsingen.

Resultaten

De methode is geëvalueerd op het DICHASUS-dataset (breedbandige indoor kanaalmetingen met meerdere ontvangers).

• Vergelijking met Baselines: Het voorgestelde model presteerde significant beter dan sterke baselines zoals Multi-Layer Perceptrons (MLP), Gated Recurrent Units (GRU) en Feature-wise Linear Modulation (FiLM) predictors.
• Kwaliteitsmetrieken:
  • Trustworthiness (TW) & Continuity (CT): De voorgestelde methode behaalde scores van respectievelijk 0.9948 en 0.9764, wat aangeeft dat de lokale structuur van de ruimtelijke data uitstekend wordt behouden.
  • Kruskal's Stress (KS) & Rajski's Distance (RD): De scores waren respectievelijk 0.1001 en 0.7473 (lager is beter), wat wijst op een sterke globale topologische alignatie.
• Generalisatie: Het model toonde uitstekende generalisatie naar ongezette trajecten en omgevingen zonder hertraining, wat de robuustheid van de geleerde gestructureerde dynamica bevestigt.
• Ablatie-studie: Het verwijderen van de VICReg- en IDM-regularisatie leidde tot een drastische daling in prestaties (bijv. CT daalde naar 0.64), wat aantoont dat zowel de structuur van de embedding als de bewegingsbewustzijn essentieel zijn.

Betekenis en Toekomstperspectief

Dit werk biedt een fundamentele doorbraak in hoe we draadloze omgevingen kunnen begrijpen en modelleren:

• Scalabiliteit: Het biedt een schaalbare basis voor downstream toepassingen zoals mobiliteitsbewust scheduling, nauwkeurige lokalisatie en het begrijpen van draadloze scènes, zonder dat er dure labels nodig zijn.
• Robuuste Planning: Door het gebruik van wereldmodellen kunnen netwerkagenten toekomstige kanaalcondities simuleren en strategieën evalueren voordat ze worden uitgevoerd, wat essentieel is voor autonome netwerken.
• Fysieke Interpretatie: De introductie van Lie-groepen in de latent ruimte verbindt diep learning direct met de fysieke wiskunde van beweging, wat leidt tot meer interpreteerbare en betrouwbare modellen.

De auteurs wijzen erop dat toekomstig werk zich moet richten op het uitbreiden van dit raamwerk naar dynamische omgevingen met veranderende verstrooiers en het optimaliseren van de rekenkosten voor real-time implementatie in draadloze systemen.