Enhancing 6G Wireless Intelligence: Do LLMs Work for CSI Prediction?

Titel: Verbetering van 6G Draadloze Intelligentie: Werken LLM's voor CSI-voorspelling?

Auteurs: Mohsen Kazemian en Jürgen Jasperneite (TH-OWL, Duitsland)

1. Het Probleem

In de komende 6G-netwerken worden scenario's met hoge mobiliteit (zoals satellieten, drones, vliegtuigen en hogesnelheidstreinen) steeds belangrijker. In deze omgevingen veranderen de draadloze kanalen zeer snel, wat leidt tot zeer korte coherentietijden.

• Beperkingen van bestaande methoden: Traditionele pilot-gebaseerde kanaalschatting (CSI) wordt hierdoor inefficiënt. Om actuele informatie te houden, zijn frequente pilots nodig, wat de spectrale efficiëntie verlaagt. Minder pilots leiden echter tot verouderde kanaalinformatie door "channel aging".
• OTFS als oplossing: Orthogonal Time Frequency Space (OTFS) modulatie wordt gezien als een veelbelovende golfvorm voor hoge mobiliteit omdat deze informatie in het vertraging-Doppler (DD) domein mappet, wat robuust is tegen Doppler-verschuivingen. Echter, de snelle variatie van het kanaal vereist nog steeds nauwkeurige voorspellingstechnieken.
• Huidige AI-aanpakken: Bestaande AI-methoden (zoals diep leren) zijn vaak gespecialiseerd voor specifieke omgevingen en missen het vermogen om te generaliseren. Nieuwe Large Language Models (LLM's) tonen sterk sequentiemodelleerend vermogen, maar hun toepassing op OTFS-kanalen is nog onontgonnen terrein. Bestaande LLM-aanpakken voor draadloze communicatie gebruiken vaak alleen historische data en negeren fysieke kanaaldynamica.

2. Methodologie

De auteurs stellen een fysiek-bewust LLM-framework voor voor kanaalvoorspelling in OTFS-systemen. Het doel is het voorspellen van toekomstige kanaalcoëfficiënten op basis van historische waarnemingen, verrijkt met fysieke beschrijvers van de mobiliteit.

Het framework bestaat uit vier hoofdblokken:

1. Preprocessing:
   • Complexe kanaalcoëfficiënten worden omgezet naar reële representaties (real en imaginaire delen).
   • Historische kanaalsequenties ($H_t$) en fysieke dynamische beschrijvers ($D_t$) worden genormaliseerd.
2. Feature Embedding:
   • Zowel de kanaaldata als de fysieke parameters (zoals maximale Doppler-frequentie) worden via fully connected layers naar een gemeenschappelijke embedding-ruimte geprojecteerd.
   • Deze features worden gefuseerd ($E = E_H + E_D$) en er wordt positionele encoding toegevoegd om de tijdsorde van de OTFS-frames te behouden.
3. LLM Backbone:
   • Als kern wordt een vooraf getrainde transformer-architectuur (zoals GPT-2) gebruikt.
   • Fine-tuning: De meeste parameters van de LLM worden "bevroren" om het algemene sequentiemodelleerend vermogen te behouden. Alleen een klein subset (zoals normalisatielagen en embedding-layers) wordt gefine-tuned op de specifieke taak van kanaalvoorspelling.
   • De LLM leert de complexe tijdsafhankelijkheden tussen de ingevoerde tokens (historische data + fysieke parameters).
4. Output Module:
   • De output van de LLM wordt via een fully connected layer gemapt naar de toekomstige kanaalcoëfficiënten.
   • De voorspelde reële waarden worden opnieuw samengevoegd tot complexe kanaalcoëfficiënten voor de volgende $N_F$ frames.

Belangrijke variatie in input: De auteurs testen verschillende fysieke parameters als extra input:

• Doppler-frequentie: Direct gerelateerd aan de snelheid en tijdsvariatie van het kanaal.
• SNR (Signaal-Ruisverhouding): Een statische parameter die minder direct de tijdsdynamiek beschrijft.

3. Belangrijkste Bijdragen

• Fysiek-bewust LLM-framework: Voor het eerst wordt een LLM-architectuur voorgesteld die specifiek is ontworpen voor OTFS-kanalen en historische observaties combineert met fysieke mobiliteitsparameters.
• Analyse van Fysieke Parameters: Het onderzoek toont aan dat niet alle fysieke parameters even nuttig zijn. Doppler-frequentie (mobiliteitsgerelateerd) biedt aanzienlijk betere voorspelling dan SNR, omdat Doppler direct de tijdsvariatie van het kanaal weergeeft.
• Robuustheid in hoge mobiliteit: Het framework is getest in extreme scenario's (100 tot 500 km/u) en toont superioriteit ten opzichte van zowel klassieke deep learning-methoden als LLM's zonder fysieke context.

4. Resultaten

De prestaties zijn geëvalueerd via uitgebreide simulaties met synthetische kanalen (QuaDRiGa simulator, 3GPP UMa model, NLOS) voor een OTFS-systeem.

• Meting: De prestatie wordt gemeten aan de hand van de Genormaliseerde Gemiddelde Kwadratische Fout (NMSE).
• Invloed van Snelheid: Bij toenemende snelheid (tot 500 km/u) neemt de voorspellingnauwkeurigheid bij alle methoden af, maar het voorgestelde model behoudt de laagste NMSE.
  • Bij 450 km/u: Het Doppler-bewuste model bereikt een NMSE van $\approx 4 \times 10^{-3}$.
  • Ter vergelijking: Een model zonder fysieke parameters (ablatie) levert $\approx 4 \times 10^{-2}$ op, en een model met SNR levert $\approx 1.1 \times 10^{-2}$ op.
• Invloed van Voorspellingshorizon: Zelfs bij langere voorspellingshorizons (tot 10 frames) behoudt het voorgestelde model een significante nauwkeurigheidsvoorsprong ten opzichte van ablatiemodellen.

5. Betekenis en Conclusie

Dit onderzoek demonstreert dat het integreren van fysische kanaalkennis (zoals Doppler-informatie) in data-gedreven sequentiemodels (LLM's) een krachtige strategie is voor 6G.

• Efficiëntie: Het reduceert de noodzaak voor frequente pilots, wat de spectrale efficiëntie in dynamische omgevingen verbetert.
• Generalisatie: Door fysieke parameters te gebruiken, kan het model beter omgaan met veranderingen in mobiliteit dan pure datamodellen.
• Toekomst: De resultaten onderstrepen dat LLM's, wanneer ze "fysiek bewust" worden gemaakt, een veelbelovende richting vormen voor betrouwbare kanaalvoorspelling in de volgende generatie draadloze netwerken.

Kortom, de paper bewijst dat LLM's wel degelijk werken voor CSI-voorspelling, mits ze worden verrijkt met de juiste fysieke context (mobiliteitsparameters) om de complexe dynamiek van hoge-snelheidscommunicatie te modelleren.