RF-GPT: Teaching AI to See the Wireless World

Titel: RF-GPT: Het Leren van AI om de Draadloze Wereld te "Zien"

Samenvatting:
Dit paper introduceert RF-GPT, het eerste model dat radiofrequente (RF) signalen direct integreert in een multimodale Large Language Model (LLM) architectuur. Het doel is om de kloof te overbruggen tussen traditionele RF-signaalverwerking (die vaak taakspecifiek en niet-interpreteerbaar is) en hoog niveau redenering via natuurlijke taal. RF-GPT transformeert complexe IQ-golven in spectrogrammen, die vervolgens worden verwerkt als visuele invoer door een vision-language model, waardoor het model vragen kan beantwoorden, uitleg kan geven en gestructureerde output kan genereren over draadloze omgevingen.

1. Het Probleem

Huidige systemen voor draadloze communicatie en RF-intelligentie kampen met ernstige beperkingen:

• Gebrek aan native ondersteuning: Bestaande LLM's en multimodale modellen (zoals GPT-4o of LLaVA) begrijpen tekst, beelden en audio, maar niet RF-signalen.
• Fragmentatie: Traditionele RF-modellen zijn vaak "small" en taakspecifiek (bijv. alleen modulatieclassificatie of kanaalschatting). Ze vereisen aparte architecturen, datasets en trainingspijplijnen voor elke taak.
• Gebrek aan interpretatie: Bestaande modellen leveren alleen labels of regressiewaarden op, zonder uitleg, context of de mogelijkheid voor menselijke interactie.
• Data-tekort: Er zijn geen grote, gelabelde datasets van echte RF-signalen met tekstuele annotaties, omdat het verzamelen en labelen van over-the-air data duur, complex en privacygevoelig is.

2. Methodologie: RF-GPT Architectuur

De kern van RF-GPT is het behandelen van RF-spectrogrammen als visuele invoer binnen een multimodaal LLM-framework.

A. RF-Encodering (Visuele Representatie)
In plaats van ruwe IQ-sequenties direct te verwerken (wat computatief zwaar is en de tijds-frequentiestructuur negeert), volgt het model een pipeline:

1. STFT: Complexe IQ-golven worden omgezet in tijds-frequentie spectrogrammen via een Short-Time Fourier Transform.
2. Afbeeldingstransformatie: De spectrogrammen worden omgezet naar magnitude (in dB) en gemap naar grijswaarde- of pseudo-RGB-afbeeldingen.
3. Visuele Encoder: Een vooraf getrainde vision encoder (gebaseerd op Vision Transformers, zoals in Qwen2.5-VL) verwerkt deze afbeeldingen en genereert een reeks "RF-tokens".
4. Adapter: Een lichte lineaire projectie (adapter) mapt deze RF-tokens naar de embedding-ruimte van het taalmodel.

B. Taalmodel en Voorwaarde

• De RF-tokens fungeren als een prefix voor een decoder-only LLM.
• Het model is een conditioneel taalmodel dat tekst genereert op basis van de RF-invoer en een natuurlijke taal-instructie.
• De architectuur gebruikt moderne componenten zoals Grouped-Query Attention (GQA), RMS-normalisatie en gated MLP's (gebaseerd op Qwen-architecturen).

C. Synthetische Datageneratie en Instruction Tuning
Omdat er geen grote datasets met menselijke annotaties bestaan, bouwt het team een volledig synthetische dataset:

• Generatie: Gebruik van MATLAB's Wireless Waveform Generators voor zes technologieën (5G NR, LTE, UMTS, WLAN, DVB-S2, Bluetooth).
• Metadata: Elke gegenereerde golfvorm heeft perfecte "ground truth" metadata (modulatie, SNR, bandbreedte, overlap, etc.).
• Captioning: Een deterministische pipeline converteert metadata naar technische beschrijvingen.
• Instruction Synthesis: Een krachtige tekst-only LLM (GPT-OSS-120B) converteert deze beschrijvingen in diverse instructie-antwoordparen (vragen over telling, overlap-analyse, JSON-extractie, open vragen).
• Resultaat: Een dataset van ~12.000 unieke RF-scènes en 0,625 miljoen instructievoorbeelden zonder handmatige labeling.

D. Training
Het model ondergaat RF-grounded Supervised Fine-Tuning (SFT) op de synthetische instructiedataset. Het doel is om de LLM te leren redeneren op basis van de RF-tokens, zodat de output consistent is met de onderliggende signaaleigenschappen.

3. Belangrijkste Bijdragen

1. Concept van RFLM: Definieert en realiseert een "Radio-Frequency Language Model" dat RF-data als tokens behandelt en antwoordt in natuurlijke taal.
2. Architectuur: Integreert RF-spectrogrammen in een multimodaal LLM via een visuele encoder en een adapter, zonder de noodzaak van nieuwe, taakspecifieke hoofd-architecturen.
3. Synthetische Data Pipeline: Ontwikkelde een schaalbare methode om een grote, diverse dataset van RF-spectrogrammen en instructies te genereren voor zes verschillende draadloze technologieën, volledig gebaseerd op standaarden.
4. Uitgebreide Benchmark: Creëerde een benchmark-suite voor vijf complexe taken:
   • Breedband-modulatieclassificatie (WBMC).
   • Overlap-detectie in tijd en frequentie (WBOD).
   • Herkenning van draadloze technologieën (WTR).
   • Telling van gebruikers in WLAN (WNUC).
   • Extractie van 5G NR-informatie (NRIE).

4. Resultaten

De evaluaties tonen een dramatisch verschil tussen RF-GPT en bestaande modellen:

• Vergelijking met General-Purpose VLMs: Bestaande multimodale modellen (zoals Qwen2.5-VL en GPT-5) zonder RF-training presteren nauwelijks beter dan willekeurige gokken (vaak <5% nauwkeurigheid). Ze kunnen geen RF-patronen herkennen of het aantal signalen tellen.
• RF-GPT Prestaties:
  • Modulatieclassificatie (WBMC): RF-GPT-7B bereikt 82,4% (Easy), 74,2% (Medium) en 47,8% (Hard) nauwkeurigheid, vergeleken met <2% voor baselines.
  • Overlap-detectie (WBOD): RF-GPT-7B bereikt 71,7% nauwkeurigheid op de moeilijkste taak (tijds- en frequentie-overlap), terwijl baselines rond de 12% blijven.
  • Technologieherkenning (WTR): RF-GPT bereikt bijna perfecte nauwkeurigheid (>99,6%) in het onderscheiden van technologieën (5G, LTE, WLAN, etc.) en linkrichtingen.
  • Gebruikers telling (WNUC) & NR Extractie (NRIE: RF-GPT toont sterke prestaties in het tellen van gebruikers en het extraheren van specifieke 5G-parameters (zoals SCS, SSB-patronen), waar baselines falen.
• Robuustheid: Het model toont robuustheid tegen veelvoorkomende RF-stoornissen (zoals IQ-imbalance en PA-niet-lineariteit), hoewel IQ-imbalance de grootste impact heeft op de prestaties.
• Efficiëntie: RF-GPT presteert beter dan gespecialiseerde CNN- en Transformer-baselines (zoals ViT-H) terwijl het slechts 3 trainings-epochs nodig heeft in plaats van 30, wat wijst op superieure data-efficiëntie en generalisatie.

5. Betekenis en Toekomst

• Unificatie: RF-GPT bewijst dat één model meerdere RF-taken kan uitvoeren via instructies, in plaats van dat er voor elke taak een nieuw model nodig is.
• Interpretatie en Interactie: Het biedt een natuurlijke taalinterface voor RF-engineers en autonome agenten, waardoor ze vragen kunnen stellen ("Hoeveel gebruikers zijn er?", "Is er interferentie?") en gedetailleerde uitleg of gestructureerde JSON-outputs kunnen ontvangen.
• AI-Native Netwerken: Dit werk is een cruciale stap richting 6G-netwerken die AI-natief zijn, waarbij RF-perceptie direct gekoppeld is aan besluitvorming en netwerkbewaking.
• Toekomstwerk: De auteurs plannen om over te stappen van synthetische data naar echte over-the-air metingen, en het model uit te breiden naar multi-antenne scenario's en Integrated Sensing and Communications (ISAC).

Kortom, RF-GPT transformeert RF-signaalverwerking van een gesloten, statisch proces naar een dynamisch, interpreteerbaar en interactief systeem dat de potentie heeft om de manier waarop we draadloze netwerken beheren en analyseren fundamenteel te veranderen.