Resolving Multi-Target Association in OFDM-based ISAC via Vision-aided Multi-Modal Learning

Technische Samenvatting: Oplossen van Multi-Target Associatie in OFDM-gebaseerde ISAC via Visie-gestuurde Multi-Modale Leerprocessen

Probleemstelling
Orthogonale Frequentiedelings-gebaseerde (OFDM) Integrated Sensing and Communication (ISAC)-systemen schatten doorgaans doelparameters door pieken te identificeren in een Delay-Doppler Map (DDM) die is geconstrueerd uit gereflecteerde pilot-signalen. In scenario's met meerdere doelwitten (multi-target) wordt deze aanpak geconfronteerd met twee fundamentele beperkingen:

1. Data-associatie Ambiguïteit: De DDM onthult inherent niet welk fysiek doelwit overeenkomt met een specifieke piek, wat het moeilijk maakt om delay-doppler-schattingen te associëren met specifieke objecten.
2. Resolutiebeperkingen: Wanneer meerdere doelwitten zich binnen dezelfde delay-doppler resolutiecel bevinden, kunnen conventionele methoden die uitsluitend op draadloze signalen vertrouwen, deze niet onderscheiden.
   Bestaande ISAC-studies vertrouwen primair op draadloze signalen, waardoor ze gevoelig zijn voor propagatie-omgevingen (bijv. multipath fading, gebrek aan Line-of-Sight). Hoewel sommige werken out-of-band visuele informatie gebruiken voor blokkadevoorspelling of beam alignment, heeft geen enkel eerder werk de multi-target associatie en de resolutiebeperkingen van ISAC gezamenlijk opgelost met behulp van visuele data.

Methodologie
De auteurs stellen een visie-ondersteund OFDM-ISAC-framework voor dat wireless en visuele modaliteiten integreert binnen een verenigde deep learning-architectuur. Het systeem werkt als volgt:

1. Systeemmodel: De zender is uitgerust met een ingebouwde camera die straatbeeldbeelden vastlegt. Deze beelden worden gecodeerd met Deep Joint Source-Channel Coding (DeepJSCC) en worden verzonden over hetzelfde OFDM-golfvorm die wordt gebruikt voor sensing. De ontvanger reconstrueert het beeld, voert objectdetectie uit en verwerkt de gereflecteerde OFDM-signalen om een DDM te genereren.
2. DeepJSCC voor Beeldtransmissie: Om robuustheid tegen kanaalbederf te garanderen, gebruikt het systeem een herontworpen DeepJSCC encoder/decoder. De encoder gebruikt convolutionele lagen, batch normalisatie, ReLU-activaties en residuele blokken om compacte feature vectoren te extraheren. De decoder weerspiegelt deze structuur met behulp van getransponeerde convoluties om het beeld te reconstrueren.
3. Visuele Feature Extractie: Het gereconstrueerde beeld wordt verwerkt door een fijn afgestelde YOLOv5 detector. Deze module extraheert semantische kenmerken, specifiek bounding box coördinaten (genormaliseerd naar beeldafmetingen) en voertuigklassen (sedan, SUV, truck).
4. Wireless Feature Extractie: De ontvanger schat de kanaalfrequentierespons met behulp van Least Squares (LS) op pilot-symbolen, voorspelt kanaalcoëfficiënten voor datasymbolen via lineaire extrapolatie en verwijdert het directe link-component. Een 2D Inverse Discrete Fourier Transform (IDFT) gevolgd door een Discrete Fourier Transform (DFT) genereert de DDM, die delay en Doppler verschuivingen vastlegt.
5. Multi-Modaal Fusie Netwerk: Een diep neuraal netwerk (DNN) fuseert heterogene inputs:
   • Voertuigtype Embedding: One-hot gecodeerde voertuigcategorieën gemapt via fully connected (FC) lagen.
   • Bounding Box Embedding: Pixelcoördinaten gemapt naar fysieke representaties via FC-lagen.
   • DDM Feature Extractie: Een CNN-gebaseerd netwerk (DDMNet) met Squeeze-and-Excitation (SE) blokken extraheert kenmerken uit de DDM.
   • Prior Informatie: Locaties van zender en ontvanger worden ingebed om geometrische schatting te ondersteunen.
     Deze embeddings worden geconcateneerd en verwerkt door een fusienetwerk om gezamenlijk de 3D-locatie, propagatie-delay en Doppler-frequentie van het doelwit te schatten.
6. Ontwerp van de Verliesfunctie (Loss Function): Om de instabiliteit van het trainen van hoog-dimensionale classificaties voor delay en Doppler aan te pakken, introduceren de auteurs een Kullback–Leibler (KL) divergentie verlies tegen driehoekige soft labels. In plaats van one-hot ground-truth labels, verdelen soft labels de waarschijnlijkheidsmassa over de ground-truth bin en de omliggende bins, wat de training stabiliseert.

Belangrijkste Bijdragen

• Visie-ondersteund ISAC-framework: Het artikel stelt een nieuwe architectuur voor die DeepJSCC-gebaseerde beeldtransmissie, YOLOv5 detectie en DDM-feature extractie integreert. Deze fusie lost de ambiguïteit van multi-target associatie op en overwint het onvermogen om nauw gesitueerde doelwitten te onderscheiden dat inherent is aan single-modality ISAC.
• Multi-Modale Feature Embedding: Het ontwerp van een DNN dat effectief visuele features (bounding boxes, categorieën), geometrische priors en wireless DDM-features embedt en fuseert om nauwkeurige multi-parameter schattingen te produceren.
• Nieuwe Verliesfunctie: Het gebruik van KL-verlies met driehoekige soft labels om de training van hoog-dimensionale delay en Doppler classificaties te stabiliseren, wat problemen met grote output-ruimtes vermindert.
• Realistisch Evaluatieplatform: De constructie van een Blender-gebaseerde straatscène generator die tuples van beelden, Channel State Information (CSI) en ground-truth doelwitstatussen produceert voor end-to-end evaluatie.

Resultaten
Het framework werd geëvalueerd op een synthetische dataset van 2.500 straatbeelden (1920×1080 resolutie) met variërende voertuigtypen en snelheden (5–30 m/s) bij een 28 GHz draagg frequentie.

• Prestatie-metrieken: Het voorgestelde systeem bereikte een Root Mean Square Error (RMSE) van 16 cm voor lokalisatie, 10,8 ns voor delay en 5,5 m/s voor snelheid.
• Ablatie-studie: Het verwijderen van de visuele modaliteit (specifiek de bounding box informatie) veroorzaakte een catastrofaal falen in de parameter-schatting, waarbij de lokalisatie RMSE degradeerde van 0,16 m naar 10,69 m (een ~60× degradatie). Het verwijderen van de DDM verhoogde de snelheid RMSE aanzienlijk naar 18,30 m/s, terwijl het verwijderen van prior informatie de lokalisatie degradeerde naar 0,54 m.
• Parametergevoeligheid: Het verhogen van het aantal OFDM pilots verbeterde de Doppler-resolutie (verlaagde de snelheid RMSE) maar verhoogde de output-dimensie, wat de classificatienauwkeurigheid licht verlaagde. Het verhogen van het aantal subcarriers verbeterde de delay-resolutie (verlaagde de delay RMSE) maar verhoogde eveneens de classificatie-moeilijkheid.

Significantie
Het artikel beweert dat het voorgestelde visie-ondersteunde multi-modale leerframework effectief de twee fundamentele beperkingen van conventionele ISAC overwint: data-associatie ambiguïteit en resolutiebeperkingen in multi-target scenario's. Door visuele semantische informatie te fuseren met wireless fysieke laag-kenmerken, bereikt het systeem een hoog-precieze parameter-schatting waar single-modality benaderingen falen. De auteurs benadrukken dat visie een praktische oplossing biedt om de data-associatie en resolutiebeperkingen van single-modality ISAC te mitigeren, waarbij toekomstig werk gepland is om het framework uit te breiden naar nachtscenario's met behulp van low-light of infrarood visie.