Technische Samenvatting: Een Fysisch Geïnformeerd Digital Twin Framework voor Gecalibreerde Sim-to-Real FMCW Radar Occupancy Estimatie

Probleemstelling

Het ontwikkelen van robuuste radarperceptiemodellen direct vanuit real-world metingen is inherent kostbaar en arbeidsintensief. Het vereist gecontroleerde experimenten, herhaalde kalibratie en uitgebreide handmatige annotatie. Hoewel hoogwaardige simulators gebaseerd op full-wave of ray-tracing elektromagnetische solvers een schaalbaar alternatief bieden voor het genereren van gelabelde synthetische data, blijft er een aanzienlijke "sim-to-real" kloof bestaan. Bestaande benaderingen vertrouwen vaak op propriëtaire elektromagnetische toolchains, uitgebreide parameter sweeps, of complexe generatieve modellen (bijv. GANs) die specifieke domeinkennis-tuning vereisen. Dit artikel adresseert de uitdaging om Frequency Modulated Continuous Wave (FMCW) radarmodellen, getraind op simulatie, efficiënt over te dragen naar real-world occupancy detectie en mensen-telling taken zonder dat grote gelabelde real-world datasets nodig zijn.

Methodologie

1. Fysisch Geïnformeerd Digital Twin Framework

De auteurs stellen een modulair digital twin framework voor dat menselijke animatie, elektromagnetische modellering en geautomatiseerde datageneratie integreert.

• Simulatieomgeving: Een gangomgeving (muren, plafond, vloer) is gereconstrueerd met gemeten diëlektrische eigenschappen om realistische multipath propagatie en clutter te vangen.
• Radarmodellering: Een virtuele 60 GHz FMCW radar, gemodelleerd naar de Infineon BGT60TR13C sensor, repliceert de fysieke hardwareconfiguratie, polarisatie en chirp-parameters (882,35 MHz bandbreedte, 256 samples per chirp).
• Menselijke Dynamiek: Tijdvariërende radar-cross-sections en realistische trajecten worden gegenereerd met behulp van geanimeerde 3D humanoïde meshes afgeleid van Mixamo en CMU Motion Capture datasets.
• Datageneratie: Een elektromagnetische solver met behulp van Shooting and Bouncing Rays (SBR) en Physical Optics (PO) methoden berekent de verstrooide velden. De output wordt georganiseerd in complexe datacubes (amplitude en fase), die vervolgens worden omgezet in Range-Doppler (RD) kaarten. Deze baseline simulatie wordt de RT (Ray-Tracing) baseline genoemd.

2. Dataverwerkingspipeline

Zowel gesimuleerde als real-world data ondergaan een gestandaardiseerde preprocessing pipeline:

• Transformatie: Een 2D Fast Fourier Transform (FFT) wordt toegepast over de fast-time en slow-time dimensies om complexe RD-kaarten te genereren.
• Normalisatie: Magnitudes worden omgezet naar decibels (dB), afgeknipt naar een vast bereik $[v_{min}, v_{max}]$ geschat uit de simulatie, en genormaliseerd naar $[0, 1]$.
• Visualisatie: Data wordt gemapt via een perceptueel uniforme colormap (viridis) om 3-kanaals afbeeldingen te creëren voor input in een ResNet18 model met een taakspecifieke classifier head (2 eenheden voor binaire occupancy, 3 eenheden voor mensen-telling).
• Training vs. Testen: Training vindt uitsluitend plaats op gesimuleerde RD-kaarten. Een real-world dataset, verzameld in dezelfde gang (leeg, 1 persoon, 2 personen), wordt volledig buiten de training gehouden voor evaluatie.

3. Calibrated Domain Randomization (CDR)

Om de domeinkloof te overbruggen, introduceert het artikel een Calibrated Domain Randomization (CDR) stap, die de globale noise-floor statistieken van gesimuleerde RD-kaarten afstemt op real-world omgevingen, terwijl de micro-Doppler structuren behouden blijven.

• Mechanisme: Een per-frame, per-cel clamp wordt toegepast in het dB-domein: $\tilde{S}(i, j) = \max(S(i, j), N(i, j))$. Deze operatie verhoogt de overly cleane gesimuleerde achtergrondcellen naar een gesampled noise-floor niveau.
• Random DR Baseline: Samplet ruis $N(i, j)$ uit een generieke Gaussische distributie met heuristische parameters ($m \in [-130, -100]$ dB, $s \in [1, 4]$ dB).
• CDR Aanpak: Vervangt heuristische sampling door een one-shot, data-gedreven kalibratie. Een ongelabelde 10-seconden (100 frames) sequentie van een lege, echte gang wordt gebruikt om het empirische gemiddelde ($m_t$) en de standaarddeviatie ($s_t$) van de real-world noise floor te berekenen. De simulatie samplet vervolgens ruis $N_t(i, j) \sim \mathcal{N}(m_t, s_t^2)$ om de kalibratie aan te drijven.

Belangrijkste Bijdragen

1. Lichtgewicht Sim-to-Real Framework: Het artikel stelt een framework voor dat betrouwbare FMCW radar occupancy detectie en mensen-telling mogelijk maakt met enkel een fysisch geïnformeerde geometrische simulator en een kleine, ongelabelde real-world kalibratieset.
2. Calibrated Domain Randomization (CDR): Een nieuwe methode die de noise-floor statistieken van simulaties afstemt op real-world observaties. In tegenstelling tot standaard domain randomization, gebruikt CDR een enkele korte real-world opname om de ruisdistributie te kalibreren, wat effectief de gesimuleerde histogram verschuift naar de real-world distributie zonder de discriminatieve micro-Doppler signatures van menselijke beweging te veranderen.
3. Modulaire Digital Twin: Een geïntegreerd systeem dat elektromagnetische solvers (SBR/PO) combineert met motion-capture-gestuurde menselijke animatie om realistische, gelabelde RD-kaarten te genereren.

Resultaten

Het framework werd geëvalueerd op een real-world testset voor twee taken: binaire occupancy detectie en mensen-telling (1 vs. 2 personen).

• Occupancy Detectie:
  • RT Baseline (Ongewijzigde Simulatie): Had moeite met generalisatie en behaalde een gebalanceerde accuratesse nabij 50% (kansniveau) door mismatch in clutter en ruis.
  • Random DR: Verbeterde de robuustheid naar een gebalanceerde accuratesse van ~83%, maar vertoonde nog steeds onrealistische structuren.
  • CDR: Behaalde een 97% gebalanceerde accuratesse, wat de foutieve negatieven en foutieve positieven aanzienlijk verminderde vergeleken met de baselines.
• Mensen-telling:
  • RT Baseline: Faalde in de transfer en behaalde ~33% gebalanceerde accuratesse (random gokken).
  • Random DR: Verbeterde de prestaties naar ~61% gebalanceerde accuratesse, maar bleef de drie klassen zwaar verwarren.
  • CDR: Behaalde 72% gebalanceerde accuratesse, met verbeterde confusion matrices, met name bij het onderscheiden van de gevallen van één versus twee personen. Misclassificaties werden voornamelijk waargenomen in ambigue scènes met gedeeltelijke overlap of Doppler-occlusie.
• Feature Analyse: Visualisatie van ResNet18 activaties toonde aan dat het CDR-getrainde model responsen concentreert op de range-doppler cellen geassocieerd met menselijke beweging, terwijl de achtergrondstructuur wordt onderdrukt, terwijl het baseline model diffuse responsen produceert die gedomineerd worden door simulator-specifieke artefacten.

Betekenis en Claims

Het artikel claimt dat Calibrated Domain Randomization een eenvoudige, lichtgewicht en interpreteerbare methode is voor sim-to-real transfer in radarperceptie. Door de gesimuleerde noise-floors te kalibreren om overeen te komen met de globale statistieken van ongelabelde real-world metingen, verbetert de aanpak de modelprestaties op real-world testdata aanzienlijk vergeleken met zowel pure simulatie training als ongekalibreerde domain randomization.

De auteurs benadrukken dat dit framework praktisch is voor radar-gebaseerde menselijke sensingsystemen gebouwd vanuit moderne simulators, omdat het de noodzaak voor propriëtaire elektromagnetische toolchains, uitgebreide parameter sweeps of grote gelabelde real-world datasets vermijdt. Het werk suggereert dat toekomstig onderzoek deze aanpak kan uitbreiden naar angle-of-arrival estimatie en andere activiteitsherkennings-taken, maar de huidige bijdrage is strikt beperkt tot occupancy en telling via noise-floor alignment.