Technisches Resümee: Können Sprachmodelle mmWave-Daten verstehen?

Problemstellung

Die Integration von Large Language Models (LLMs) in menschliche Perzeptionssysteme hat sich in den visuellen (RGB) und auditiven Domänen bereits signifikant vorangeleitet, bleibt jedoch für Millimeterwellen-Radar (mmWave) weitgehend unerforscht. Während die mmWave-Sensorik deutliche Vorteile bietet – wie etwa Robustheit bei schlechten Lichtverhältnissen, Okklusion und Wahrung der Privatsphäre durch die Abhängigkeit von elektromagnetischen Reflexionen statt von Erscheinungsbildern –, stehen aktuelle Ansätze vor drei primären Engpässen:

1. Datenknappheit: Es mangelt an öffentlichen Radar-Sprach-Paarungen; bestehende Datensätze sind klein, laborspezifisch und weisen keine natürlichen Sprachannotationen auf.
2. Heterogenität: mmWave-Beobachtungen variieren erheblich je nach Hardware (Trägerfrequenz, Antennenzahl), Umweltbedingungen (Clutter, Mehrwegeausbreitung) und experimentellen Setups, was zu schweren Verteilungsverschiebungen führt, die die Generalisierung behindern.
3. Mangel an fundierten Encodern: Dem Feld fehlen standardisierte Tokenizer oder fundierte Encoder, um rohe mmWave-Tensoren mit Sprach-Backbones zu überbrücken, was dazu führt, dass aktuelle Systeme für jeden neuen Datensatz oder jedes neue Szenario neu trainiert werden müssen.

Infolgedessen sind bestehende mmWave-menschliche Perzeptionsmodelle „szenario-angepasst“, erfordern ein per-Datensatz-Retraining und versäumen es, die Zero-Shot-Reasoning-Fähigkeiten moderner LLMs zu nutzen.

Methodik

1. Konstruktion des mmWave-QA-Benchmarks

Um diese Lücken zu schließen, führen die Autoren mmWave-QA ein, den ersten Benchmark, der darauf ausgelegt ist, sprachgesteuerte mmWave-menschliche Perzeption zu evaluieren. Die Konstruktionspipeline umfasst:

• Datenintegration: Aggregation von drei heterogenen öffentlichen Datensätzen (mmBody, MM-Fi und mRI), die verschiedene Geräte (TI IWR-Serie, Phoenix Custom Boards), Probanden und Umgebungen abdecken.
• Textualisierung: Eine minimale textuelle Schnittstelle konvertiert 5D-mmWave-Punktwolken-Frames ($[x, y, z, \text{Doppler}, \text{Intensität}]$) in koordinatengeformte Textzeichenfolgen. Dies ermöglicht es ab Werk verfügbaren LLMs, Radardaten ohne spezialisierte Radar-Encoder zu verarbeiten.
• Taxonomie und QA-Generierung: Der Benchmark definiert fünf Kern-Fragetypen, um verschiedene Aspekte des Bewegungsverständnisses zu prüfen:
  1. ActRec: Aktionserkennung (Identifizierung der ausgeführten Aktion).
  2. TrajCheck: Überprüfung räumlicher Bewegung (Bestimmung, ob sich der Schwerpunkt verändert hat).
  3. ActOrder: Temporale Aktionssequenzierung (Identifizierung der Reihenfolge von Aktionen).
  4. ActNum: Schätzung der Aktionskardinalität (Zählen distinkter Aktionen).
  5. LimbFocus: Detektion primärer Gliedmaßenbewegung (Identifizierung des bewegten Körperteils).
• Qualitätskontrolle: Ein Human-in-the-Loop-Prozess verfeinert die Annotationen, balanciert die Aktionsverteilungen aus und stellt die semantische Klarheit über sechs Szenarien sicher: Normal, Möbliert, Regen, Rauch, Dunkelheit und Okklusion.

2. Evaluationsrahmen

Die Studie evaluiert kommerzielle LLMs (Gemini 2.5, GPT-4o, GPT-5) auf dem mmWave-QA-Benchmark unter Verwendung von drei Prompting-Strategien:

• Zero-shot: Direkte Inferenz aus der Punktwolken-Textstruktur und einer Frage.
• Few-shot: In-Context-Learning unter Verwendung von Beispiel-Frage-Antwort-Paaren.
• Chain-of-Thought (CoT): Generierung von Zwischenschritten der Argumentation vor der finalen Antwort.
• Hybrid: Kombination von Few-shot-Beispielen mit CoT-Argumentation.

Die Evaluation vergleicht die Leistung über verschiedene Aktionskategorien (Oberkörper, Unterkörper, Torso, Ganzkörper) und Hardwaretypen hinweg und kontrastiert die mmWave-Leistung gegenüber RGB-basierten Vision-Language-Modellen (VLMs) unter variierenden Umweltbedingungen.

Kernergebnisse

1. Zero-Shot-Reasoning-Fähigkeit

LLMs demonstrieren die Fähigkeit, textualisierte mmWave-Punktwolken ohne aufgabenspezifisches Fine-Tuning zu interpretieren.

• Leistungssteigerungen: Die Genauigkeit verbessert sich konsistent von Zero-shot über Few-shot und CoT bis hin zu den Few-shot-CoT-Strategien über alle Modelle hinweg. Beispielsweise erreichte GPT-5 die höchste Genauigkeit (38,37 %) in der Kategorie Ganzkörper-Aktion unter der Few-shot-CoT-Einstellung.
• Generalisierung: Die Modelle zeigen robustes Reasoning über heterogene Hardware und Umweltbedingungen hinweg, was auf starke Generalisierungsfähigkeiten hindeutet, selbst ohne radarspezifisches Training.

2. Aufgabenbezogene Leistung

• ActRec & TrajCheck: Diese Aufgaben liefern die höchste Leistung. Die Modelle unterscheiden effektiv zwischen bewegten und statischen Fällen, wenn ihnen Kontext im Few-shot-Verfahren bereitgestellt wird (z. B. verbesserte Statik-Genauigkeit für GPT-4o auf 32,0 % mit Few-shot, während Gemini 2.5-flash auf 27,2 % stieg).
• LimbFocus: Die Modelle schneiden bei Bewegungen einzelner Gliedmaßen gut ab, haben jedoch Schwierigkeiten bei Multi-Limb-Szenarien, was wahrscheinlich auf Mehrwegeausbreitung und Geisterreflexionen in den Radardaten zurückzuführen ist.
• Temporales Reasoning (ActOrder/ActNum): Die Leistung ist am höchsten bei der Identifizierung der "vorhandenen" Aktion ("Present"), sinkt jedoch für "vorherige/nächste" Aktionen und hohe Aktionszahlen, was auf Herausforderungen bei der Erfassung langfristiger temporaler Abhängigkeiten in dichten Punktwolkensequenzen hindeutet.

3. Robustheit vs. RGB-Modalität

Ein entscheidender Befund ist die vergleichbare Robustheit von mmWave-Daten unter visueller Degradierung:

• Klare Bedingungen: In normalen und möblierten Umgebungen übertreffen RGB-basierte VLMs die mmWave-Modelle, vermutlich aufgrund reichhaltigerer visueller Merkmale und größerer Pre-training-Datensätze für Vision.
• Degradierte Bedingungen: In Dunkelheits- und Okklusionsszenarien übertrifft das mmWave-basierte Reasoning die RGB-Modelle signifikant. VLMs neigen zu Halluzinationen oder scheitern, wenn visuelle Merkmale korrumpiert sind, während LLMs, die Doppler-Effekte und Koordinatenshift nutzen, ein stabiles, physikalisch fundiertes Reasoning beibehalten.
• Wetter: Bei Regen und Rauch erbringen beide Modalitäten vergleichbare Leistungen, was die Resilienz des Radars gegenüber Sichtbarkeitsproblemen demonstriert.

4. Sensitivität der Frame-Anzahl

Die Leistung erreicht ihren Höhepunkt bei der Verwendung von etwa 16 Frames. Weniger Frames begrenzen den temporalen Kontext, während übermäßige Frames (z. B. 64) redundante oder verrauschte Informationen einführen, die das Reasoning behindern, was darauf hindeutet, dass ein optimales temporales Gleichgewicht für die radarbasierte Bewegungsanalyse erforderlich ist.

Bedeutung und Ansprüche

Das Paper beansprucht drei primäre Beiträge:

1. mmWave-QA Benchmark: Es etabliert den ersten vereinheitlichten Benchmark, der heterogene mmWave-Datensätze in natürliche Sprach-QA-Aufgaben harmonisiert und so eine standardisierte Evaluierung über Geräte und Szenarien hinweg ermöglicht.
2. Machbarkeit der Zero-Shot-Integration von Radar-LLMs: Es zeigt, dass ab Werk verfügbare LLMs, wenn sie mit textualisierten Punktwolken-Daten versorgt werden, ein starkes Zero-Shot-Reasoning über menschliche Bewegungen durchführen können, was die Annahme infrage stellt, dass Radardaten spezialisierte Encoder oder schweres Fine-Tuning erfordern.
3. Robustheit in visuell eingeschränkten Umgebungen: Es liefert empirische Belege dafür, dass die mmWave-Modalität, gepaart mit LLMs, eine überlegene Robustheit gegenüber RGB-Vision in Umgebungen mit wenig Licht und Okklusion bietet, was ihr Potenzial für eine zuverlässige menschliche Perzeption in realen, privatsphärensensiblen oder visuell degradierten Settings hervorhebt.

Die Autoren kommen zu dem Schluss, dass, obwohl aktuelle Standardmodelle vielversprechend sind, zukünftige Arbeiten sich auf das Fine-Tuning von Open-Source-Modellen und die Integration von Retrieval-Augmented Generation konzentrieren sollten, um die nicht-visuelle Sensorik weiter mit sprachbasierter Intelligenz zu verknüpfen.