Technische Samenvatting: Kunnen taalmodellen mmWave-data begrijpen?

Probleemstelling

De integratie van Large Language Models (LLM's) in menselijke perceptiesystemen is aanzienlijk geavanceerd in visuele (RGB) en audio-domeinen, maar blijft grotendeels onverkend voor millimetergolf (mmWave) radar. Hoewel mmWave-sensing duidelijke voordelen biedt—zoals robuustheid bij weinig licht, obstructie en privacybehoud door de afhankelijkheid van elektromagnetische reflecties in plaats van uiterlijke kenmerken—stuiten huidige benaderingen op drie primaire knelpunten:

1. Datatekort: Er is een gebrek aan publieke radar-taalkoppelingen; bestaande datasets zijn klein, specifiek voor laboratoria en missen natuurlijke taalannotaties.
2. Heterogeniteit: mmWave-observaties variëren aanzienlijk over hardware (draaggolf frequentie, aantal antennes), omgevingscondities (clutter, multipath) en experimentele opstellingen, wat zorgt voor ernstige distributieverschuivingen die generalisatie belemmeren.
3. Gebrek aan fundamentele encoders: Het veld mist gestandaardiseerde tokenizers of fundamentele encoders om ruwe mmWave-tensoren te overbruggen met taalbackbones, waardoor huidige systemen voor elke nieuwe dataset of scenario opnieuw getraind moeten worden.

Gevolgelijk zijn bestaande mmWave menselijke perceptiemodellen "scenario-getuned", wat per dataset hertraining vereist en niet kan profiteren van de zero-shot redeneercapaciteiten van moderne LLM's.

Methodologie

1. mmWave-QA Benchmark Constructie

Om deze hiaten aan te pakken, introduceren de auteurs mmWave-QA, de eerste benchmark die is ontworpen om taal-geconditioneerde mmWave menselijke perceptie te evalueren. De constructiepipeline omvat:

• Data-integratie: Het aggregeren van drie heterogene publieke datasets (mmBody, MM-Fi en mRI) die diverse apparaten (TI IWR-serie, Phoenix custom boards), subjecten en omgevingen beslaan.
• Textualisering: Een minimale tekstuele interface zet 5D mmWave puntenwolk-frames ($[x, y, z, \text{Doppler}, \text{intensiteit}]$) om in tekststrings in coördinaatformaat. Dit stelt standaard off-the-shelf LLM's in staat om radar-data te verwerken zonder gespecialiseerde radar-encoders.
• Taxonomie en QA-generatie: De benchmark definieert vijf kernvraagtypen om verschillende aspecten van bewegingsbegrip te onderzoeken:
  1. ActRec: Actieherkenning (identificeren van de uitgevoerde actie).
  2. TrajCheck: Verificatie van ruimtelijke beweging (bepalen of het zwaartepunt van positie is veranderd).
  3. ActOrder: Temporele actievolgorde (identificeren van de volgorde van acties).
  4. ActNum: Schatting van actie-cardinaliteit (tellen van verschillende acties).
  5. LimbFocus: Detectie van primaire ledemaatbeweging (identificeren van het bewegende lichaamsdeel).
• Kwaliteitscontrole: Een human-in-the-loop proces verfijnt de annotaties, balanceert de actieverdelingen en waarborgt semantische helderheid over zes scenario's: Normaal, Gevuld, Regen, Rook, Donker en Obstructie.

2. Evaluatiekader

De studie evalueert commerciële LLM's (Gemini 2.5, GPT-4o, GPT-5) op de mmWave-QA benchmark met drie prompting-strategieën:

• Zero-shot: Directe inferentie vanuit de tekstuele puntenwolk en een vraag.
• Few-shot: In-context leren met voorbeeld vraag-antwoord paren.
• Chain-of-Thought (CoT): Het genereren van tussenliggende redeneerstappen vóór het uiteindelijke antwoord.
• Hybride: Het combineren van few-shot voorbeelden met CoT-redenering.

De evaluatie vergelijkt prestaties over verschillende actie-categorieën (bovenlichaam, onderlichaam, romp, volledig lichaam) en hardwaretypes, en contrasteert de mmWave-prestaties met RGB-gebaseerde Vision-Language Models (VLM's) onder variërende omgevingscondities.

Belangrijkste Resultaten

1. Zero-Shot Redeneercapaciteit

LLM's tonen het vermogen om tekstuele mmWave-puntenwolken te interpreteren zonder taakspecifieke fine-tuning.

• Prestatiewinst: De nauwkeurigheid verbetert consistent van zero-shot naar few-shot, CoT, en uiteindelijk de Few-shot CoT-strategieën over alle modellen heen. Zo behaalde GPT-5 de hoogste nauwkeurigheid (38,37%) in de Full-body actie-categorie met de Few-shot CoT instelling.
• Generalisatie: Modellen vertonen robuuste redenering over heterogene hardware en omgevingscondities, wat wijst op sterke generalisatiecapaciteiten zelfs zonder radar-specifieke training.

2. Taakspecifieke Prestaties

• ActRec & TrajCheck: Deze taken leveren de hoogste prestaties op. Modellen onderscheiden effectief bewegende versus statische gevallen wanneer ze voorzien zijn van few-shot context (bijv. de statische nauwkeurigheid voor GPT-4o verbeterde naar 32,0% met few-shot, terwijl Gemini 2.5-flash verbeterde naar 27,2%).
• LimbFocus: Modellen presteren goed bij bewegingen van één ledemaat, maar hebben moeite met scenario's met meerdere ledematen, waarschijnlijk door multipath-interferentie en ghost-reflecties in de radar-data.
• Temporele Redenering (ActOrder/ActNum): De prestaties zijn het hoogst voor de identificatie van de "Aanwezige" actie, maar dalen voor "Vorige/Volgende" acties en een hoog aantal acties, wat wijst op uitdagingen bij het vastleggen van langdurige temporele afhankelijkheden in dichte puntenwolk-sequenties.

3. Robuustheid vs. RGB-modaliteit

Een cruciale bevinding is de relatieve robuustheid van mmWave-data onder visuele degradatie:

• Heldere condities: In normale en gevulde omgevingen presteren RGB-gebaseerde VLM's beter dan mmWave-modellen, waarschijnlijk door rijkere visuele cues en grotere pre-training datasets voor visie.
• Gedegradeerde condities: In Donkere en Obstructie scenario's presteert de mmWave-gebaseerde redenering significant beter dan RGB. VLM's hallucineren vaak of falen wanneer visuele cues gecorrumpeerd zijn, terwijl LLM's die gebruikmaken van Doppler en coördinat verschuivingen stabiele, fysiek gegronde redenering behouden.
• Weer: In Regen en Rook presteren beide modaliteiten vergelijkbaar, wat de veerkracht van radar tegen zichtbaarheidsproblemen aantoont.

4. Gevoeligheid voor Aantal Frames

De prestaties pieken bij het gebruik van ongeveer 16 frames. Minder frames beperken de temporele context, terwijl te veel frames (bijv. 64) redundante of ruisgevoelige informatie introduceren die het redeneren belemmert, wat suggereert dat een optimale temporele balans vereist is voor radar-gebaseerde bewegingsanalyse.

Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. mmWave-QA Benchmark: Het vestigt de eerste verenigde benchmark die heterogene mmWave-datasets harmoniseert in natuurlijke taal QA-taken, wat gestandaardiseerde evaluatie mogelijk maakt over verschillende apparaten en scenario's.
2. Haalbaarheid van Zero-Shot Radar-LLM Integratie: Het demonstreert dat off-the-shelf LLM's, wanneer ze worden voorzien van tekstuele puntenwolk-data, sterke zero-shot redenering kunnen uitvoeren op menselijke beweging, wat het idee uitdaagt dat radar-data gespecialiseerde encoders of zware fine-tuning vereist.
3. Robuustheid in Visueel Beperkte Omgevingen: Het levert empirisch bewijs dat de mmWave-modaliteit, wanneer gekoppeld aan LLM's, superieure robuustheid biedt vergeleken met RGB-visie in situaties met weinig licht en obstructies, wat het potentieel benadrukt voor betrouwbare menselijke perceptie in real-world, privacygevoelige of visueel gedegradeerde omgevingen.

De auteurs concluderen dat hoewel de huidige off-the-shelf modellen veelbelovend zijn, toekomstig werk zich moet richten op het fine-tunen van open-source modellen en het integreren van retrieval-augmented generation om de brug tussen niet-visuele sensing en taalgebaseerde intelligentie verder te slaan.