Résumé technique : Les modèles de langage peuvent-ils comprendre les données mmWave ?

Énoncé du problème

L'intégration des grands modèles de langage (LLM) dans les systèmes de perception humaine a progressé de manière significative dans les domaines visuel (RGB) et audio, mais reste largement inexplorée pour les ondes millimétriques (mmWave). Bien que la détection mmWave offre des avantages distincts — tels qu'une robustesse dans l'obscurité, l'occlusion et la préservation de la vie privée grâce à son recours aux réflexions électromagnétiques plutôt qu'à l'apparence — les approches actuelles font face à trois goulots d'étranglement principaux :

1. Rareté des données : Il existe un manque de couplages radar-langage publics ; les ensembles de données existants sont restreints, spécifiques à des laboratoires et manquent d'annotations en langage naturel.
2. Hétérogénéité : Les observations mmWave varient considérablement selon le matériel (fréquence de porteuse, nombre d'antennes), les conditions environnementales (clutter, trajets multiples) et les configurations expérimentales, provoquant de sévents décalages de distribution qui entravent la généralisation.
3. Absence d'encodeurs fondamentaux : Le domaine manque de tokenizer standardisés ou d'encodeurs fondamentaux pour faire le pont entre les tenseurs bruts mmWave et les architectures de langage, forçant les systèmes actuels à être réentraînés pour chaque nouveau jeu de données ou scénario.

Par conséquent, les modèles de perception humaine mmWave existants sont « ajustés par scénario », nécessitant un réentraînement par jeu de données et ne parvenant pas à exploiter les capacités de raisonnement zero-shot des LLM modernes.

Méthodologie

1. Construction du benchmark mmWave-QA

Pour combler ces lacunes, les auteurs introduisent mmWave-QA, le premier benchmark conçu pour évaluer la perception humaine conditionnée par le langage. Le pipeline de construction comprend :

• Intégration des données : Agrégation de trois jeux de données publics hétérogènes (mmBody, MM-Fi et mRI) couvrant divers dispositifs (série TI IWR, cartes personnalisées Phoenix), sujets et environnements.
• Textualisation : Une interface textuelle minimale convertit les cadres de nuages de points mmWave en 5D ($[x, y, z, \text{Doppler}, \text{intensité}]$) en chaînes de caractères formatées par coordonnées. Cela permet aux LLM standards de traiter les données radar sans encodeurs radar spécialisés.
• Taxonomie et génération de QA : Le benchmark définit cinq types de questions fondamentaux pour sonder différents aspects de la compréhension du mouvement :
  1. ActRec : Reconnaissance d'action (identification de l'action effectuée).
  2. TrajCheck : Vérification du mouvement spatial (déterminer si le centroïde a changé de position).
  3. ActOrder : Séquençage temporel des actions (identifier l'ordre des actions).
  4. ActNum : Estimation de la cardinalité des actions (compter les actions distinctes).
  5. LimbFocus : Détection du mouvement du membre principal (identifier la partie du corps en mouvement).
• Contrôle qualité : Un processus avec intervention humaine affine les annotations, équilibre les distributions d'actions et assure la clarté sémantique à travers six scénarios : Normal, Meublé, Pluie, Fumée, Obscurité et Occlusion.

2. Cadre d'évaluation

L'étude évalue les LLM commerciaux (Gemini 2.5, GPT-4o, GPT-5) sur le benchmark mmWave-QA en utilisant trois stratégies de prompting :

• Zero-shot : Inférence directe à partir du nuage de points textuel et d'une question.
• Few-shot : Apprentissage en contexte utilisant des paires question-réponse d'exemple.
• Chain-of-Thought (CoT) : Génération d'étapes de raisonnement intermédiaires avant la réponse finale.
• Hybride : Combinaison d'exemples few-shot avec un raisonnement CoT.

L'évaluation compare les performances à travers différentes catégories d'actions (haut du corps, bas du corps, torse, corps entier) et différents types de matériel, et contraste les performances mmWave avec les modèles de langage-vision (VLM) basés sur le RGB sous diverses conditions environnementales.

Résultats clés

1. Capacité de raisonnement Zero-Shot

Les LLM démontrent la capacité d'interpréter les nuages de points mmWave textualisés sans apprentissage spécifique à la tâche.

• Gains de performance : La précision s'améliore systématiquement du zero-shot vers le few-shot, le CoT, et enfin les stratégies Few-shot CoT sur tous les modèles. Par exemple, GPT-5 a atteint la précision la plus élevée (38,37 %) dans la catégorie d'action Full-body en utilisant le réglage Few-shot CoT.
• Généralisation : Les modèles font preuve d'un raisonnement robuste à travers des matériels et des conditions environnementales hétérogènes, suggérant de fortes capacités de généralisation même sans entraînement spécifique au radar.

2. Performance par tâche

• ActRec & TrajCheck : Ces tâches produisent les meilleures performances. Les modèles distinguent efficacement les cas en mouvement versus statiques lorsqu'on leur fournit un contexte few-shot (par exemple, la précision statique pour GPT-4o est passée à 32,0 % avec le few-shot, tandis que Gemini 2.5-flash est passé à 27,2 %).
• LimbFocus : Les modèles performent bien sur les mouvements d'un seul membre mais peinent avec les scénarios multi-membres, probablement en raison des interférences par trajets multiples et des réflexions fantômes dans les données radar.
• Raisonnement temporel (ActOrder/ActNum) : La performance est la plus élevée pour l'identification d'actions "Présentes", mais chute pour les actions "Précédentes/Suivantes" et les comptes d'actions élevés, indiquant des défis pour capturer les dépendances temporelles à longue portée dans les séquences denses de nuages de points.

3. Robustesse vs Modalité RGB

Une conclusion critique est la robustesse comparative des données mmWave sous dégradation visuelle :

• Conditions claires : Dans les environnements Normaux et Meublés, les VLM basés sur le RGB surpassent les modèles mmWave, probablement en raison de indices visuels plus riches et de jeux de données de pré-entraînement plus vastes pour la vision.
• Conditions dégradées : Dans les scénarios d'Obscurité et d'Occlusion, le raisonnement basé sur le mmWave surpasse significativement le RGB. Les VLM hallucinent souvent ou échouent lorsque les indices visuels sont corrompus, tandis que les LLM exploitant le Doppler et les décalages de coordonnées maintiennent un raisonnement stable et physiquement ancré.
• Météo : En cas de Pluie ou de Fumée, les deux modalités sont comparables, démontrant la résilience du radar aux problèmes de visibilité.

4. Sensibilité au nombre de frames

La performance culmine avec l'utilisation d'environ 16 frames. Moins de frames limitent le contexte temporel, tandis que trop de frames (par exemple, 64) introduisent des informations redondantes ou bruitées qui entravent le raisonnement, suggérant qu'un équilibre temporel optimal est requis pour l'analyse du mouvement par radar.

Signification et affirmations

L'article revendique trois contributions principales :

1. Benchmark mmWave-QA : Il établit le premier benchmark unifié qui harmonise des jeux de données mmWave hétérogènes en tâches de QA en langage naturel, permettant une évaluation standardisée à travers les dispositifs et les scénarios.
2. Faisabilité de l'intégration Zero-Shot Radar-LLM : Il démontre que les LLM prêts à l'emploi, lorsqu'ils sont fournis de données de nuages de points textualisées, peuvent effectuer un raisonnement zero-shot robuste sur le mouvement humain, remettant en question l'idée que les données radar nécessitent des encodeurs spécialisés ou un entraînement intensif.
3. Robustesse dans les environnements à visibilité limitée : Il fournit une preuve empirique que la modalité mmWave, lorsqu'elle est couplée aux LLM, offre une robustesse supérieure par rapport à la vision RGB dans les environnements à faible luminosité et occlus, soulignant son potentiel pour une perception humaine fiable dans des contextes réels, respectueux de la vie privée ou visuellement dégradés.

Les auteurs concluent que bien que les modèles actuels soient prometteurs, les travaux futurs devraient se concentrer sur le réglage fin (fine-tuning) de modèles open-source et l'intégration de la génération augmentée par récupération (RAG) pour mieux combler le fossé entre la détection non visuelle et l'intelligence basée sur le langage.