技術要約：言語モデルはミリ波データを理解できるか？

問題提起

大規模言語モデル（LLM）の人間知覚システムへの統合は、視覚（RGB）および音声領域において著しく進展しているが、ミリ波（mmWave）レーダーについては未だにほとんど探索されていない。ミリ波センシングは、電磁波の反射に依存するため、外観に依存しない低照度、遮蔽、プライバシー保護における明確な利点を持つが、現在の手法は主に3つのボトルネックに直面している。

1. データの希少性： 公開されているレーダーと自然言語のペアリングが不足している。既存のデータセットは規模が小さく、特定のラボに限定されており、自然言語によるアノテーションも欠如している。
2. 異質性： ミリ波の観測値は、ハードウェア（搬送波周波数、アンテナ数）、環境条件（クラッタ、マルチパス）、および実験セットアップによって大きく異なり、汎化を妨げる深刻な分布シフトを引き起こす。
3. 基礎的なエンコーダーの欠如： 生のミリ波テンソルと言語バックボーンを橋渡しするための標準化されたトークナイザーや基礎的なエンコーダーが存在しないため、現在のシステムは新しいデータセットやシナリオごとに再学習を強いられている。

その結果、既存のミリ波人間知覚モデルは「シナリオ調整済み」であり、データセットごとの再学習が必要となり、現代のLLMが持つゼロショット推論能力を活用できていない。

手法

1. mmWave-QA ベンチマークの構築

これらのギャップに対処するため、著者らは言語条件付きのミリ波人間知覚を評価するために設計された初のベンチマークである mmWave-QA を導入する。構築パイプラインは以下の通りである：

• データ統合： 多様なデバイス（TI IWRシリーズ、Phoenixカスタムボード）、被験者、および環境をカバーする3つの異質な公開データセット（mmBody、MM-Fi、mRI）を集約する。
• テキスト化： 最小限のテキストインターフェースを用いて、5次元のミリ波点群フレーム（$[x, y, z, \text{Doppler}, \text{intensity}]$）を座標形式のテキスト文字列に変換する。これにより、専用のレーダーエンコーダーなしで、既存のLLMがレーダーデータを処理することが可能になる。
• タクソノミーとQA生成： モーション理解の異なる側面を調査するために、5つのコアな質問タイプを定義する：
  1. ActRec： 行動認識（実行された行動の特定）。
  2. TrajCheck： 空間移動の検証（重心が位置を変えたかどうかの判定）。
  3. ActOrder： 時間的行動シーケンス（行動の順序の特定）。
  4. ActNum： 行動数の推定（異なる行動のカウント）。
  5. LimbFocus： 主要な肢の動きの検出（動いている身体部位の特定）。
• 品質管理： ヒューマン・イン・ザ・ループのプロセスにより、アノテーションを洗練させ、行動分布をバランスさせ、「通常（Normal）」、「家具あり（Furnished）」、「雨（Rain）」、「煙（Smoke）」、「暗所（Dark）」、「遮蔽（Occlusion）」の6つのシナリオにわたって意味的な明瞭性を確保する。

2. 評価フレームワーク

本研究では、3つのプロンプティング戦略を用いて、mmWave-QAベンチマークにおける商用LLM（Gemini 2.5、GPT-4o、GPT-5）を評価する：

• ゼロショット（Zero-shot）： 点群テキストと質問からの直接的な推論。
• フューショット（Few-shot）： 例示となる質問と回答のペアを用いたインコンテキスト学習。
• 思考の連鎖（Chain-of-Thought, CoT）： 最終的な回答の前に中間的な推論ステップを生成する。
• ハイブリッド（Hybrid）： フューショットの例示とCoT推論を組み合わせる。

評価では、異なる行動カテゴリ（上半身、下半身、胴体、全身）およびハードウェアタイプにわたる性能を比較し、様々な環境条件下でのミリ波性能をRGBベースの視覚言語モデル（VLM）と比較する。

主な結果

1. ゼロショット推論能力

LLMは、タスク固有のファインチューニングなしに、テキスト化されたミリ波点群を解釈する能力を示している。

• 性能向上： すべてのモデルにおいて、精度はゼロショットからフューショット、CoT、そして最終的にフューショットCoTへと一貫して向上する。例えば、GPT-5は**全身（Full-body）**の行動カテゴリにおいて、フューショットCoT設定で最高の精度（38.37%）を達成した。
• 汎化性能： モデルは、レーダー特有の学習なしでも、異質なハードウェアや環境条件に対して堅牢な推論能力を示しており、強力な汎化能力を示唆している。

2. タスク別性能

• ActRec & TrajCheck： これらのタスクは最も高い性能を示す。モデルは、フューショットのコンテキストが提供されると、動いているケースと静止しているケースを効果的に区別できる（例：GPT-4oの静止時の精度はフューショットにより**32.0%に向上し、Gemini 2.5-flashは27.2%**に向上した）。
• LimbFocus： モデルは単一の肢の動きには良好に機能するが、複数の肢が関わるシナリオでは苦戦する。これは、レーダーデータにおけるマルチパス干渉やゴースト反射に起因すると考えられる。
• 時間的推論（ActOrder/ActNum）： 「現在（Present）」の行動特定において性能が最も高く、「前（Previous）/次（Next）」の行動や高い行動数においては低下する。これは、高密度な点群シーケンスにおける長期的な時間依存性を捉えることの難しさを示している。

3. RGBモダリティに対する堅牢性

視覚的な劣化が生じた際の、ミリ波データの比較的な堅牢性は重要な発見である：

• クリアな条件下： 通常および家具ありの環境では、RGBベースのVLMがミリ波モデルを上回る。これは、RGBの方が豊かな視覚的手がかりと、より大きな事前学習データセットを持っているためと考えられる。
• 劣悪な条件下： **暗所（Dark）および遮蔽（Occlusion）**のシナリオでは、ミリ波ベースの推論がRGBを大幅に上回る。VLMは視覚的手がかりが損なわれると幻覚（ハルシネーション）を起こしたり失敗したりすることが多いが、ドップラーや座標の変化を利用するLLMは、安定した物理的に根ざした推論を維持する。
• 天候： 雨や煙の条件下では、両方のモダリティが同等の性能を示し、視認性の問題に対するレーダーの耐性を証明している。

4. フレーム数への感度

性能は16フレーム付近で使用したときにピークに達する。フレーム数が少なすぎると時間的なコンテキストが制限され、多すぎると（例：64フレーム）冗長またはノイズの多い情報が導入されて推論を妨げる。これは、レーダーによる運動解析には最適な時間的バランスが必要であることを示唆している。

意義と主張

本論文は、主に3つの貢献を主張している：

1. mmWave-QA ベンチマーク： 異質なミリ波データセットを自然言語のQAタスクへと調和させ、デバイスやシナリオを横断した標準化された評価を可能にする、初の統一ベンチマークを確立した。
2. ゼロショットでのレーダー-LLM統合の実現可能性： テキスト化された点群データが提供されれば、オフザシェルフのLLMが人間の動きに対して強力なゼロショット推論を実行できることを示し、レーダーデータには専用のエンコーダーや重いファインチューニングが必要であるという概念に疑問を投げかけた。
3. 視覚制限環境における堅牢性： 低照度や遮蔽された環境において、ミリ波モダリティをLLMと組み合わせることで、RGBビジョンと比較して優れた堅牢性を提供できるという実証的な証拠を提示した。これは、現実世界の、プライバシーに配慮した、あるいは視覚的に劣悪な設定における信頼性の高い人間知覚の可能性を強調している。

著者らは、現在のオフザシェルフのモデルには有望な兆しが見られるものの、今後の課題は、オープンソースモデルのファインチューニングや、非視覚的なセンシングと言語ベースのインテリジェンスをさらに橋渡しするための検索拡張生成（RAG）の統合に焦点を当てるべきであると結論付けている。