技術概要：RAG-HAR

問題定義

ウェアラブルセンサーデータからの人間活動認識（HAR）は、医療、リハビリテーション、スマート環境において極めて重要である。しかし、既存の深層学習（DL）アプローチには、以下の 3 つの重大な限界が存在する：

1. リソース集約性：高コストかつ時間のかかる、データセット固有のトレーニングと微調整を必要とする。
2. 汎化性の課題：ドメインシフト（異なる被験者、センサー配置、またはデバイスなど）下で性能が低下する。
3. データ依存性：大規模なラベル付きコーパスに強く依存している。

さらに、大規模言語モデル（LLM）は広範な世界知識と推論能力を提供するが、センサーデータへの直接適用はしばしば失敗する。LLM は微細な活動の区別が困難であり、特定の活動パターンへのグラウンディングが欠如しているため、生データや文脈が不十分なセンサー信号が提示された場合、誤分類を引き起こす。

手法：RAG-HAR

本論文は、モデルのトレーニングや微調整なしに LLM が HAR を実行できるようにする、トレーニング不要なフレームワーク「RAG-HAR」を導入する。このフレームワークは、ベースライン段階と最適化段階の 2 つの段階で動作する。

1. データ処理と特徴量抽出

• 正規化：生センサーチャネル（加速度計、ジャイロスコープ、磁力計など）は、Z スコア正規化を用いて標準化される。
• スライディングウィンドウと分割：時系列データは固定サイズのウィンドウにセグメント化される。重要なのは、各ウィンドウがさらに 4 つのサブセグメントに分割される点である。すなわち、全体セグメントと、3 つの等分部分（開始、中間、終了）である。
• 統計的記述子：各セグメントおよびサブセグメントに対して、全チャネルにわたって 8 つの統計的特徴量が計算される。平均、最大値、最小値、25 パーセンタイル/75 パーセンタイル、標準偏差、中央値、ピーク数である。これにより、グローバルな傾向とローカルな過渡事象の両方が捉えられる。

2. ベースライン段階（検索拡張推論）

• 埋め込み生成：統計的特徴ベクトルは構造化されたテキスト文字列（例：mean=0.12, std=0.34）として直列化される。これらの文字列は、事前学習された汎用テキスト埋め込みモデル（例：text-embedding-3-small）を用いて埋め込まれる。
• ベクトルデータベース索引付け：トレーニングデータからの埋め込みは、メタデータ（活動ラベル、ユーザー ID）と共にベクトルデータベースに格納される。
• 推論と検索：
  • テストサンプルに対して、そのセグメントおよびサブセグメントの埋め込みが生成される。
  • 近似最近傍（ANN）探索により、コサイン類似度に基づいて上位 k 個の最も類似したトレーニングサンプルが検索される。
  • 重み付け再ランク付けメカニズムが、異なるサブセグメントからのスコアを組み合わせ、最終的なコンテキストセットを選択する。
• LLM 分類：検索されたサンプル（ラベルと統計的特徴量付き）とクエリサンプルは、プロンプトにフォーマットされる。事前学習された LLM（例：gpt-5-mini）は、文脈的証拠とクエリを分析し、活動ラベルを予測するとともに根拠を提供する。

3. 最適化段階

性能をさらに向上させるため、2 つの戦略が導入される：

• プロンプト最適化：メタ最適化ループがシステムプロンプトを生成し、反復的に洗練する。検証 F1 スコアに基づく roulette-wheel 選択戦略を用いて、システムは分類精度を最大化するための多様なプロンプトの表現や戦略（例：特定の特徴量抽出指示）を探索する。
• LLM ベースの活動記述子：埋め込み用に単純な統計的テンプレートを使用する代わりに、専門的な LLM プロンプトが運動パターンの豊かで自然言語的な記述（例：「持続的で反復的な運動」、「支配的な軸 X」）を生成する。これらの意味的に豊かな記述はその後埋め込まれ索引付けられ、検索されるコンテキストの品質を向上させる。

主要な貢献

1. トレーニング不要な SOTA 性能：RAG-HAR は、6 つの多様なベンチマークにおいて、データセット固有のモデルトレーニングや微調整なしに最先端（SOTA）の性能を達成する、HAR における最初の検索拡張フレームワークである。
2. 2 段階フレームワーク：本論文は、ベースライン検索システムと、プロンプト最適化およびLLM ベースの活動記述子を備えた最適化段階を組み合わせた新規アーキテクチャを提案する。これは、効率性と精度の間の制御可能なトレードオフを提供する。
3. オープンワールド認識：固定された分類体系に制約された従来の DL モデルとは異なり、RAG-HAR は未見の活動を検出し、意味のあるラベルを生成できる。これは、未知の入力を単一の「未知」クラスに集約するのではなく、LLM の意味的知識を活用して新しい行動を分類するものである。
4. 包括的な評価：このフレームワークは、6 つのデータセット（HHAR、PAMAP2、MHEALTH、GOTOV、SKODA、USC-HAD）で検証されており、6 から 60 のセンサーチャネル、および各種活動タイプ（移動、日常生活、組立タスク）を網羅している。

結果

• ベンチマーク性能：RAG-HAR は、6 つのデータセットのうち 5 つで、CNN、LSTM、Transformer を含む主要な DL ベースラインを上回った。
  • PAMAP2では、F1 スコアが**91.12%**に達し、以前の最高記録（Triplet LSTM）を約 0.5% 上回った。
  • MHEALTHでは、**96.74%**に達し、敵対的特徴抽出器を上回った。
  • GOTOVおよびSKODAでは、最も強力な先行モデルに対して F1 スコアを 1〜2% 改善した。
  • HHARでは、SimCLR および DeepConvLSTM ベースラインと比較して、F1 スコアで 7% 以上の大幅な改善を示した。
• オープンセット能力：オープンセット実験（活動クラスの 30〜70% がデータベースから除外されている場合）において、RAG-HAR は F1 スコアで MTMD ベースラインを一貫して 3〜7% 上回った。
• 未見活動のラベリング：システムは、新しい活動に対して意味的に整合性のあるラベルを生成する能力を実証した。単一の未知のクラスに対しては、予測ラベルをグランドトゥルースにマッピングする精度が**96.47%**に達した。3 つの未知クラスが除外された場合でも、この性能は 88.90% と堅牢であった。
• コストと効率：このフレームワークはトレーニング時間を排除する。推論コストは最小限（MHEALTH においてサンプルあたり約 0.0006 ドル）であり、GPU 集約的なトレーニングパイプラインの必要性を回避する。

意義と主張

本論文は、RAG-HAR が HAR のパラダイムをモデル中心の学習から検索拡張推論へと根本的に転換すると主張している。その主な意義は以下の点にある：

• トレーニングオーバーヘッドの排除：高コストでデータセット固有のトレーニングサイクルの必要性を排除し、HAR をよりアクセスしやすくスケーラブルにする。
• 未見データの処理：トレーニングデータに存在しない活動の認識と意味のあるラベリングを可能にすることで、「オープンワールド」問題に対処する。これは従来、広範な人手による注釈を必要とする能力であった。
• 堅牢性：検索された例に基づいて予測をグラウンディングし、LLM の事前学習された世界知識を活用することで、再トレーニングなしに異なる被験者やセンサー構成に対して高い汎化性能を達成する。
• 実用性：このフレームワークは、深層学習に対する軽量で費用対効果の高い代替手段を提供し、再トレーニングが非現実的なリソース制約のある環境での展開に適している。