技術概要：REASON – スケルトンベースの人間動作認識における概念駆動型論理的推論のためのニューロシンボリックフレームワーク

問題定義

スケルトンベースの人間活動認識（HAR）は、特にグラフ畳み込みネットワーク（GCN）を用いた深層学習モデルにより、強力な経験的パフォーマンスを達成してきた。しかし、これらのモデルは「ブラックボックス」として機能し、解釈可能性を欠いている。この不透明性は、透明な意思決定が不可欠な医療やリハビリテーションなどの高リスク領域において問題となる。さらに、既存のニューロシンボリックアプローチは、根本的な統合課題に直面している：

1. シンボルのグラウンディング: 連続的な関節軌道と離散的な記述述語を橋渡しすることは困難である。従来のヒューリスティック（例：「膝の角度 < 90°」）は脆く、ポーズの変化や視点の変化に対して失敗する。
2. 時間的ダイナミクス: 動作は本質的に時間的である。純粋に空間的な論理では、静的なポーズは類似しているが実行順序や運動方向が異なる動作（例：眼鏡をかける vs 眼鏡を外す）を区別できない。
3. エンドツーエンド学習: 離散的なブール演算子は通常、勾配伝播を阻害し、知覚（特徴抽出）と推論（規則適用）の共同最適化を妨げる。

手法：REASON フレームワーク

著者は、学習可能な運動プリミティブに対する概念駆動型第一階述語論理推論として動作認識を再定義するニューロシンボリックフレームワークであるREASON（Rule-based Explainable Action via Symbolic cONcepts）を提案する。このフレームワークは、4 つの主要な段階を通じて動作する：

1. 概念バンクの生成

手動ヒューリスティックに依存するのではなく、著者は 3 段階の大型言語モデル（LLM）パイプラインを使用して、空間的、時間的、および相互作用的な運動プリミティブからなる概念バンク $\mathcal{C}$ を構築する：

• 記述生成: LLM（GPT-3）は、動作を微細な身体部位の記述に分解する（例：「脚：膝で曲がり、その後爆発的に押し上げる」）。
• 抽象化とクラスタリング: 生データ記述は、動詞 - 方向 - 修飾語 パターンを抽出し、埋め込み、k-means によるクラスタリングを行うことで、標準的な概念に変換される。これにより、空間的概念（例：腕上げ、脚ジャンプ）が得られる。
• 時間的および相互作用の定義: 運動方向（上方への運動）、順序（まず手）、およびダイナミクス（速い速度）を捉えるために、明示的な時間的概念が定義される。相互作用概念は相互動作を処理する。
• 関連付け: 2 番目の LLM（LLaMA-3.2）は、動作を概念バンクにマッチングさせ、概念 $c$ が動作 $a$ に対して活性化する場合に $M_{a,c}=1$ となる二値関連行列 $M$ を作成する。最終的なバンクには 74 の概念（52 の空間的、21 の時間的、1 の相互作用）が含まれる。

2. スケルトン表現学習

標準的な時空間スケルトンエンコーダ（例：Hyper-GCN）は、微細な運動情報を保持するためにグローバルプーリングなしで入力シーケンス $X \in \mathbb{R}^{T \times V \times 3}$ を処理する。エンコーダは 3 つのブランチに供給される：

• STC-デコーダ: 概念の活性化を予測する。
• テキスト整合: 対照損失（$L_{align}$）を使用して、プールされたスケルトン特徴を、LoRA 微調整を施した CLIP エンコーダによって生成された概念グラウンディングされたテキスト埋め込みと整合させる。これにより、スケルトン特徴がその意味記述とクラスタリングされることが保証される。
• 部位発散: 異なる身体部位の特徴間の高いコサイン類似性を罰する損失（$L_{div}$）は、各解剖学的領域に対する識別可能な表現を確保する。

3. 時空間概念デコーダ（STC-デコーダ）

このモジュールは、連続的な特徴と記述述語を橋渡しする。エンコーダ特徴を空間的（$F_s$）および時間的（$F_t$）ストリームに分離する。

• グループデコーディング: 異種概念関係の複雑さを処理するために、概念はグループに分割される。学習可能なクエリ行列がクロスアテンションを実行し、特定の概念部分集合に関連するスケルトン情報を選択的に集約する。
• 予測: グループ全結合層は、これらのクエリをソフトな概念確率 $\hat{c} \in [0, 1]^{|\mathcal{C}|}$ に投影する。

4. 微分可能な第一階述語論理推論

離散的解釈可能性を維持しながらエンドツーエンド学習を可能にするために：

• 二値化: 直進推定器（STE）を使用して、ソフトな予測を二値化（$\bar{c} = \mathbb{I}[\hat{c} > 0.5]$）し、勾配フローを可能にする。
• 論理層: 積（AND）および和（OR）の積層された層が、概念を規則に構成する。
• 勾配接ぎ木: 順伝播中、離散演算と重みが推論に使用される。逆伝播中、勾配は連続緩和（ソフト AND/OR）を通じて計算され、離散パスに「接ぎ木」される。これにより、疎で解釈可能な論理規則の学習が可能になる。
• 分類: 線形分類器が規則の活性化を最終的な動作予測にマップする。

主要な貢献

1. REASON フレームワーク: 概念グラウンディングされた表現と微分可能な第一階述語論理を統合し、エンドツーエンド学習を可能にする、スケルトンベースの HAR に対する新規のニューロシンボリック定式化。
2. STC-デコーダ: 空間的身体構成と時間的運動ダイナミクスの概念を独立して抽出する専用デコーダ。実行の変動に対する堅牢な抽象化を提供する。
3. 概念バンク: LLM によって生成され、手動列挙なしで意味の豊かさを保証する、NTU RGB+D および NW-UCLA データセット用の 74 の空間的および動的運動概念のキュレーションされたバンク。
4. 解釈可能性: システムは、局所的解釈可能性（インスタンス固有の概念活性化）と全球的解釈可能性（動作意味を支配する人間可読の論理規則）の両方を提供する。

実験結果

このフレームワークは、NTU RGB+D 60/120 および NW-UCLA ベンチマークで評価された。

• パフォーマンス: REASON は競争力のあるパフォーマンスを達成し、いくつかのブラックボックスベースラインを上回った。
  • NTU RGB+D 60 (X-Sub) では、4 ストリームで**94.3%**の精度を達成し、Hyper-GCN（93.7%）や BlockGCN（93.1%）などの強力な GCN ベースラインを上回った。
  • NTU RGB+D 120 (X-Set) では、**91.9%**に達する。
  • NW-UCLA では、**97.9%**を達成する。
• LLM リランキング: 概念活性化に基づいた LLaMA-3.2 7B を使用したオプションのリランキング段階は、パフォーマンスをさらに95.6%（NTU-60 X-Sub）および93.2%（NTU-120 X-Set）に引き上げ、不透明な特徴に依存する他の LLM 拡張手法を上回った。
• アブレーション研究:
  • 時間的概念: 空間的概念に時間的概念を追加すると精度が**+7.8%**向上し、類似ポーズの区別におけるそれらの必要性が確認された。
  • 論理層容量: 128 ノード構成が最適であった。否定を無効にすると、49.87% へと壊滅的な低下を招き、$\neg$ 概念の必要性（例：$\neg$ 脚歩行を通じて立っていると歩いているを区別する）が浮き彫りになった。
  • 概念介入: 論理チェーン内で誤って予測された概念を修正すると、精度が単調に向上し（3 つの修正で最大 +5.67%）、エラーは主に欠陥のある論理規則ではなく、概念の誤予測に起因することが証明された。

意義と主張

本論文は、ニューロシンボリック推論が、解釈可能な時空間動作理解のための効果的なパラダイムであると主張する。学習可能な運動概念にスケルトン表現をグラウンディングし、それらを微分可能な論理を通じて構成することで、REASON は完全に透明な概念 - 規則推論チェーンを維持しながら、最先端のパフォーマンスを達成する。

事後説明や脆い手動作成規則に依存する先行研究とは異なり、REASON はデータから直接動作定義規則を学習する。著者は、このアプローチが正しい分類と失敗事例の両方の体系的な分析を可能にし、予測の「なぜ」が予測そのものと同じくらい重要である安全性が重要なアプリケーションにおける信頼性の高い AI への道を開くと強調している。このフレームワークは、精度やスケーラビリティを犠牲にすることなく、神経知覚と記述推論の間のギャップを埋めることが可能であることを実証している。