The Computational Grammar of Human Behaviour in a Biological Environment

技術的要約：生物学的環境における人間の行動の計算論的文法

問題提起
人間の行動は、環境からの要求とエージェントの目標によって形作られる、自発的な一連の動作の連続体として展開される。リハーサルされた、あるいは合図による運動シーケンスの生成については十分に特徴付けられているが、自発的で自然な行動の組織化については、依然として理解が進んでいない。既存の理論的枠組みは、人間の行動は事前に計画されたものではなく、モデルフリー（model-free）のアルゴリズムによって確率的に選択されている可能性を示唆しているが、この仮説は自発的に生成された人間の行動シーケンスに対して厳密に検証されてこなかった。さらに、現在の行動分析手法は、定義済みの行動レパートリーに依存しているか、あるいは特定のシーケンス構造（例：1次マルコフ過程）を想定していることが多く、生態学的に現実的な設定における複雑な人間の動きを捉えきれない可能性がある。

方法論
著者らは、自由移動型バーチャルリアリティ（fm-VR）内の、生態学的に現実的でリスクのある採餌環境をナビゲートする参加者の全身モーションキャプチャデータを用い、計算行動学（computational ethology）のアプローチを採用した。研究では、23名の参加者が、果物を集め脅威を回避するように指示された924回の採餌エポック（平均持続時間35秒）を完了した。なお、これらの動作を「どのように」行うかについての具体的な指示は与えられなかった。

事前の行動レパートリーを前提とせずに連続的な運動学的データを分析するために、著者らは、非線形埋め込みにおける行動発見のための動的階層クラスタリングであるDynaClade（Dynamic hierarchical Clustering for action discovery in non-linear embeddings）という、非教師あり学習による時間的行動セグメンテーション・アルゴリズムを開発した。手法は以下の5つのステップで進行した：

1. 特徴抽出: 関節間の距離、関節の高さ、セグメント角、グローバルな方向、およびそれらの第1、第2、第3の時間微分（速度、加速度、ジャーク）を含む、高次元の運動学的特徴セット（311変数）を抽出した。
2. 次元削減: UMAP（Uniform Manifold Approximation and Projection）を用いて、特徴量を低次元空間に投影した。
3. クラスタリング: 初期的な行動クラスターを、HDBSCAN（Hierarchical Density-Based Spatial Clustering of Applications with Noise）を用いて特定した。
4. ヒューマン・イン・ザ・ループによる後処理: クラスターの重心を視覚的に検査し、機能的に類似した動きを統合することで、階層的な行動辞書（70個の微細な行動、46個の中間的な行動、22個の大まかな行動）を作成した。
5. 分類: 精査されたラベルを用いてランダムフォレスト分類器を訓練し、初期段階でノイズとして分類されたものも含め、すべての時点に対して最終的な行動ラベルを割り当てた。

得られた行動シーケンスは、シーケンス構造の次数とコンテキストの役割を決定するために、1次遷移行列、n-gram頻度分析、および隠れマルコフモデル（HMM）を用いて分析された。

主な貢献

• DynaClade アルゴリズム: 行動空間やシーケンス構造に関する事前知識なしに、連続的な人間のモーションキャプチャデータから階層的な行動レパートリーを発見できる、非教師あり学習アルゴタズムの導入。
• 「躊躇（hesitant）」行動の発見: 局所的な移動を伴わない身体の揺らぎの増加を特徴とする、これまで記述されていなかった運動パターン「躊躇（hesitant）」の特定。これは意思決定ポイントにおいて頻繁に発生する。
• シーケンス構造の特性付け: 自発的な人間の行動シーケンスが、固定された事前計画的なシーケンスではなく、行動コンテキストによって説明される高次の構造（1次マルコフを超えた構造）を示すことを厳密に分析した。

結果

• 行動レパートリーの妥当性: DynaCladeは、運動学的特性と空間分布が環境のアフォーダンス（例：「reach（手を伸ばす」や「bend/reach（屈んで手を伸ばす）」は主に果物の近くで発生し、「run（走る）」や「walk（歩く）」は安全な家屋の近くで発生する）と一致する22個の大まかな行動（例：歩く、走る、立つ、手を伸ばす、躊躇するなど）を特定した。また、本アルゴリズムはバリデーション・セッションにおける指示された行動も正常に復元した。
• 行動の特性: 22個の大まかな行動のうち一部（11/22）が全タイムビン（time bin）の95%を占めた。「躊躇」行動はタイムビンの11.2%を占め、「stand（立つ）」とは運動学的に異なり、腰の動きの速度が高く、移動の合間に頻繁に発生していた。目線の追跡データ（セグメンテーションには使用していない）は、異なる行動に関連した特有の瞳孔径と視覚スキャンパターンを示しており、覚醒度や情報サンプリングの違いを示唆している。
• シーケンス構造:
  • 非ランダム性: 行動シーケンスは高度に非ランダムであり、可能なバイグラム（bigram）のわずか53.1%しか発生していなかった。
  • 高次依存性: 1次遷移は非ランダムな構造を捉えていたが、シーケンスは1次マルコフモデルから有意に逸脱していた。統計テストにより、生の行動シーケンスには少なくとも8次のマルコフ構造の証拠があることが示された。
  • コンテキストによる説明: しかし、予測精度は1次モデル（39.6%）から2次モデル（49.0%）へのみ有意に向上し、2次以降は収穫逓減が見られた。
  • 潜在状態: 30個の潜在状態を持つ隠れマルコフモデル（HMM）が、観測された22個の行動よりもデータを最もよく説明した。このモデルにおいて、観測された行動は複数の潜在状態に関連付けられており、各状態は異なるコンテキストにおける同一の行動に対応していた（例：採餌コンテキストでの「歩行」と、逃走コンテキストでの「歩行」）。
  • 組織化に関する結論: 観測されたシーケンスの高次構造は、主にアクション・コンテキストへの感受性によって駆動されていた。特定の行動コンテキスト内では、行動のシーケンスは概ね1次マルコフ構造に従っており、1次を超える実質的な固定行動シーケンスの証拠は見られなかった。

意義
本論文は、自発的な人間の行動は、事前に計画された、あるいは習慣的に組み立てられたシーケンスに従うのではなく、現在の行動とそのコンテキストに基づいて主に選択されるものであると主張している。この知見は、人間が複雑な環境において自己誘導的な行動の組み立てを扱い可能なものにするために、コンテキスト依存的な計算効率の高い戦略を利用しているという見解を支持するものである。生態学的に妥当な設定における人間の行動が、豊かな行動レパートリーに基づき、その逐次的な組み立てがコンテキスト固有の1次マルコフ過程によって概ね説明されることを確立することで、本研究は、自然な人間の行動の構造、機能、および個体変異を特徴付けるための生産的な枠組みとして、計算行動学を正当化した。本研究は、自発的な人間の行動の構造に関する理論的提案と、経験的観察との間の溝を埋めるものである。