論文「MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition」の技術的サマリー

本論文は、ネズミ（ラットおよびマウス）の社会的行動認識のための新しい深層学習アーキテクチャ「MSGL-Transformer」を提案するものです。従来の手法が抱える課題である、短い微妙な動きと長い時間的パターンの両方を同時に捉える難しさを解決し、姿勢（ポーズ）データに基づく時系列シーケンスから行動を高精度に分類することを目的としています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

神経科学および薬理学研究において、実験動物であるネズミの行動分析は不可欠ですが、以下の課題が存在します。

• 人手によるスコアリングの限界: 従来の動画解析は時間がかかり、人間の主観や疲労による誤りが発生しやすい。
• 多スケールな時間的依存関係: ネズミの行動は、数フレームで完了する微妙な動き（例：鼻の接触）から、長い時間継続する行動（例：追従、孤立）まで、多様な時間スケールで発生します。
• 既存モデルの限界:
  • 局所的な時間情報に焦点を当てるモデルは、長期的な相互作用の依存関係を捉えきれない。
  • グローバルな文脈を重視するモデルは、短く重要な動きを見逃す傾向がある。
  • 既存のスケルトンベースのトランスフォーマーは、事前定義された空間グラフや固定された時間ウィンドウに依存しており、柔軟性に欠ける場合がある。
• クラス不均衡: 行動データセットでは、単独行動（Solitary）や「その他（Other）」のような頻度の高いクラスが支配的であり、重要なが稀な行動（例：攻撃、ピンニング）の検出が困難である。

2. 提案手法 (Methodology)

提案するMSGL-Transformerは、姿勢座標の時系列シーケンスを入力とし、マルチスケールな時間的注意機構と行動認識モジュールを統合した軽量なトランスフォーマーモデルです。

主要な構成要素

1. マルチスケール・グローバル・ローカル注意機構 (Multi-Scale Global-Local Attention):

   • 既存のトランスフォーマーがグローバル文脈のみを重視するのに対し、本モデルは並列に 3 つの注意ブランチを備えています。
     • 短距離ブランチ: 最初の半分のフレーム（$\lfloor T/2 \rfloor$）に対して因果マスク（causal masking）を適用し、急速な動きのキューを捉えます。
     • 中距離ブランチ: 全フレームに対して因果マスクを適用し、中期的なダイナミクスを捉えます。
     • グローバルブランチ: 全トークン（グローバルトークン含む）に対して双方向注意（bidirectional attention）を適用し、長期的な依存関係を捉えます。
   • 短距離と中距離の出力は重み付け平均され、ローカル表現（$A_{local}$）を生成し、グローバル表現（$A_{global}$）と残差結合されます。

2. 行動認識変調ブロック (Behavior-Aware Modulation, BAM):

   • SE-Networks（Squeeze-and-Excitation）のチャネル再重み付け機構に着想を得たブロックです。
   • 従来の SE がチャネル特徴に対して動作するのに対し、BAM は**時間的埋め込み（temporal embeddings）**に対して動作します。
   • 全姿勢シーケンスから変調ベクトルを学習し、行動解析に有益な時間的パターンを強調し、ノイズとなる特徴を抑制します。

3. 軽量トランスフォーマーエンコーダと入力表現:

   • 事前定義された空間グラフや階層的な時間ウィンドウに依存せず、生きた姿勢座標シーケンス（例：ラットの 6 関節×2 匹＝12 次元、マウスの 7 関節×2 匹＝28 次元）を直接入力します。
   • 学習可能なグローバルトークン（[CLS] トークンに相当）を追加し、シーケンス全体の要約表現を生成します。

3. 主要な貢献 (Key Contributions)

• MSGL-Transformer の提案: 多スケールのグローバル・ローカル注意機構を用いて、ネズミの社会的行動における短時間・長時間のパターンを同時に捉える新しいトランスフォーマーモデルを提案。
• BAM ブロックの導入: 時間的埋め込みを動的に再重み付けし、行動に関連する特徴を強調する新しいモジュールを開発。
• 広範な評価と汎化性能:
  • RatSI データセット（ラット）: 5 種類の行動クラスで評価。TCN、LSTM、Bi-LSTM などのベースラインを凌駕。
  • CalMS21 データセット（マウス）: 異なる種、異なる関節数（28 次元）、異なる行動語彙（4 クラス）を持つデータセットで評価。アーキテクチャを変更せず、入力次元とクラス数のみを調整することで、HSTWFormer などの既存手法を大幅に上回る性能を達成。
• 既存手法との比較: ST-GCN、MS-G3D、CTR-GCN、STGAT、HSTWFormer などの主要なスケルトンベースの手法と比較し、すべてのデータセットで最高精度を記録。

4. 実験結果 (Results)

RatSI データセット（ラット）

• 設定: 9 本の動画を用いた「1 動画除外」クロスバリデーション。
• 性能: 平均精度 75.4%、F1 スコア 0.745。
• ベースライン比較: TCN (0.739)、LSTM (0.739)、Bi-LSTM (0.737) よりも高い性能を達成。
• アブレーション研究: BAM モジュールとマルチスケール注意（MSA）の両方が有効であり、組み合わせることで性能が最大化されることを確認。

CalMS21 データセット（マウス）

• 設定: 公式テストセット（Task 1）を使用。
• 性能: 平均精度 87.1%、F1 スコア 0.8745。
• 比較: 既存の最良手法である HSTWFormer（76.4%）に対し、+10.7% の精度向上。他のグラフベース手法（ST-GCN 等）とも比較され、大幅な優位性を示した。
• 稀な行動の検出: 訓練データで最も少ない「Attack（攻撃）」クラスにおいても、F1 スコア 0.5829 を達成し、他の手法を上回った。

境界誤差分析 (Boundary Error Analysis)

• 行動遷移点（ラベルが切り替わる瞬間）付近では精度が低下する傾向があることが確認された（遷移点から 10 フレーム以上離れている場合 91.7% に対し、遷移点付近は 49.0%）。これは行動の曖昧さやスライディングウィンドウの特性によるものであり、今後の改善点として指摘されている。

5. 意義と結論 (Significance & Conclusion)

• 汎用性の証明: 同じアーキテクチャとハイパーパラメータを維持したまま、ラットとマウスという異なる種、異なる関節構成、異なる行動定義に対応できることを実証しました。これは、モデルが特定のデータセットに特化せず、広く一般化できることを示しています。
• 時間的ダイナミクスの捉え方: 従来の RNN や単一スケールのトランスフォーマーでは困難だった「短い微妙な動き」と「長い相互作用」の両方を同時にモデル化するアプローチの有効性を示しました。
• 今後の課題: 依然としてクラス不均衡（稀な行動の検出難易度）と行動遷移境界での精度低下が課題です。将来的には、クラスを考慮した損失関数やデータ拡張、境界検出モジュールの導入が期待されます。

本論文は、動物行動解析における深層学習の応用において、多スケールな時間的依存関係を効率的に学習できる新しいパラダイムを提示し、神経科学および薬理学研究における自動化行動分析の精度向上に寄与するものです。