Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers

以下は、論文「Automated Detection of Mutual Gaze and Joint Attention in Dual-Camera Settings via Dual-Stream Transformers（デュアルカメラ設定における双ストリームトランスフォーマーを用いた相互視線と共同注意の自動検出）」の詳細な技術的概要です。

1. 問題定義

**相互視線（Mutual Gaze: MG）と共同注意（Joint Attention: JA）**の検出は、特に乳児と養育者の相互作用を理解する上で、発達心理学において基礎的なものです。しかし、従来の分析はビデオ録画の労力集約的な手動コーディングに依存しており、遅く、人的エラーを起こしやすく、スケーリングが困難です。

• 課題: 複数のカメラを備えた実験室環境における自動検出は、複雑なカメラ間関係ダイナミクスにより、計算上困難です。
• 既存手法の限界:
  • アイトラッキング: 高精度ですが、生態学的妥当性が低いです（デバイスの装着や画面ベースの刺激を必要とするため）。
  • 畳み込みベースライン: 異なるカメラビュー間における 2 人の個人間の空間的・意味的関係を捉えることができないことが多いです。
  • マルチモーダル LLM: 強力ですが、特定の行動境界に必要な微細な時間的感度を欠くことが多く、高い計算コストと遅延に悩まされます。

2. 手法

著者らは、2 つのカメラ（1 つは乳児に、もう 1 つは養育者に焦点を当てたもの）からの同期されたビデオストリームを処理し、MG と JA に対するフレームレベルの二値分類を行うように設計された双ストリームトランスフォーマーアーキテクチャを提案します。

A. アーキテクチャの概要

• 双ストリーム入力: モデルは 2 つの並列ビデオストリームを同時に処理します。
• フリーズされたバックボーン（GazeLLE）: 特徴抽出器をゼロから訓練する代わりに、著者らはGazeLLE（DINOv2 に基づく視線認識モデル）をフリーズされたバックボーンとして利用します。このモデルは、RGB 入力から直接、豊富な視覚的事前知識と視線認識機能を抽出します。
  • 2 つの GazeLLE モジュールは、共有重みで並列に動作します。
  • 線形投影層が、計算オーバーヘッドを削減するために高次元の埋め込みを 512 次元にダウンサンプリングします。
• トークン融合メカニズム:
  • 両方のカメラビューからの投影されたトークンシーケンスが連結されます。
  • 学習可能な**[CLS] トークン**がシーケンスの先頭に付加され、双カメラ状態のグローバル表現として機能します。
  • このシーケンスは、空間的およびクロスビュー関係を共同でモデル化するトランスフォーマーエンコーダ（3 層、4 アテンションヘッド）に入力され、[CLS] トークンが親と子の両方からの文脈情報を集約することを可能にします。
• 分類ヘッド: 更新された [CLS] トークンは、ReLU 活性化とレイヤーノーマライゼーションを備えた多層パーセプトロン（MLP）を通過し、単一のログオッズを出力します。これはシグモイド関数を通じて確率に変換されます。

B. データセットと前処理

• データソース: 7 つの観察セッションに参加した13 組の養育者 - 乳児ペアの半自然主義的データセット。
• 設定: 3 つの同期カメラ（乳児ビュー、親ビュー、トップダウン）が使用されましたが、モデルは乳児ビューと親ビューのみを利用します。
• 前処理パイプライン:
  1. 同期: 音声の相互相関を使用して 2 つのカメラストリームを整合させ、ハードウェア起因の最大 1 秒のオフセットを補正しました。
  2. フレーム抽出: 行動ダイナミクスと計算効率のバランスを取るため、ビデオは1 fpsでサンプリングされました。
  3. 顔検出: RetinaFaceを使用して顔を検出し、ヘッドのバウンディングボックス（マスク）を生成しました。これらは GazeLLE バックボーンに必要な入力です。
  4. アノテーション: 研究者が MG と JA イベントを高い時間的精度でラベル付けできるようにする、カスタム React ベースのツールが開発されました。
• データ分割: データリーケージを防ぐため、時間的な分割が使用されました（最初の 10% を検証用、残りを訓練用）。テストセットは、保持された 2 つのセッションで構成されました。

3. 主な貢献

1. 新規アーキテクチャ: フリーズされた視線認識バックボーン（GazeLLE）とカスタムトークン融合メカニズムを活用し、双カメラビュー間の空間的ギャップを埋める双ストリームトランスフォーマーの導入。
2. 包括的な評価: 軽量な畳み込みニューラルネットワーク（CNN）ベースラインおよび最先端のマルチモーダル大規模言語モデル（LLM、Llama-4 Vision）に対する厳密な比較。
3. オープンサイエンス: モデルアーキテクチャ、事前学習済み重み、およびテストデータセットをオープンソース化し、他の研究者が特定の研究室環境向けにモデルを微調整するためのパラメータ効率の高い基盤を提供。
4. カスタムツール: 真の値に対するモデルの予測を検証するためのカスタム注釈ツールと可視化インターフェースの開発。

4. 結果

提案されたモデルは、保持されたテストセットにおいて、精度、適合率、再現率、F1 スコア、ROC-AUC を用いて評価されました。

• 相互視線（MG）検出:
  • 提案モデル: F1 スコア 0.825、AUC 0.834。
  • CNN ベースライン: F1 スコア 0.655、AUC 0.429（ランダム推測に近い）。
  • LLM ベースライン: F1 スコア 0.480、AUC 0.602。
• 共同注意（JA）検出:
  • 提案モデル: F1 スコア 0.767、AUC 0.862。
  • CNN ベースライン: F1 スコア 0.589、AUC 0.681（再現率に高いばらつき）。
  • LLM ベースライン: F1 スコア 0.610、AUC 0.595。

主要な知見:

• トランスフォーマーモデルは、適合率と再現率のバランスにおいて、両方のベースラインを大幅に上回りました。
• CNN ベースラインは汎化に失敗し、純粋な局所的空間的特徴だけでは、カメラ間関係ダイナミクスをモデル化するには不十分であることを示唆しています。
• LLM ベースラインはイベントを過剰に予測するバイアスを示し、厳密な行動境界を区別するための時間的精度が欠如しており、その結果 F1 スコアが低くなりました。
• 効率性: 提案モデルは NVIDIA A100 上で9.46 サンプル/秒の推論スループットを達成しましたが、LLM はわずか0.14 サンプル/秒であり、提案モデル（1 つのより小さなフットプリント）に対してはるかに多くの GPU メモリ（40GB GPU 2 台）を必要としました。

5. 意義と影響

• ギャップの埋め合わせ: この研究は、自然主義的設定における社会的相互作用の分析のためのスケーラブルで自動化されたツールを提供することで、計算モデリングと応用行動科学の間のギャップを効果的に埋めています。
• スケーラビリティ: 手動コーディングへの依存を減らすことで、以前は処理が不可能だった大規模な心理学的データセットの分析を可能にします。
• アクセシビリティ: 事前学習済み重みのオープンソース化により、他の研究室は最小限のデータでモデルを微調整でき、コンピュータビジョンで一般的な「ドメインシフト」問題（異なるカメラ角度や照明など）を克服できます。
• 将来の方向性: 著者らは、ノイズを低減するための時間的平滑化、データセットの多様性の拡大、制約のない相互作用を処理するためのアイデンティティ追跡の統合、およびマルチパーティ（マルチカメラ）シナリオへのアーキテクチャの拡張を含む、将来の作業を特定しています。

結論として、この論文は、重要な社会的行動の検出を自動化するための、非常に効率的で正確かつアクセスしやすいソリューションを提示しており、この特定のドメインにおいて、専門的なトランスフォーマーアーキテクチャが従来の CNN および汎用 LLM を上回ることを実証しています。