技術的概要：グループ活動検出における構造化関係推論のための ProGraD

1. 問題定義

**グループ活動検出（GAD）**は、従来のグループ活動認識を拡張し、モデルがシーン内で複数の社会的グループを同時に局所化し、グループの所属関係（誰が誰と行動しているか）を推論し、集団的な活動を分類することを要求する。このタスクは、重なり合う相互作用、遮蔽、そして固定された空間的クラスタリングに依存するのではなく、動的にグループ構造を推論する必要性により、困難を伴う。

本論文は、ビジョン基盤モデル（VFMs）（例：DINOv2）を GAD に適応させる際の決定的なボトルネックを特定している。VFMs は優れた特徴表現を提供するものの、既存の GAD パイプライン（CNN バックボーン向けに設計されたもの）に単純に置き換えると、性能が低下する。例えば、「Practical GAD」フレームワークにおいて ResNet-18 バックボーンを凍結された DINOv2 バックボーンに置き換えた場合、Group mAP@1.0 は 10.85 から 9.46 に低下した。著者らは、主な限界は特徴の質ではなく、凍結された VFM の表現空間内でアクター - グループ関係をモデル化できる構造化された、グループを認識するデコーディング機構の欠如にあると主張している。

2. 手法：ProGraD

著者らは、パラメータ効率型微調整（PEFT）と専門的な関係デコーダーを用いて凍結された VFM を適応させるフレームワークであるProGraD（Prompt-based Group Activity Detection）を提案する。アーキテクチャは 3 つの主要なコンポーネントで構成される。

A. PEFT 条件付けによる特徴抽出

• 凍結されたバックボーン: モデルは、パッチレベルのトークンとアクタートークン（ROI Align 経由）を抽出するために、凍結された VFM（具体的には DINOv2-Base）を利用する。
• 学習可能なグループプロンプト: 完全な微調整や重たいアダプターに代わり、ProGraD は学習可能なグループプロンプト（$G_{prompt}$）を VFM 入力シーケンスに注入する。これらのプロンプトは、バックボーンの重みを変更することなく、バックボーンを社会的に関連する意味（相互作用するアクター、グループの空間的配置など）を露出させるように条件付けるタスク固有のクエリとして機能する。
• トークン生成: アクタートークンは、プロンプト条件付きの特徴マップから $1 \times 1$ RoI プーリングを介して抽出され、空間精度を保持するコンパクトな表現を生成する。

B. GroupContext Transformer (GCT)

中核的な革新は、アクター - グループ形成とグローバルな文脈集約を明示的に分離するように設計された軽量な 2 層のGroupContext Transformerである。これは 2 つの段階で動作する。

1. グルーピング注意層: この層は学習可能なグループトークンを初期化し、アクタートークンに対してクロス注意を実行する。これにより、潜在的に遠く離れた、または時間的に分離したアクターからの情報を集約し、一貫したグループ構成表現（$G_{grp}$）を形成する。
2. 文脈化注意層: この層は、グローバルなシーン文脈（画像パッチトークン）に注意を向けることで、更新されたグループトークンとアクタートークンの両方を豊かにする。これにより、空間的配置、背景オブジェクト、相互作用に関連する領域に関する手がかりが注入され、より正確な活動検出が可能になる。

C. 予測ヘッド

豊かにされたアクター（$Act_x$）とグループ（$G_{ctx}$）の埋め込みは、軽量なフィードフォワードネットワークに渡され、以下のタスクに使用される。

• グループ活動分類: 集団的な行動を予測する。
• アクター活動分類: 個々の動作を予測する。
• 所属推論: トークンを共有空間に投影して親和性を計算し、アクターをグループに割り当てる（または外れ値を特定する）。

D. 訓練目的

モデルは、以下の多タスク損失を組み合わせてエンドツーエンドで訓練される。

• 個別の動作分類損失（$L_{ind}$）。
• グループ活動分類損失（$L_{group}$）。
• ハンガリーマッチングを用いたアクター - グループ所属予測損失（$L_{mem}$）。
• 同じグループ内のアクター間で一貫性を強制するための対照的グループ一貫性損失（$L_{con}$）。

3. 主要な貢献

1. ボトルネックの特定: 本論文は、既存の GAD デコーダーにおいて CNN バックボーンを単に凍結された VFM に置き換えるだけでは性能が低下することを示している。特徴の質だけでなく、デコーダーと表現の整合性が鍵となる要因であることを確立している。
2. GroupContext Transformer (GCT): アクター - グループ関連性の推論とグローバルな文脈集約を明示的に分離する、新規かつ軽量な 2 層の関係デコーダー。
3. ProGraD フレームワーク: 凍結された VFM と最小限の PEFT 条件付け（学習可能なプロンプト）および GCT を統合したシステム。これは、約 1000 万の学習可能パラメータ（従来の手法の半分未満）のみで最先端の性能を達成する。

4. 実験結果

著者らは ProGraD を 2 つのベンチマークで評価した。Café（複数の同時進行する社会的グループ）とSocial-CAD（疎な相互作用、主に単一グループ）。

• Café ベンチマーク:
  • ProGraD は、Split-by-Place 設定において、Group mAP@1.0 で17.03、Group mAP@0.5 で39.11を達成した。
  • これは、以前の最先端手法（Practical GAD）と比較して、mAP@1.0 で6.2% の改善、mAP@0.5 で8.2% の改善を意味する。
  • 使用されたモデルの学習可能パラメータは 10.74M であり、Practical GAD の 22.77M と比較して少ない。
  • PEFT プロンプトなしの「Decoder Only」構成さえも既存の手法を上回り、GCT アーキテクチャの強さを確認させた。
• Social-CAD ベンチマーク:
  • ProGraD は70.00% のソーシャル精度と88.33% の所属精度を達成し、より少ないパラメータを使用しながら既存の手法を上回った。
• アブレーション研究:
  • グルーピング注意層または文脈化注意層のいずれかを除去すると、性能が大幅に低下し、それらの相補的な役割が確認された。
  • グループプロンプトの数をデータセットの最大グループ数（7）に一致させることで最適な結果が得られ、トークン数をデータ構造に整合させることが原則的な設計選択であることを示唆している。
• 定性的分析:
  • ProGraD は、人々や相互作用に関連する領域（例：テーブル）に焦点を当てた鮮明な注意マップを生成するのに対し、単純な VFM バックボーンは背景オブジェクトに広く注意を向ける。
  • モデルは、グループに属していないが空間的に近接している外れ値を正しく識別するのに対し、ベースライン手法はしばしば近接性のみに基づいて誤分類する。

5. 意義と限界

意義:
本論文は、GAD の未来は単にバックボーンのサイズをスケーリングすることではなく、構造化された関係デコーディングにあると主張している。ProGraD は、最小限の条件付けと専門的なデコーダーを通じて、凍結された VFM が複雑な社会的推論タスクに効果的に適応可能であることを証明し、最先端の性能に至るパラメータ効率の高い道筋を提供している。また、このモデルは、アクター - グループ推論に関する洞察を与える解釈可能な注意マップを提供し、スキル評価やフィードバック生成などの応用にとって価値がある。

限界:
著者らはいくつかの限界を認めている。

• グランドトゥルースへの依存: 現在のフレームワークは、グランドトゥルースのアクター検出が提供されることを前提としており、検出とグループ化を同時に行うものではない。
• 固定されたプロンプト数: グループプロンプトの数（$K$）は、データセットの最大グループ数に固定されており、さまざまなグループサイズを持つシーンに対する柔軟性が制限される。将来的な研究では、適応的なトークン割り当てが検討され得る。
• 推論効率: パラメータ効率が高いとはいえ、推論には依然として大型の凍結された VFM バックボーン全体を通じた完全なフォワードパスが必要である。将来的な研究では、スケーラビリティを向上させるための特徴の再利用や適応的トークン選択が検討され得る。
• 失敗モード: モデルは、空間的手がかりが曖昧になる、重度の遮蔽や鏡像反射があるシナリオでは困難に直面する。