技術要約：人物レイアウトと非言語的社会的手がかりを用いたシーングラフによる人間中心の画像検索

問題提起

既存の画像検索手法は、主にグローバルな視覚的特徴（例：色、テクスチャ、背景）やオブジェクトレベルのセマンティック情報に依存している。これらは一般的なシーンの類似性に対しては効果的であるが、人間中心のシーンにおいて極めて重要な空間配置や相互作用の構造を捉えることには苦慮している。具体的には、標準的な手法では、背景やオブジェクトの数が似ていても、対人距離、視線方向、身体の向き、ジェスチャーといった非言語的な社会的手がかりが大きく異なる画像を見分けることができない。例えば、二人の人間が近くに立っていても、互いに反対方向を向いていれば、彼らは交流していない可能性がある一方で、離れていても向きが合っていれば会話に従事している場合がある。本研究が取り組む核心的な問題は、単なるグローバルな視覚的外観ではなく、人間中心のシーンの構造的類似性（具体的にはレイアウトと非言語的な関係構造）に基づいて画像を検索する方法である。

手法

提案するフレームワークは、人間をノード、非言語的な社会的手がかりをエッジとするシーングラフとして人間中心のシーンをモデル化する。検索プロセスは主に4つの段階で構成される。

1. 人物検出とノード構築

システムは入力画像から人物を検出し、身体キーポイント（COCO 17キーポイント形式）を推定する。各人物 $p_i$ は、以下の要素を含むノード $v_i$ として表現される：

• 2D位置： 画像平面上の参照点（検出の信頼度に基づき、足首、腰、またはバウンディングボックスの中心を優先的に採用）。
• 2.5D位置： 単眼深度推定を用いて計算された、相対的な深度を考慮した位置。
• 属性： 人物のサイズ、平均キーポイント信頼度、ポーズ埋め込み、およびシーン内における重要度スコア。
• ポーズ埋め込み： 自己教師あり学習で訓練されたPoseGCNエンコーダによって生成される、キーポイント構造を64次元の特徴ベクトルに変換したもの。

2. 2.5Dレイアウト推定

2Dのみのレイアウトの限界に対処するため、本手法では単眼深度推定（Depth Anything V2を使用）を用いて、各人物の代表的な深度値を計算する（バウンディングボックス内の中央値深度）。この深度は正規化され、画像座標と組み合わされて2.5D位置（$x^{2.5D}$）を作成する。この表現は、完全な3D再構成を必要とせずに相対的な前後関係を捉えることができ、2D上では近く見えるが実際には異なる深さにいる人々を区別することを可能にする。

3. 非言語的社会的関係エッジの構築

すべての人物のペアに対して、以下の6つの非言語的手がかりに基づき、関係エッジ $e_{ij}$ が構築される：

• 視線／頭部の方向： 頭部がどの程度互いに向き合っているか。
• 身体の向き： 肩や腰のベクトルの整合性。
• 腕のジェスチャー： 他の人物に対する手首や肘の方向。
• 近接性： 2.5Dユークリッド距離。
• 深度関係： 前後の相対的な差。
• 重要度： 人物のサイズ、中心性、および信頼度の加重結合。
  これらの手がかりは正規化され、加重された関係強度スコアへと統合される。

4. 検索とスコアリング

システムは2段階の検索戦略を使用する：

• 候補の絞り込み： シーングラフは、人物数、ノード属性、レイアウト分布、およびエッジ強度に関する統計を含む固定長記述子（380次元）へと要約される。この記述子に対するコサイン類似度によって、データベースから上位$M$個の候補を迅速にフィルタリングする。
• 構造保存型マッチング： 絞り込まれた候補に対して、クエリと候補のグラフ間で最適なノード対応を見つけるために**ハンガリー法（Hungarian matching）**を実行する。
• 最終スコア計算： 最終的な検索スコア $S(I_q, I_c)$ は、以下を組み合わせる：
  • 記述子類似度 ($S_{desc}$): グローバルなグラフの類似性。
  • レイアウト類似度 ($S_{lay}$): マッチングされたノードの絶対的な位置および相対的な距離構造。
  • 社会的関係類似度 ($S_{soc}$): マッチングされたペアの関係エッジ特徴の比較。ここでは、背景の人物によるノイズを避けるため、「コア」となる高強度のエッジに焦点を当てる。
  • 人数の一致性 ($C_{cnt}$): クエリと候補の人数が大きく異なる場合にスコアを減少させるペナルティ項。

本手法は、Social Peak検出を通じてビデオ解析にも拡張されており、単純な動きや視覚的な変化とは異なる、フレームごとの社会的関係構造が大幅に再編成される時点を特定する。

主な貢献

1. シーングラフ表現： グローバルな視覚埋め込みを超え、人物のレイアウトと非言語的な社会的手がかり（視線、向き、ジェスチャー）を構造化されたグラフとして結合して表現する、新しい人間中心の検索手法。
2. 2.5D人物レイアウト： 単眼深度推定を統合して相対的な2.5Dレイアウトを作成することで、2Dレイアウトでは捉えられない前後関係や深度を考慮した近接性を実現。
3. 非言語的要素の明示的モデリング： 単なるオブジェクトの共起ではなく、視線、身体の向き、ジェスチャーに基づき、潜在的な社会的相互作用の強さと構造を明示的にモデル化する関係エッジの構築。
4. 構造保存型検索スコア： グローバルな記述子類似度、レイアウト類似度、社会的関係類似度、および人数の一致性をバランスさせた複合的なスコアリングメカニズムにより、視覚的な違いがあっても同様の相互作用構造を持つ画像の検索を可能にする。
5. 実証的検証： 定性的分析およびコンポーネント除去実験により、非言語的な関係の手がかりが、視覚的に類似しているが構造的に異なる画像に対して、検索順位を大きく調整することを証明。

実験結果

本手法は、会話、会議、群衆、スポーツを網羅する26個のクエリ画像を含む560,000枚の人間中心の画像データベースを用いて評価された。

• 定性的検索： 背景、照明、服装が異なっていても、同様の相互作用構造（例：対面での会話、グループへの注視）を持つ画像を正常に検索できた。
• アブレーション解析： 社会的関係コンポーネント（$S_{soc}$）を除去した結果、26個のクエリのうち25個でトップ5の結果の順序が変わり、18個のクエリでランク1の結果が変化した。これにより、グローバルな特徴や単純なレイアウトでは分離できないシーンを区別するために、非言語的な手がかりが極めて重要であることが確認された。
• ビデオ解析： ビデオ実験において、「Social Peak」は、字幕のオーバーレイや色の変化といった低レベルな視覚的変化とは明確に異なる、構造的な再編成（例：選手のフォーメーションの変化、グループからの離脱）の瞬間を特定することに成功した。本手法は、色や勾配に基づく変化検出に対して補完的な挙動を示すことが示された。

意義と主張

本論文は、その主要な意義が、人間中心のシーンの意味を決定する関係的要素（空間配置、相互作用の文脈）を、検索可能な構造的表現へと変換したことにあると主張している。

• 補完性： 著者らは、本手法をグローバルな視覚検索や低レベルのビデオ変化検出の代替としてではなく、補完的なアプローチとして位置付けている。これは、グローバルな埋め込みが見逃す人物間の関係構造を捉え、かつ低レベルの視覚的手がかり（色、勾配）では解釈できないものを捉えるものである。
• 構造的理解： 効果的な人間中心の検索には、単に「どのようなオブジェクトが存在するか」ではなく、「人々がどのように配置され、どのように相互作用しているか」をモデル化することが必要であることを本研究は示している。
• 意図に関する謙虚な姿勢： 本論文は、非言語的な手がかりは観察可能な視覚的関係（視線、ポーズ）の構造的指標であり、実際の心理的な意図、発話内容、または特定の社会的アイデンティティを推論するものではないことを明示している。「Social Peak」は、意味論的なイベントのピークではなく、構造的な遷移点として定義されている。

本フレームワークは、空間的および関係的な文脈に基づいて人間中心のシーンを検索するための基盤を提供し、相互作用の構造が極めて重要となるシナリオにおいて、より微細なアプローチを実現するものである。