技術要約: SCLARO および ScenarioCLIP

問題提起

現在のシーン理解におけるコンピュータビジョンのパラダイムは、グラウンデッド（接地された）マルチレベルの推論という決定的な欠落に直面している。大規模な視覚と言語の事前学習（VLP）データセットは、画像とテキストのグローバルなペアを提供しているが、微細なシーン構成（すなわち、特定のオブジェクト、オブジェクト間の関係、および実行されるアクション）について推論するために必要な、構造化された関係的グラウンディングを欠いている。逆に、既存のシーングラフデータセット（例：Visual Genome, OpenPSG）は、関係的な構造は備えているものの、効果的なVLP事前学習に必要な規模とアノテーションの多様性が不足している。

その結果、CLIPのようなモデルは、訓練中にグラウンデッドな関係的教師あり学習を欠いているため、意味的には類似しているが文脈的には異なるシナリオ（例：「バッグを持っている人」と「傘を持っている人」）を区別することに苦慮する。さらに、グローバルな特徴量とオブジェクトレベルの特徴量を整合させるPyramidCLIPのような階層型モデルは、オブジェクト間の関係を明示的にモデリングできておらず、文脈的なグラウンデッド・スーパービジョンの有効性が定量化されていない。

手法

1. SCLARO データセット

このデータギャップに対処するため、著者らは、屋内、屋外、および走行シナリオにわたる615,805枚の画像からなるコーパスであるSCLARO（Scene-Contextual Localisation of Actions, Relations & Objects）を導入する。このデータセットは、CC3M、OpenPSG、Panoptic Video Scene Graph (PVSG)、Multi-Moments in Time、およびKITTI2015という5つの公開ソースから構築されている。

このデータセットは、3段階の自動パイプラインによって生成された、独自の3層のアノテーション構造を備えている点がユニークである：

• 第1段階（構造化されたシーン・アノテーション）： オープンウェイトの視覚言語モデル（Ovis-Gemma 9B）が、グローバルなアクションのキャプション、オブジェクトインスタンスのリスト、および一連の関係性トリプレット (object1, relation, object2) を生成する。
• 第2段階（オブジェクトのローカライゼーション）： GroundingDINOが、特定されたすべてのオブジェクトに対してバウンディングボックスを予測する。
• 第3段階（フォーカス領域の構築）： SAM（Segment Anything Model）とRadial Basis Function（RBF）重み付けを使用し、パイプラインは関係に焦点を当てた領域を構築する。これらは、特定の相互作用が発生している空間的コンテキスト（例：「女性」が「ボウル」を「持っている」領域）を強調する特定の画像クロップであり、関係レベルのスーパービジョンに対する明示的な視覚的グラウンディングを提供する。

最終的なデータセットには、740のアクションクラス、4,812のオブジェクトクラス、および225,609のユニークな関係性トリプレットが含まれる。

2. ScenarioCLIP モデル

SCLAROのベンチマークとして、著者らは、グローバルなコンテキスト、オブジェクト、および関係を共同でエンコードするように設計された、階層的な3レベルの視覚言語モデルであるScenarioCLIPを提案する。

• アーキテクチャ： すべてのレベルで共有エンコーダを使用するPyramidCLIPとは異なり、ScenarioCLIPは**分離されたエンコーダ（disentangled encoders）**を採用している：
  • グローバル画像、オブジェクトクロップ、および関係フォーカス領域のための、3つの異なる視覚エンコーダ ($f_{V,G}, f_{V,O}, f_{V,R}$)。
  • アクションキャプション、オブジェクト名、および関係性トリプレットのための、3つの異なるテキストエンコーダ ($f_{T,G}, f_{T,O}, f_{T,R}$)。
• 学習目的：
  • 対照的整合（$L_{CA}$）： 各レベルにおいて、対称的な画像・テキスト対照損失を用いて、視覚的埋め込みとテキスト的埋め込みを独立して整合させる（Global-Global, Object-Object, Relation-Relation）。
  • 知識蒸留（$L_{KD}$）： EMA（指数移動平均）によるティーチャー・スチューデント・メカニズムが、階層レベル間の意味的一貫性を強制する。
    • 視覚モダリティ： グローバルな視覚ティーチャーが、ローカルなオブジェクトおよび関係の埋め込みを正則化する（グローバルなコンテキスト $\to$ ローカル）。
    • テキストモダリティ： 方向は逆転する。詳細なオブジェクト/関係のテキスト埋め込みが、グローバルなテキスト埋め込みを正則化する（ローカルな詳細 $\to$ グローバル）。これは、具体的な記述の方が広範なアクションキャプションよりも精密な内容を提供するためである。

主な貢献

1. SCLCARO データセット： アクションキャプション、オブジェクトのバウンディングボックス、および関係に焦点を当てた領域を多様な視覚ドメインにわたって提供し、VLPの規模とシーングラフの構造の間のギャップを埋める、大規模でグラウンデッドなデータセット。
2. ScenarioCLIP： 分離されたエンコーダと非対称な知識蒸留を備えた3レベルのモデルであり、明示的な関係レベルのスーパービジョンが表現の質を向上させることを実証した。
3. 包括的なベンチマーキング： ゼロショット検索、線形プロービング、オブジェクト検出、述語分類、シーングラフ分類、およびドメイン外への汎化をカバーする評価プロトコルを確立し、SCLAROをシナリオレベルの理解の標準として位置づけた。

実験結果

著者らは、複数のタスクにおいてScenarioCLIPをPyramidCLIPおよび様々なゼロショット・ベースライン（CLIP, SLIP, TripletCLIP, FineCLIP）と比較評価している：

• ゼロショット検索： ScenarioCLIPはPyramidCLIPおよびベースラインを大幅に上回る。特に、オブジェクト検索（Top-1: PyramidCLIPに対し+14.19%）および関係検索（Top-1: +3.13%）において顕著な利得が見られる。この結果は、微細なタスクにおいては、分離されたエンコーダの方が共有エンコーダよりも優れた表現を学習することを示している。
• 線形プローブ： ScenarioCLIPは、アクション、オブジェクト、および関係のすべてにおいて、PyramidCLIPよりも高いTop-1精度を達成している。
• 述語およびシーングラフ分類： ScenarioCLIPは、述語分類（PredCls）とシーングラフ分類（SGCls）の両方において平均リコール@K（mR@K）を改善しており、関係的推論能力の向上を裏付けている。
• オブジェクト検出： Faster R-CNNヘッドを使用した場合、ScenarioCLIPはPyramidCLIPに対して一貫した平均精度（AP）の向上を示しており、分離されたオブジェクト表現が優れたバックボーンとして機能することを示唆している。
• ドメイン外への汎化： 外部ベンチマーク（MS-COCOおよびVisual Genome）において、ScenarioCLIPはバニラ版のCLIPと同等またはそれを上回り、PyramidCLIPを大幅に凌駕している。これは、SCLAROの事前学習が壊滅的忘却を引き起こしておらず、関係に焦点を当てた事前学習が未知のドメインへ効果的に転移していることを示している。

重要性と主張

本論文は、SCLAROとScenarioCLIPが、視覚と言語の事前学習におけるグラウンデッドな関係レベルのスーパービジョンの価値を実証していると主張している。著者らは以下の通り述べている：

• 明示的な関係モデリングを欠く従来のモデル（PyramidCLIPなど）は、構成的なシーン構造を推論する能力において限界がある。
• SCLAROデータセットは、関係に特化したテキストと空間的にグラウンデッドされた領域をペアリングすることで、重要な空白を埋めている。
• ScenarioCLIPの分離されたアーキテクチャは、非対称な知識蒸留と相まって、汎用的な能力を損なうことなく、オブジェクトおよび関係の理解において優れた性能をもたらす。

著者らは、本研究を、シーングラフ生成や関係的推論を含む、グラウンデッドで構成的なシーン理解のための将来の研究の基礎として位置づけている。また、データセットが自動化されたパイプラインに依存していること（ハルシネーションを保持している可能性がある）や、関係の語彙が自然にロングテールであることなどの限界についても、謙虚に認めている。