技術的概要：AlignG – プロトタイプフィードバックによる文脈条件付き述語意味の学習

1. 問題提起

シーングラフ生成（SGG）は、画像をオブジェクトとその意味的関係からなる構造化グラフとして表現することを目指します。この分野における根本的な課題は、多義的述語のモデル化です。ここでいう多義的述語とは、ラベルの意味（例：「on（上に）」「riding（乗っている）」）が特定の視覚的文脈に応じて変化するものを指します。例えば、スキー板に乗って静止している人は「standing on（立っている）」と表現されますが、斜面を滑り降りている人は「riding（乗っている）」と表現されます。これらは視覚的な外観が類似しているにもかかわらず、意味が異なります。

既存のアプローチは、以下のような方法でこの課題に対処しようとしています：

• 静的プロトタイプ: 各述語に単一の固定プロトタイプを割り当てる（例：PE-Net）。
• マルチプロトタイプ分解: 述語を複数の静的サブプロトタイプに分割する（例：C-SGG）。
• 検索/外部知識: 曖昧さ解消のために外部の例や大規模言語モデル（LLM）を使用する。

しかし、これらの手法には決定的な限界があります。述語表現が静的なままであることです。これらは推論中に画像固有の証拠を反映して意味を再編成することができません。固定されたアンカーは文脈的なニュアンスに適応できず、視覚的特徴だけでは空間的接触と機能的利用を区別できない曖昧なシーンにおいて、体系的な混同を引き起こします。

2. 手法：AlignG

著者は、グローバルな述語意味と画像固有の関係的文脈を橋渡しするプロトタイプフィードバック学習フレームワークであるAlignGを提案します。プロトタイプを固定されたアンカーとして扱う先行研究とは異なり、AlignG はそれらを各画像内の関係的手がかりに基づいて動的に適応する文脈条件付き変数として扱います。

このフレームワークは、2 段階の洗練プロセスを通じて機能します：

ステージ 1：述語プロトタイプへの文脈付与

静的プロトタイプを使用する代わりに、AlignG は現在の画像からの関係的証拠を用いてプロトタイプを漸進的に更新します。

• メカニズム: 各プロトタイプに対して、適合性重み付きクロスアテンションを介して関係埋め込みを集約します。このメカニズムは、グローバルなプロトタイプと画像内のすべての関係候補との間の適合性を評価し、最も関連性の高いものに高い重みを割り当てます。
• 更新則: 得られた文脈信号は、正規化された静的プロトタイプと共に**ゲート付き再帰ユニット（GRU）**セルに入力されます。これにより、画像固有の洗練されたプロトタイプ $p^{(I)}_r$ が生成されます。
• 目的: これにより、プロトタイプは局所的な証拠とともに進化しつつ、グローバルな意味空間内での安定性を維持し、急激な意味の漂移を防ぐことができます。

ステージ 2：関係埋め込みの再較正

プロトタイプが適応された後、それらは関係埋め込みを洗練するために使用されます。

• メカニズム: 逆クロスアテンションメカニズムが、適応されたプロトタイプを関係候補へ逆方向に伝播させます。これにより、各適応されたプロトタイプが特定の関係埋め込みの洗練にどの程度寄与するかが決定されます。
• 再較正: 生の関係埋め込みは、投影ネットワークを介してプロトタイプに基づくフィードバック信号と融合されます。
• 目的: この単一ステップの調整により、関係表現は局所的な変動に対して柔軟でありながら、グローバルな意味と一貫性を保つことが保証されます。

訓練目的

最適化は、以下の 3 つの主要な損失に従います：

1. 分類損失（$L_{cls}$）: 述語予測のための標準的な交差エントロピー。
2. 正則化損失（$L_{reg}$）: プロトタイプ間の多様性を強制し、冗長性を防止します（類似性ペナルティと多様性マージン）。
3. アライメント損失（$L_{align}$）: 再較正された関係埋め込みを静的グローバルプロトタイプ（適応されたものではなく）に引き寄せ、混乱を招く負のサンプルから遠ざける対照損失です。
   • 重要な設計選択: 損失を静的プロトタイプにアンカーすることで、単一の画像内での関係とプロトタイプ間の自明な共適応を防ぎ、分類器を画像に依存しない意味中心に留めることを保証します。

3. 主要な貢献

1. 述語学習の再定式化: 本論文は、静的プロトタイプ学習から画像条件付き適応へとパラダイムを転換し、述語意味を関係的証拠に応答する動的変数として扱います。
2. AlignG フレームワーク: 2 段階のプロトタイプフィードバックメカニズムの導入：
   • 画像固有の証拠にプロトタイプを適応させる。
   • これらの適応されたプロトタイプ下で関係特徴を再較正する。
   • 損失関数における静的アンカーリングを通じて、グローバルな意味的一貫性を維持する。
3. 実証的検証: 標準ベンチマークにおける最先端性能の達成と、述語意味の協調的かつ文脈依存の再編成を示す可視化による裏付け。

4. 実験結果

モデルは、Predicate Classification（PredCls）、Scene Graph Classification（SGCls）、Scene Graph Detection（SGDet）の 3 つの設定下で、VG-150およびGQA-200上で評価されました。

• VG-150 の性能:

  • SGDet において、AlignG はF@100 で 23.8を達成し、以前の最高記録（MCL）を**+1.4 改善**しました。
  • 全設定において最高平均リコール（mR@100）を達成しました（PredCls で 42.6、SGCls で 26.1、SGDet で 19.7）。
  • PE-Net ベースラインと比較して、AlignG は mR@100 において大幅な改善（それぞれ +8.8、+7.2、+5.2）を示し、改善が概念の拡張ではなくフィードバックメカニズムに起因することを確認しました。

• GQA-200 の性能:

  • AlignG は SGDet でF@100 が 19.5を達成し、ベースラインに対して**+2.7 改善**しました。
  • mR@100 において一貫した改善（PE-Net に対して +10.8）を示し、長尾分布全体でグローバルな精度と公平性を効果的にバランスさせました。

• アブレーションおよび分析:

  • コンポーネント分析: 単純な連結を GRU ベースの更新器に置き換えることで、特に平均リコールにおいて性能が一貫して向上しました。
  • 混同分析: AlignG は、PE-Net がハードネガティブペア（例：「lying on（横になっている）」と「laying on（置かれている）」の区別）で行ったエラーの 11.5% から 42.6% を解決しました。
  • 計算オーバーヘッド: この手法は、リアルタイム推論速度（>30 FPS）を維持しながら、最小限の計算コスト（+7.05G FLOPs、+0.03 秒/イテレーション）しか追加しません。

5. 意義と主張

本論文は、意味的一貫性と文脈的柔軟性が統合された構造内で共存し得ると主張しています。適応性を述語表現に直接統合することで、AlignG は、安定性を提供する静的プロトタイプと、シーン証拠を捉える画像固有の適応が、相補的なメカニズムとして機能し得ることを実証しています。

著者は、彼らのアプローチが以下の点で優れていることを強調しています：

• 曖昧な述語の洗練: 画像ごとのプロトタイプ類似性ヒートマップで可視化されているように、シーン証拠に基づいて述語意味を選択的に結合または分離します。
• 意味漂移の回避: アライメント損失における静的プロトタイプの使用により、モデルをグローバルな意味中心にアンカーし、局所的なアーティファクトやノイズの多い検出へ漂移することを防ぎます。
• 汎用性: 画像ベースのベンチマークで検証されましたが、著者は文脈条件付き適応の原理は、時間とともに関係意味が変化するビデオ理解などの逐次設定にも拡張可能であると示唆しています。

論文は、控えめなインパクト声明で締めくくられ、この手法が SGG を前進させる一方で、トレーニングデータセットからのアノテーションバイアスを継承していることを認めています。彼らは、ターゲット分布での検証と、安全性が重要なアプリケーションにおける人間の監督を推奨しています。