💻 computer science

CEZSAR: A Contrastive Embedding Method for Zero-Shot Action Recognition

本論文は、自動ネガティブサンプリング手順を用いて動画とテキストの埋め込みを共同空間で整合させることで、意味的ギャップとドメインシフトに対処し、UCF-101 および Kinetics-400 データセットで最先端の結果を達成する、ゼロショット動作認識のための新たな対照学習手法である CEZSAR を提案する。

原著者： Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに「馬に乗る」や「バスケットボールをする」といった人間の動作を認識させることを想像してみてください。通常、ロボットに教えるには、それらの特定の動作を行う人々の何千もの動画を示し、一つ一つラベル付けする必要があります。しかし、もしロボットがこれまで見たこともない「チェーンソーをジャグリングする」といった新しい動作を認識させたいとしたらどうでしょう？訓練データにそのような例が存在しないため、示すことができません。これがゼロショット動作認識の課題です。

本論文は、この課題を解決するための新しい手法CEZSARを紹介しています。その仕組みを簡単に説明します。

2 つの大きな課題

著者らは、例を示さずにロボットに新しい動作を教えることが難しい理由は、主に以下の 2 つの「道のりの障害」によるものであると述べています。

セマンティックギャップ（言語の壁）：
「視覚」（ピクセルや形状を見る）を話すロボットと、「テキスト」（単語を理解する）を話すロボットがいると想像してください。「これは馬のレースだ」とテキストロボットに伝えれば、それは概念を理解します。しかし、視覚ロボットは、ぼやけた馬とトラックの画像を見ています。問題は、テキスト世界における馬のレースという「概念」と、視覚世界における馬のレースという「画像」が完全には一致しないことです。これらは異なる方言を話す 2 人の人のようなもので、同じものを理解していても、詳細は翻訳の過程で失われてしまいます。
- 論文による解決策: CEZSAR は万能翻訳機を構築します。これにより、視覚ロボットとテキストロボットは、馬のレースの画像と「馬のレース」という文が記憶の中で隣り合わせになるような共通言語を学ぶように強制されます。
ドメインシフト（文脈の罠）：
ロボットを公園を走る人々の動画だけで訓練したと想像してください。その後、ジムにあるトレッドミルを走る人を認識させると、背景（「ドメイン」）が全く異なるため混乱するかもしれません。ロボットは「走る」という行為そのものではなく、公園を記憶しているからです。
- 論文による解決策: 著者らは、視覚世界は（異なる公園や異なるジムなど）大きく変化しますが、「走る」というテキスト記述は変わらないことに気づきました。視覚学習をテキスト記述に固定することで、ロボットは混乱する背景を無視し、動作そのものに集中することを学びます。

CEZSAR の仕組み（レシピ）

この手法は、「マッチとホット・コールド」のようなゲームである対照的アプローチを使用します。

セットアップ: システムは動画とそれを記述する文を受け取ります。
目標: 動画とそれに対応する文を、数学的な空間で互いに「抱きしめる」（非常に近づける）ようにします。
ひねり（ハードネガティブサンプリング）: ここが巧妙な部分です。システムは、何が一致しないかを学ぶ必要があります。人間が手動で不適切な組み合わせを見つける代わりに、コンピュータが自動的に生成します。
- 「馬に乗る」人の動画を取得します。
- 「馬に乗る」に関する文（良い一致）を取得します。
- 「自転車に乗る」や「パスタを調理する」に関する文（悪い一致）を取得します。
- コンピュータに、「調理」という文を「馬」の動画から遠ざけるよう強制します。
- 魔法: 彼らは人間の助けなしにこれらの「悪い一致」を自動的に見つけるスマートなトリックを使用し、単一のコンピュータで数時間以内に数百万の訓練例を作成します。

結果

著者らは、この手法を 2 つの有名な動画データセット（UCF-101 と Kinetics-400）でテストしました。

スコア: 彼らの手法は、従来の手法よりも有意に高い精度を達成しました。例えば、これまで見たこともない 101 の異なる動作でテストされた場合、次点の手法と比較して精度が約 10 パーセントポイント向上しました。
成功の理由: テキスト記述を用いて視覚学習を導くことで、ロボットは「馬に乗る」と「馬のレース」のように似て見える動作を区別する能力が大幅に向上し、異なる背景に惑わされなくなりました。

要約

CEZSAR は、コンピュータにこれまで見たこともない動作を認識させるための新しい方法です。単に画像を記憶するのではなく、コンピュータに画像とその記述をリンクさせ、私たちが目にするものと読むものの間のギャップを埋めるために、賢い「一致と不一致」のゲームを使用します。これにより、コンピュータは、たとえそれらの動画を見たことがなくても、新しい動作を迅速かつ正確に理解できるようになります。

技術的概要：CEZSAR

問題定義

本論文は、ビデオにおけるゼロショット動作認識（ZSAR）を取り扱っており、これはモデルの訓練フェーズに存在しなかったクラスに属する動作インスタンスを分類することを目的としたタスクである。著者らは、既存の ZSAR アプローチにおいて 2 つの持続的な課題を特定している：

セマンティックギャップ：視覚ドメイン（CNN またはトランスフォーマーによって表現される）とテキストドメイン（言語モデルによって表現される）との間の不一致。結合埋め込み空間であっても、視覚特徴の分布はしばしばそのセマンティックな対応物から乖離する。例えば、「Pommel Horse（馬術の跳馬）」や「Balance Beam（馬術のつり輪）」といった動作は、類似したシーン構造（体育館）を共有するが、特定の動作や器具が異なり、埋め込み空間において混乱を招く。
ドメインシフト：訓練セットと未見のテストセットとの間の確率分布の不一致。テストセットは訓練中に未知であるため、モデルは新しいデータ分布への汎化に苦労する。

既存の手法は、しばしば人間が定義した属性や単純な単語埋め込み（例：Word2Vec、GloVe）に依存しており、これらは微細なセマンティックな差異を捉えることができなかったり、多大な手作業を必要としたりする。さらに、CLIP のような大規模な事前学習モデルは有望であるが、しばしばアクセス不可能な、何億ものペアに及ぶ膨大な計算リソースとデータを必要とする。

手法：CEZSAR

著者らは、コントラスト学習を用いてビデオと自然言語記述の結合埋め込み空間を学習するように設計されたモデル、CEZSAR（ゼロショット動作認識のためのコントラスト埋め込み法）を提案する。

アーキテクチャ

モデルは 2 つの主要モジュールから構成される：

視覚埋め込みモジュール（VEM）：
- ビデオは毎秒 1 フレーム（FPS）でサンプリングされる。
- フレームは、事前学習された畳み込みニューラルネットワーク（CNN）、具体的には ResNet-152 によって符号化され、特徴スタックを生成する。
- 全結合層が次元削減を行い、その後に時系列情報をモデル化するためのマルチヘッド自己注意を備えたトランスフォーマーエンコーダが続く。
- 出力は、結合セマンティック空間（128 次元）に射影される。
文埋め込みモジュール（SEM）：
- 自然言語記述は、**Sentence-BERT（SBERT）**を用いて処理され、768 次元の埋め込みを生成する。
- これらは全結合層を介して、同じ結合セマンティック空間に射影される。

訓練戦略：ハードネガティブサンプリング

核心的な革新は、人間が注釈したネガティブペアの必要性を排除する自動ハードネガティブサンプリング手順である：

セマンティックフィルタリング：モデルは事前学習された SBERT モデルを用いて、文間の類似性を評価する。高いコサイン類似度（閾値 $\tau$ 以上）を持つ文は、セマンティックに類似しているとみなされる。
オブジェクトベースの拡張：システムはビデオ内のオブジェクトを検出し、それらに対する記述文を生成する。その後、人間が注釈した記述とオブジェクト生成記述の両方から十分に異なるネガティブ記述を選択する。
トリプレット生成：このプロセスは、（ビデオ、ポジティブ記述、ネガティブ記述）からなるトリプレットを生成する。著者らは、ActivityNet Captions データセットから約 300 万のトリプレットを生成したと報告している。
損失関数：モデルは、ビデオとそのポジティブ記述との距離を最小化し、ネガティブ記述との距離を最大化するトリプレット損失関数を用いて訓練される。

分類

推論中、モデルは入力ビデオとクラスプロトタイプ（文記述によって定義される）の両方を結合埋め込み空間にマッピングする。分類は、コサイン類似度に基づく最近傍則を用いて行われる。最終的なビデオ埋め込み（$VidE $）は、オプションとして、重み付けパラメータ$ \alpha $および$ \beta $によって制御され、生視覚特徴（$ VE(v) $）に加えてオブジェクトレベルのセマンティック情報（$ O(v)$）を組み込むことができる。

主要な貢献

論文は、3 つの主要な貢献を概説している：

新たなクロスモーダルコントラスト手法：CEZSAR は視覚特徴を文記述と効果的に関連付け、モーダル間のセマンティックギャップを大幅に減少させる。
モジュラー射影：アーキテクチャは、ビデオと記述を異なるサブネットワークを介して射影することを可能にし、コントラストモデル全体を再訓練することなく、追加のモーダル（テキスト、画像、または他のビデオ）の包含を容易にする。
効率性と堅牢性：この手法は、大規模モデル（CLIP など）が要求するデータと訓練時間の一部、および単一 GPU を使用して、標準ベンチマークにおいて最先端の結果を達成する。

実験結果

この手法は、さまざまなゼロショット分割構成（例：0% の既知クラス、100% の未知クラス）の下で、UCF-101およびKinetics-400データセット上で評価された。

UCF-101：0/101 構成（すべてのクラスが未知）において、CEZSAR は**95.2%**の精度を達成し（Fig. 1b に可視化）、ベースラインの ZSARCAP（67.2%）および他の最先端手法よりも大幅に改善された。オブジェクトレベルのセマンティクスを含めることは、わずかながら一貫した改善をもたらした。
Kinetics-400：モデルは、すべてのテスト構成（25、100、および 400 の未知クラス）において、すべての以前の最先端手法を上回った。400 クラス分割において、**23.8%**の精度を達成し、以前の最高値である 20.4% を上回った。
ハードサンプル：15 の困難で非常に類似したクラス（例：「馬乗り」と「競馬」の区別）のサブセットにおいて、CEZSAR は**63.3%**の精度を達成し、ZSARCAP の 47.4% と比較された。混同行列は、特に類似した器具やシナリオを含むグループにおいて、誤分類エラーの大幅な減少を示している。

意義と主張

著者らは、CEZSAR が、コントラスト学習が ZSAR におけるセマンティックギャップを埋めるための単純かつ効果的なアプローチであることを実証していると主張する。ドメインシフトの影響を受けにくいモーダルであるテキスト記述に基づいて視覚特徴の学習を条件付けることで、モデルはドメインシフトの問題を自然に緩和する。

論文は、ゼロショット認識における高い性能が、必ずしも大規模な事前学習インフラ（数千の GPU や何億ものデータペアなど）を必要とするわけではないことを強調している。代わりに、自動ネガティブサンプリングを備えた慎重に設計されたコントラストフレームワークは、はるかに少ないリソース（CLIP スケールのモデルに比べて視覚表現が 1000 倍少なく、データペアが 100 倍少なく、単一 GPU で数時間で訓練）を使用して、標準データセット上で優れた結果を達成し得る。この研究は、性能向上の主な要因は、単にセマンティック情報の量ではなく、セマンティックギャップの効果的な削減であると示唆している。