💻 computer science

Multimodal Ambivalence and Hesitancy Recognition via Cross-Attention and Gated Fusion

本論文は、双方向クロスアテンションとゲート付きマルチモーダルユニットを介してテキスト、音声、および視覚的特徴を融合させることで、ECCV 2026のABAW11チャレンジにおいて、単一モードのベースラインおよびゼロショットモデルを大幅に上回る0.7394のマクロF1スコアを達成する、ビデオにおけるアンビバレンス（両価性）と躊躇を認識するためのマルチモーダルフレームワークを提案する。

原著者： Oussama Berhili, Yassine Ouzar, Larbi Boubchir

公開日 2026-07-20

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Oussama Berhili, Yassine Ouzar, Larbi Boubchir

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

友人の様子を観察するだけで、その人が何を感じているのかを推測しようとしている場面を想像してみてください。時には簡単です。満面の笑みは「幸せ」を意味し、眉をひそめる顔は「悲しみ」を意味します。しかし、その人が葛藤しているような、難しい瞬間はどうでしょうか。例えば、声が震えているのに、顔は今にも泣き出しそうな様子で「大丈夫」と言っているときなどです。この混乱した感情の混ざり合いは、「アンビバレンス（両価性）」や「ためらい」と呼ばれます。それは、何かをしたいという気持ちと、それをするのが怖いという気持ちの間での、内なる綱引きのようなものです。コンピュータと人間の行動を研究する科学者たち（アフェクティブ・コンピューティングと呼ばれる分野）は、こうした微妙で複雑な信号を見つけ出す方法をコンピュータに教えようとしています。彼らは、一つの手がかり（例えば、声を聞くだけ、あるいは顔を見るだけ）では不十分なことが多いと知っています。人を本当に理解するためには、コンピュータは超スマートな探偵のように振る舞い、言葉、声のトーン、そして表情をすべて同時に組み合わせて、その人が真に何を感じているのかという謎を解き明かす必要があるのです。

この論文において、ウッサマ、ヤシーン、ラルビという研究チームは、まさにこのパズルを解くための「超探偵コンピュータ」を構築することに決めました。彼らは、ビデオ録画の中からアンビバレンスやためらいを見つけ出すことを目的とした、ABAW11というコンテストに参加しました。彼らはまず、3つの異なる「感覚」を個別にテストすることから始めました。テキストの書き起こしを読む脳、音声を聞く脳、そして顔のビデオを観察する脳です。その結果、単独の探偵としてはテキスト読み取りが最も優れており、正解率（Macro F1と呼ばれるスコアで測定）は約66.6%でした。音声リスナーはそれに僅かに続き、62.8%でした。そしてビデオウォッチャーは少し弱く、57.3%でした。興味深いことに、彼らが有名な「ゼロショット」AI（この特定のデータに対して学習されていないAI）を試したところ、正解率はわずか28.3%であり、この難しい仕事にはAIを特別に訓練する必要があることが証明されました。

しかし、本当の魔法は、探偵たちに一人で働かせるのをやめ、チームとして働かせたときに起こりました。研究者たちは、テキスト、音声、ビデオの脳が互いに会話できる特別なシステムを構築しました。彼らは「クロスアテンション（交差注意）」という手法を用いました。これは、各探偵にトランシーバーを与えて、「ねえ、ここで声が震えているよ、君の顔は見ている表情は緊張しているかな？」とか、「僕はためらう言葉を見たよ、君の音声は間（ま）を聞いているかな？」と問いかけさせるようなものです。これにより、「はい」と言いながらも自信がなさそうな声を出しているといった、矛盾を察知することが可能になりました。また、彼らは「ゲート付きマルチモーダル・ユニット（Gated Multimodal Unit）」も追加しました。これはスマートなマネージャーのように機能します。もし一人の探偵がぼやけた顔を見ていたり、質の悪い音声を聞いていたりする場合、マネージャーは「そのノイズの多い信号は一旦無視して、代わりにクリアなテキストに集中しよう」と指示を出すことができます。

最適な設定を見つけるための「Optuna」というスマートな探索ツールを用いてこのチームを訓練した後、結果は素晴らしいものでした。3人のチームが協力して動いた結果、テストで73.9%を記録し、これは最高の単独探偵よりも11.0%向上した数値でした。このことは、異なる感覚を互いにクロスチェックさせることで、コンピュータが単一の感覚だけでは捉えきれない、アンビバレンスを構成する微妙で相反する手がかりをより良く捉えられることを示唆しています。研究者たちは、テキスト、音、ビデオの間のこのような明示的なチームワークこそが、これらの困難な人間の感情を解き明かす鍵であると確信しており、他の人々も試せるように彼らのコードを公開しています。

技術要約：クロスアテンションとゲート融合によるマルチモーダルなアンビバレンスおよび躊躇の認識

問題定義
本研究は、ビデオ録画におけるアンビバレンス（両価性）および躊躇（Hesitancy）（以下、A/H）の自動検出という課題に取り組むものである。これはECCV 2026のABAW11チャレンジの中核となるタスクである。A/Hは、個人が相反する感情や動機を経験している状態であり、しばしば行動変容の遅延につながる微妙な感情状態を表す。この課題の難しさは、A/Hが、書き起こしにおける語彙的なヘッジング（言葉の濁し）、音声における韻律の変化、そして顔のビデオにおけるマイクロエクスプレッションといった、複数のモダリティにわたる複雑で、時には相反する手がかりを通じて現れる点にある。著者らは、A/Hの有無を示すバイナリラベルが付与された1,427本のビデオ録画を含むBAHデータセットを利用し、単純な単一モダリティ解析やナイーブな融合を超えたソリューションを開発している。

手法
提案手法は、特徴抽出、単一モダリティのベースライン確立、および新規のマルチモーダル融合アーキテクチャを含む構造化されたパイプラインで構成される。

特徴抽出: 微細な時間的ダイナミクスを保持するため、著者らは特徴抽出時のグローバルプーリングを避けている。代わりに、3つの最先端の学習済みエンコーダを用いて、フルシーケンスのトークン表現を抽出する。
- テキスト: F2LLM-v2-0.6B（Qwen3-0.6Bに基づく）が書き起こしを処理し、フルシーケンスの last_hidden_state ( $N_t \times 1024$ ) を保持する。
- 音声: WavLM-Largeが16 kHzモノラル音声を使用し、韻律のニュアンスを捉えるためにフル時間のシーケンス ( $N_a \times 1024$ ) を抽出する。
- 視覚: VideoMAE V2 (Base) が整列された顔フレーム（256x256）を処理する。ビデオは16フレームのチャンクに分割され、時空間コンテキストを保持するためにパッチレベルのトークンシーケンスが結合される ( $N_v \times 768$ )。
単一モダリティ・ベースライン: 融合の前に、著者らは各モダリティに対して独立して（MLP、ランダムフォレスト、GBDT）古典的な分類器を訓練し、堅牢なベースラインを確立している。これらのモデルは、指標としてMacro F1を用い、Optuna（各分類器につき100試行）によって最適化されている。
マルチモーダル融合アーキテクチャ: 中核となる貢献は、双方向クロスアテンションとゲート付きマルチモーダルユニット（GMU）を組み合わせた融合モデルである。
- 投影と位置エンコーディング: 全てのモダリティからの可変長シーケンスは、線形に共通の埋め込み次元 ( $d_{model}$ ) へと投影され、正弦波位置エンコーディングによって拡張される。
- 双方向クロスアテンション: MultimodalCrossAttention モジュールは、6つの方向性を持つアテンションスタック（例：テキストが音声にアテンションを向ける、音声がビデオにアテンションを向けるなど）を実装する。これにより、各モダリティが他のモダリティの表現に対してクエリを投げ、アテンションを向けることが可能となり、補完的な手がかりを活用することで曖昧さを解消する。
- プーリング: 文脈化されたトークンシーケンスは、構成可能なプーリング戦略（平均、最大、または学習されたアテンション）を用いて単一のベクトルに集約される。
- ゲート融合 (GMU): 集約されたベクトルは結合され、GMUによって処理される。このユニットはコンテキストベクトルを計算して各モダリティに対するシグモイドゲートを生成し、各ストリームの寄与を動的にスケーリングする。このメカニズムにより、特定のインスタンスにおいて、ノイズが多い、あるいは情報量の少ないモダリティ（例：顔が遮蔽されている場合）を抑制することができる。
- 分類: 最終的な融合表現はMLPを通過し、バイナリ予測を出力する。

主な貢献

包括的な単一モダリティ・ベンチマーク: 本論文は、F2LLM、WavLM、VideoMAEを用いた特定の設定を用いて強力な単一モダリティ・ベースラインを確立しており、ドメイン特化型の学習がゼロショット・ベースラインを大幅に上回ることを示している。
体系的な分類器評価: Optunaによる最適化を経た、各モダリティにおけるMLP、ランダムフォレスト、およびGBDT分類器の比較分析。
新規融合アーキテクチャ: モダリティ内およびモダリティ間の相互作用をモデル化するために、50回のOptuna探索によって特別に調整された、双方向クロスアテンションとゲート付きマルチモーダルユニット（GMU）の統合。
再現可能なパイプライン: 可変長のトークンシーケンスをパイプライン全体を通じて保持する、モジュール化されたオープンソースのフレームワークであり、クロスアテンションやマルチモーダルLLMへの将来的な拡張を容易にする。

結果

単一モダリティの性能: テキスト特徴が単独では最も識別力が高いことが証明され、ランダムフォレスト分類器はテストセットにおいて 0.6659 のMacro F1を達成した。これは、ゼロショットのVideo-LLaVAベースライン（Macro F1: 0.2827）を大幅に上回っている。音声および視覚モダリティは、それぞれ0.6275および0.5727のMacro F1を記録した。
マルチモーダル性能: 提案されたCross-Attention + GMUモデルは、検証セットにおいて 0.7394 のMacro F1を達成した。これは、最高の単一モダリティ・ベースラインに対して11.0%の相対的な向上であり、ゼロショット・ベースラインに対しても大幅な改善を示している。
ハイパーパラメータ最適化: 最良の設定は、共有埋め込み次元256、単一のアテンションヘッド、各モダリティペアにつき2層のクロスアテンション、および平均プーリングを利用した。

意義と主張
著者らは、明示的なクロスモーダルな相互作用がA/Hの検出に不可欠であるという仮説を、これらの結果が裏付けていると主張している。単一モダリティ・モデルに対する性能向上は、A/Hが単一のモダリティのみでは捉えきれない補完的な手がかりを含んでいることを示唆している。さらに、エラー分析によれば、単一モダリティ・モデル（特にテキスト）はマーカーに対して敏感であるが、中立的な特徴に対しても過剰に反応する可能性がある。一方、マルチモーダル・アーキテクチャは、音声や視覚ストリームからの直交する手がかりを活用することで、決定境界を精緻化することに貢献している。

本論文は、そのアプローチを、単純な遅延融合や単一モダリティへの依存よりも、モダリティ内およびモダリティ間の相互作用をモデル化することが優れた結果をもたらすことを示す、感情コンピューティングにおける原理的な一歩として位置づけている。性能（0.7394）はABAW10の勝者であるBROTHERシステムの結果に近づいているが、著者らはデータセットのバージョンやチャレンジのエディションの違いから、直接的な比較については慎重な姿勢をとっている。本研究は、今後の改善策として、より豊かな時間的モデリング、パーソナライゼーション、およびマルチモーダルLLMのパラメータ効率の良い微調整（PEFT）が挙げられると結論づけている。

関連論文