技術要約: PRISM-AH

問題定義

本論文は、ビデオベースの健康行動変容介入における**アンビバレンス（両価性）および躊躇（Ambivalence and Hesitancy: A/H）**の認識という課題に取り組んでいる。A/Hは、ある行動に対する肯定的および否定的な志向性の間の葛藤した感情状態を表し、しばしば行動変容の遅延や断念につながる。

核心となる困難さは、エビデンスの性質にある：

• 希薄性と局所性: 識別的な手がかりは、ビデオ全体に均一に分布しているのではなく、時間的に希薄かつ局所的に存在する。
• チャネル間の不一致: 最も信頼できるエビデンスは、単一のチャネル内の強い信号よりも、モダリティ間の衝突（例：視線をそらしながら言葉では肯定している状態）から生じることが多い。
• 個人の多様性: 躊躇の現れ方は個人によって異なり、アノテーションされたコーパス（BAHベンチマーク）のサイズも限定的である。
• 標準的な融合の限界: 標準的なマルチモーダル融合を密なフレーム単位の特徴量に直接適用すると、プーリングによって時間的な局所性が希薄化し、チャネル間の不一致を捉えられなくなるため、精度が低下する。

手法: PRISM-AH

提案されるフレームワーク PRISM-AH（Predictive Reasoning over Interacting Streams for Multimodal Ambivalence / Hesitancy recognition）は、標準的な特徴量融合とは一線を画す。代わりに、このタスクを構造化され、タイムスタンプが付与されたマルチモーダルなエビデンスに対する知識誘導型の推論へと再定式化する。アーキテクチャは主に2つのステージで構成される：

1. 構造化エビデンス抽出（識別ネットワーク）

軽量なマルチモーダルネットワークがビデオウィンドウ（0.5秒）を処理し、単一のプーリングされたベクトルではなく、コンパクトで解釈可能な要約を生成する。

• エンコーダー: 各モダリティに対して凍結された基盤エンコーダーが使用される：
  • 視覚 (Vision): 顔フレーム用のCLIPファミリーViT。
  • 音声 (Audio): 音声用のWavLM。
  • テキスト (Text): トランスクリプト用のMPNet。
  • プロソディ/非流暢性 (Prosody/Disfluency): ピッチ、エネルギー、ポーズ、ヘッジ（言葉の濁し）などの明示的な記述子がウィンドウごとに計算される。
• インタラクション・ハブ (Interaction Hub): チャネルは共有次元に投影され、Feature-wise Linear Modulation (FiLM) を介して参加者のメタデータによって変調される。インタラクション・ブロックのスタックが、クロスアテンションと時間的自己アテンションを用いてチャネルを結合させる。
• 信号生成: ネットワークはエビデンスを強化するために特定の信号を出力する：
  • 衝突スコア (Conflict Score): ペアごとのコサイン不一致（$d_{va}, d_{v\tau}, d_{a\tau}$）を通じて、チャネル間の不一致を明示的に測定する。
  • 躊躇の驚き (Hesitation Surprise): JEPAに着想を得た予測コンポーネントであり、次のハブの状態を予測する。予測誤差は行動の連続性の断絶を示す。
  • プロトタイプ・マッチング (Prototype Matching): 学習可能なプロトタイプ・バンクが、ウィンドウに対して解釈可能なパターンラベルを割り当てる。
• 出力: ネットワークは、ビデオレベルの識別確率と、タイムスタンプ、支配的なモダリティ、衝突スコア、およびトランスクリプトのセグメントを含む構造化エビデンス要約を生成する。

2. 知識誘導型推論と後期融合

大規模言語モデル（LLM）が推論器として機能し、構造化されたエビデンスに対してゼロショットで動作する。

• プロンプティング: LLMは、BAHベンチマークの**専門家による手がかりのタクソノミー（分類体系）**を明示的にエンコードしたプロンプトの下で、エビデンス要約を受け取る。これにより、微細な手がかりを解釈するために必要なドメイン知識が提供される。
• 判定 (Verdict): LLMは、決定的な瞬間を引用した根拠とともに、確信度スコアを伴う判定を返す。
• 融合 (Fusion): 推論確率（$q$）は、凸結合による後期融合を用いて識別確率（$p$）と結合される：$p_{final} = (1 - \omega)p + \omega q$。重み $\omega$ と閾値は、マクロF1を最大化するように検証パーティションで較正される。

主な貢献

1. タスクの再定式化: 本研究は、密な特徴量融合から、構造化されタイムスタンプが付与されたエビデンスに基づく推論へと転換し、プライベート・テスト・パーティションにおいてマクロF1 0.6324（ゼロショット・ベースラインの0.2827から2.24倍の向上）を達成した。
2. 知識誘導型推論レイヤー: 専門家の手がかりのタクソノミーを明示的にエンコードしてエビデンスを解釈する、LLM推論器の導入。制御実験により、エンコードされたタクソノミーが性能向上の不可欠な要素であることが確認された。これを除去すると改善が見られなくなる。
3. 厳密な実証分析: 3つのシードを用いた制御研究により、モダリティの寄与と堅牢性を定量化した。言語が予測性能の主要な推進力であることを特定し、参加者の属性による条件付けが、参加者間で分離されたパーティションには転移しないことを示した。

実験結果

• 性能: プライベート・テスト・パーティションにおいて、PRISM-AHはマクロF1 0.6324を達成した。パブリック・テスト・パーティションでは、識別ネットワーク単体で0.5790に達し、知識誘導型推論の追加により0.6133に向上した。
• 推論レイヤーの必要性:
  • モデル容量: 7Bパラメータのモデルでは改善が見られなかった（融合重み = 0）が、14Bモデルではスコアが0.6070に上昇した。これは、十分な推論能力が必要であることを示している。
  • プロンプトのアブレーション（切除）: プロンプトから専門家の手がかりのタクソノミーを削除すると、改善が消失した（0.5825に戻った）。一方で、構造化されたエビデンスを削除しても改善は維持された（0.6147）。これは、ドメイン知識が推論器にとって、特定の形式よりも重要であることを示唆している。
• モダリティ分析:
  • 単一モダリティモデル（視覚、音声、テキスト）は、同等の性能を示した（マクロF1 ~0.55–0.56）。
  • 言語の優位性: 言語チャネルを削除すると最大の性能低下（0.5735 $\to$ 0.4982）が発生し、テキストが決定的なチャネルであることを裏付けた。
  • 参加者条件付け: メタデータによる条件付けを削除すると、パブリック・テスト・スコアが実際に向上した（0.5570 $\to$ 0.6140）。これは、参加者の属性が学習分布には適合しているものの、未知の個人には転移しないことを示している。
• 堅牢性: システムは、性別および年齢のサブグループ間で狭い性能差を示した。

意義と主張

本論文は、性能向上の主な要因は知識誘導型推論レイヤー、具体的には専門家の手がかりのタクソノミーを明示的にエンコードすることにあると主張している。エビデンスが希薄で局所的であり、クロスモーダルな衝突によって定義されるタスクにおいては、ビデオを構造化されたエビデンスに蒸留し、ドメインに基づいた推論を適用することが、密な特徴量を融合することよりも効果的であることを本研究は示唆している。

著者らは、補助的な構造的信号（衝突スコア、驚きの信号）は識別設定のみでは限定的な貢献しかできなかったことから、コンパクトな識別バックボーンが好ましいと結論付けている。最も有望な今後の改善方向は、言語がA/H認識の決定的なチャネルであるという知見と一致する、**より強力な言語グラウンディング（接地）**であると特定されている。このアプローチは、参加者固有の条件付けへの過度な依存を避け、未知の個人に対しても汎用性を持つ構成を支持している。