技術要約：忠実なアクションユニット因果推論 (FACR)

1. 問題提起

自動的な表情認識システムは、単に「もっともらしい」だけでなく、予測を駆動する実際の要因を反映した**「忠実（faithful）」**な説明をますます必要としています。現在の手法には以下の2つのカテゴリーがありますが、いずれも忠実性に欠けています。

1. 構造的因果手法： アクションユニット（AU）と表情を因果グラフを用いてモデル化しますが、これらは純粋に判別的なものです。推論時には復元された構造を破棄し、言語化された根拠を出力することなく、ラベルやアテンションマップのみを出力します。
2. マルチモーダル大規模言語モデル (MLLM)： AUに基づいた自然言語の感情根拠を生成します。しかし、それらのテキストは検証された因果構造によって制約されておらず、評価も（テキストの重複やGPTベースの判定器による）妥当性のみで行われます。その結果、これらは因果的な属性付けをテンプレートマッチングに置き換えてしまい、反事実的な編集下での説明の更新に失敗することがよくあります。

核心となるギャップは、AU→感情の推論器を検証済みの因果グラフに接地させ、**反事実的な忠実性（counterfactual faithfulness）**を強制するシステムの欠如です。これにより、ある因果的なAUに介入すれば予測と根拠の両方が変化し、無関係なAUに介入すればそれらが変化しないことが保証されます。

2. 手法：FACR

提案するシステムである**忠実なアクションユニット因果推論（FACR: Faithful Action-unit Causal Reasoning）**は、以下の3つの統合されたステージを通じてこのギャップに対処します。

A. 構造的 AU→感情 因果グラフの誘導 ($G$)

FACRは、外部のグラフを再利用するのではなく、独立して方向性を持つ極性対応の因果グラフ $G = (A \cup C, E)$ を誘導します。グラフは以下の3つのソースから組み立てられます。

• AU→感情 エッジ： AffectNet × FABA 結合コーパスを用いた L1 正則化ロジスティック回帰によって推定。
• AU→AU エッジ： EmotioNet における近傍選択（neighborhood selection）によって推定。
• 検証済みサブ構造： 痛みに関するサブ構造は、グラウンドトゥルースとして PSPI (Prkachin–Solomon Pain Intensity) 公式を用いて固定。その他の感情については、EMFACS プロトタイプからエッジを補完。
• 極性： 各エッジは、興奮的または抑制的な関係を示す符号 ($s \in \{-1, +1\}$) を保持。

B. グラフ条件付き推論器

システムは入力画像 $x$ を、各座標 $z_k$ が AU $k$ の存在を表す解きほぐされた AU 潜在変数 $z \in \mathbb{R}^K$ にマッピングします。

• 予測： グラフ条件付きヘッドが、$z$ に基づいて感情クラス $\hat{y}$ を予測。
• 根拠： 言語化器（verbalizer）が、活性化している AU と $G$ におけるそれらの因果エッジを命名する自然言語の説明を生成。
• 介入メカニズム： 潜在空間により、明確に定義された $do$介入（例：$do(z_k=0)$）が可能となり、AU の除去をシミュレート。

C. 反事実的忠実性目的関数

FACRは、予測と根拠をグラフ $G$ に結びつける2つの項を通じて、トレーニング目的関数を導入します。

1. 感度項 ($L_{sens}$)： $G$ がクラス $c$ に対して因果的であるとマークしている AU $a_k$ を除去した場合、クラスのロジットがエッジの極性が示唆する方向に動くことを要求。
2. 不変性項 ($L_{inv}$)： クラス $c$ に対して無関係であるとマークされている AU $a_k$ を除去した場合、クラスのロジットが変化しないことを要求。

全損失は、分類損失、AU接地損失、およびこれらの忠実性項を組み合わせたものです：
$$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$$

D. 言語化された根拠の構築

生成されるテキストが忠実であることを確実にするため、言語化器は**構築によってゲート（制御）**されます。各 AU トークンの放出は、その潜在的な活性化 $z_k$ によってバイアスされます。潜在空間内で AU が不活性である場合、テキストの中でそれが命名されることは強力に抑制されます。これにより、潜在空間における AU のアブレーション（除去）が、生成される説明から確実にその AU を取り除くことが保証されます。

3. 主な貢献

1. 定式化： AU→感情の推論を、根拠、ラベル、および因果グラフ間の反事実的一貫性の問題として定式化した。
2. FACR システム： 独立して誘導された、極性対応の因果グラフに MLLM 推論器を接地させ、解きほぐされた潜在空間における $do$ 介入を通じて忠実性を強制するシステムを提案。
3. 忠実性メトリクス： 検証された構造（痛みの PSPI、感情の EMFACS）に対して、感度と不変性を評価する反事実的忠実性メトリクスを導入。決定的なのは、このメトリクスが構造の再発見ではなく、提供された構造への忠実度をテストする点である。
4. 実証的検証： 忠実性目的関数が、検出精度とのトレードオフを明示的に定量化しながら、呼び出された AU と因果構造（PSPI および EMFACS）との一致度を大幅に向上させることを実証。

4. 実験結果

A. UNBC-PAIN (痛み検出)

Leave-one-subject-out (LOSO) 交差検証を用いて評価：

• 忠実性の向上： 忠実性目的関数により、呼び出された AU と検証済みの PSPI 構成との一致度が、ベースラインの 0.08（目的関数なし）から 0.57 へと上昇した。
• 精度のトレードオフ： この向上は、検出精度に対する限定的かつ定量化されたコストを伴い、AUC は 0.83（コントロール）から 0.79（FACR）へと減少した。
• 不変性の回復： 不変性重み ($\lambda_i$) を調整することで、感度と不変性の両方の制約を同時に満たすことが可能となった。

B. クロスデータセット感情転移 (AffectNet × FABA $\to$ Aff-Wild2)

• 汎用性： 7クラスの感情タスクにおいて、目的関数によりグラフ因果一致度が 0.50 から 0.84 に上昇した。
• グラフ品質への依存性：
  • 学習された（ノイズを含む）グラフの場合、真に活性化している AU との一致度は低く（0.24）、コントロールと同程度であった。
  • 検証済みグラフ (EMFACS) を使用した場合、真に活性化している AU との一致度は 0.59 に上昇し、一方でグラフ因果一致度は高いまま（0.74）であった。
  • これにより、グラフへの忠実性は必要条件ではあるが十分条件ではないこと（グラフの正しさが天井を決めること）が確認された。
• EmoLA との比較： 公開されている感情 MLLM である EmoLA は、多くの AU を無差別に命名することで、高い AU 再現率（0.52 対 0.37）を達成した。しかし、FACR は検証済みグラフを用いることで、より高い適合率（0.59 対 0.51）と、より高い忠実性（0.74 対 0.63）を達成しており、単に多くの AU を名前として挙げるのではなく、正しい 因果的 AU を選択できることを示した。

C. 言語化された根拠の監査

• 構築 vs 学習： ゲートなしで活性化 AU を命名するように訓練された言語化器は不忠実であった（アブレーションされた AU がテキストから除去された割合はわずか 6% であった）。
• ゲートによる成功： ゲート制約を設けることで、潜在空間における因果的 AU のアブレーションは、生成されたテキストからその AU を確実に除去した。
• バックボーンへの非依存性： 忠実性メカニズムは第2の言語モデルバックボーン（Gemma 3）にも転移し、このメカニズムが特定のベースモデルに固有のものではないことが確認された。

5. 意義と主張

本論文は、FACR が AU→感情推論における**「単に妥当なだけでなく、制約された説明」**への道筋を提供すると主張している。

• 忠実性と精度の区別： 本研究は、忠実性と精度が異なる軸であることを示している。モデルは精度を高めることなく忠実性を高めることができ、そのためには個別のメトリクスが必要である。
• 介入可能なハンドル： 従来の研究とは異なり、FACR は監査可能な介入ハンドル（AU 潜在変数）を提供し、予測に対する説明の依存性をテストすることを可能にする。
• 設計原則： 忠実性は、容量やデータのみを通じて学習されるよりも、構築によって強制される（ゲートと因果制約を通じて）場合に最も堅牢である。
• 限界： 著者らは、FACR が最先端の認識モデルではないこと（AUC/F1 スコアが控えめであること）、および現実への整合性は提供された因果グラフの正しさによって制限されることを明示している。本手法は構造を再発見することを主張しているのではなく、提供された構造に忠実に従うことを目的としている。