💻 computer science

AffectFlow-DINO: Uncertainty-Aware Multi-Task Affect Estimation via Conditional Rectified Flow

AffectFlow-DINOは、DINOv3バックボーン上に条件付き整流フロー（rectified-flow）ヘッドを活用することで、不確実性を考慮した生成予測を通じて顔の感情の曖昧さをモデル化し、価数・喚起度推定、表情分類、およびアクションユニット検出において大幅な性能向上を実現した、第11回ABAWチャレンジのためのマルチタスク学習システムである。

原著者： Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

公開日 2026-07-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Salah Eddine Bekhouche, Abdellah Zakaria Sellam, Fadi Dornaika, Abdenour Hadid

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

たった一枚の顔写真を見て、友人がどのような感情を抱いているかを推測しようとしている場面を想像してみてください。それは非常に難しいゲームです。わずかな微笑みは、幸せを意味しているかもしれませんし、あるいは単に悲しみを感じながらも礼儀正しく振る舞っているだけかもしれません。眉間に寄ったしわは、怒りを意味することもあれば、深い集中を意味することもあります。これが「アフェクティブ・コンピューティング（感情コンピューティング）」の世界、つまりコンピュータに人間の感情を読み取らせる技術です。長い間、科学者たちは、あらゆる顔を「これは100%の喜びである」とか「これは100%の悲しみである」といった単一の箱に押し込める、厳格な裁判官のようなモデルを構築しようとしてきました。しかし、人間の顔は複雑で曖昧なものです。時には、一つの顔に混ざり合った感情が宿っていたり、照明のせいで微妙な表情が読み取りにくかったりすることもあります。この分野における大きな問いは、「顔とは単一の答えではなく、可能性の全範囲であるということを、どうすればコンピュータに理解させることができるか？」ということです。

本論文では、まさにその問題を解決するために設計された、AffectFlow-DINOと呼ばれる新しいシステムを紹介します。このチームは、コンピュータに人の気分に対する「最善の推測」を一つだけ選ばせるのではなく、多くの可能な気分を同時に想像することを学習するモデルを構築しました。これは、天気予報家に例えると分かりやすいでしょう。従来のモデルは「午後2時に雨が降ります」と言うかもしれません。より優れた、不確実性を考慮したモデルは、「雨の確率は70%、曇りの確率は20%、晴れの確率は10%です」と言うでしょう。AffectFlow-DINOは、感情に対してこれを行います。このモデルは「整流フロー（rectified flow）」と呼ばれる巧妙な数学的トリックを使用して、目にするすべての顔に対して、もっともらしい感情状態の「雲」を生成します。これらの可能性を平均化することで、標準的なモデルが到達できるよりも正確な答えを見つけ出すことがよくあります。研究者たちはこれを現実世界の顔を含む大規模なデータセットでテストし、不確実性を受け入れることで、彼らのシステムが、通常は見過ごされがちな恐怖や悲しみといった稀な感情を捉える能力が大幅に向上したことを見出しました。

問題点：「一律の当てはめ」という罠

複雑な絵画を電話越しに友人に説明しようとしている場面を想像してください。もし、画像全体を説明する言葉を一つだけに絞らなければならないとしたら、あなたは「青」と言うかもしれません。しかし、その絵は実際には青、グレー、そしてほんの少しの赤が混ざり合ったものです。もしあなたが「青」とだけ言えば、そのニュ Nuance（ニュアンス）を逃してしまいます。

顔認識の世界において、コンピュータはこの「一単語の罠」に陥っていました。コンピュータは顔を見て、「バレンス（価／感情の快・不快）」と「アローザル（覚醒度／興奮・平静）」に対する単一の数値、および「アクション・ユニット（表情筋の動き）」と呼ばれるリストを出力しようとします。問題は、現実世界において、顔は曖昧であるということです。口元のわずかな動きは、微笑み、苦悶、あるいは単なる筋肉の痙攣かもしれません。標準的なコンピュータモデルは、その曖昧さを単一の硬直した予測へと押し潰してしまい、正しい答えへの手がかりとなるはずの不確実性を捨て去ってしまうのです。

解決策：「もしも」を考えるマシン

著者たちは、コンピュータに「感情は何ですか？」と尋ねるのをやめ、「感情は何であり得るか？」と尋ねることに決めました。

彼らはAffectFlow-DINOと呼ばれるシステムを構築しました。これは、強力で事前学習済みの「脳」（DINOv3 ビジュアル・バックボーン）から始まります。この脳は、すでに顔を認識することに非常に長けています。しかし、この脳に単一の推測をさせるのではなく、その上に特別な「想像エンジン」を追加しました。このエンジンは、**整流フロー（Rectified Flow）**という手法を使用しています。

その仕組みを簡単に可視化する方法は以下の通りです：

ノイズ： テレビの砂嵐のような、静止画のノイズで覆われた空白のキャンバスから始まることを想像してください。
旅路： モデルは、そのノイズを特定の感情へと変える、直線的で効率的な経路を学習します。それは、「混乱」から「幸福」へと向かう直接的な線を引くようなものです。
雲：新しい顔を見たとき、モデルは一本の線を引くだけではありません。ノイズから感情空間へと向かう「多くの線」を引きます。それぞれの線は、その顔に対する異なる、もっともらしい解釈を表しています。
平均： 最後に、それらすべての線の平均を取ります。顔が明らかに幸せであれば、すべての線は「幸福」を指し、平均は自信に満せった強い「幸福」となります。もし顔が曖昧であれば、線は広がり、平均は不確実性を捉えた微細な答えを提示します。

結果：困難な課題における成果

チームは、現実世界の顔の静止画が数千枚含まれるs-Aff-Wild2データセットを用いてシステムをテストしました。これらの画像は、照明が悪かったり、一部が隠れていたり、非常に微妙な表情を見せていたりするため、扱いが難しいものです。目標は、以下の3つを同時に予測することでした：

バレンス・アローザル： その人がどれほどポジティブ／ネガティブか、そしてどれほど興奮／平静であるか。
表情： 8つの感情（喜び、恐怖、悲しみなど）のうち、どれが存在するか。
アクション・ユニット： 12の特定の表情筋のうち、どれが動いているか。

結果は目覚ましいものでした。「想像エンジン」を使用することで、モデルはバレンス・アローザルのスコアを大幅に改善しました（スコアの向上は +0.058）。しかし、真の魔法は稀な感情において起こりました。

現実世界では、非常に稀な感情があります。彼らのデータセットでは、**「恐怖」はラベル付けされた画像のわずか3.8%にしか現れず、「悲しみ」**もまた非常に稀でした。標準的なモデルは通常、これらの稀なケースを無視し、ほとんどの場合「中立」または「その他」と予測してしまいます。しかし、AffectFlow-DINOシステムは、これらの稀な感情を検知する能力を取り戻すことに成功しました。

特定のタスクに対してファインチューニングされたモデルに適用された、巧妙なポストプロセッシング工程（各感情に対して個別に「決定閾値」を調整するステップ）を通じて、彼らは**「恐怖」の検出能力を、惨めな3.8%のF1スコアから33.1%へ、そして「悲しみ」を17.1%から28.2%**へと引き上げました。この特定のキャリブレーション（較正）ステップは、モデル全体を最初から再学習させる必要はなく、ファインチューニングされたモデルがすでに学習していた信号を、より注意深く聞き取るという作業でした。

排除されたもの

研究者たちは単に一つの方法を試したのではなく、何が実際に機能するかを確認するために、26種類の異なる設計上の選択肢をテストしました。

「Flowのみ」または「決定論的のみ」の排除： 標準的な「一回の推測」ヘッドなしで「想像エンジン（Flow）」のみを使用した場合、モデルは失敗することを発見しました。逆に、Flowなしで標準的なヘッドのみを使用した場合、ニュアンスを逃してしまいました。この両者が共に機能しなければなりません。
不均衡に対する単純な修正の排除： 数学的な重みを変えたり、Focal Lossを使用したりして、コンピュータに稀な感情をもっと注意深くさせる方法を試みました。これらの手法は単独ではうまく機能せず、時には他のタスクの精度を下げてしまうこともありました。
「キッチンシンク（寄せ集め）」的なファインチューニングの排除： 重みの変更やサンプリング戦略など、考えられるすべてのトリックを一度に組み合わせる方法を試しました。驚いたことに、この「寄せ集め」のアプローチは最終的なスコアを向上させず、実際にはモデルの気分（バレンス）を正確に推測する能力を損なうことがありました。

結論

本論文は、感情認識を向上させる鍵は、コンピュータを単に「賢く」したり「大きく」したりすることではなく、不確実性に慣れさせることにあると示唆しています。モデルに範囲内の可能性を探索させ、それを平均化させることで、AffectFlow-DINOは公式のベースラインスコアである0.45の2倍以上となる、1.177という最終的なパフォーマンススコアを達成しました。

著者らは、彼らのシステムは大きな前進であるが、最大の成果は次の2点からもたらされたと結論づけています：

ビジュアル・ブレインのファインチューニング： 事前学習済みの顔認識器を特定のタスクに適応させること。
決定閾値のキャリブレーション： コンピュータは実際に稀な感情を「見て」いたが、単に自分の直感を信じるための後押しが必要だった、という気づき。

この研究は、感情AIの未来が、単一の答えを強制することではなく、人間が持つ複雑で多面的な表現の現実を受け入れることにあるということを示唆しています。

技術要約: AffectFlow-DINO

問題提起

第11回感情的行動解析（ABAA）コンペティションは、各静止顔画像に対して、連続的なバレンス・アローザル（VA）値、8種類のカテゴリ的表情ラベル、および12種類のバイナリAction Unit（AU）ラベルという、3つの補完的な感情表現を同時にアノテーションしなければならない、極めて困難なマルチタスク学習（MTL）のシナリオを提示しています。

この設定は、以下の重大な困難をもたらします：

不均質なターゲット: タスク間で出力形式（回帰、単一ラベル分類、マルチラベル検出）および教師信号の密度が異なります。
深刻なクラス不均衡: s-Aff-Wild2データセットは、表情クラスにおいて8倍（Neutral、Other、Happinessが支配的）、AUにおいては29倍の不均衡を示しています。
不完全な教師あり学習: 3タスク共通のアノテーションは訓練フレームのわずか37%しかカバーしておらず、欠損ラベルに対する堅牢な処理が求められます。
知覚的曖昧性: 野生環境における顔の挙動（微細な微笑みや部分的な遮蔽など）は、結合された感情空間において複数の妥当な構成に対応することがよくあります。標準的な決定論的モデルは、この曖昧さを単一の点推定へと崩壊させ、貴重な不確実性の情報を破棄してしまいます。

手法: AffectFlow-DINO

著者らは、標準的な決定論的アーキテクチャに条件付き整流フロー（Rectified-Flow）ヘッドを付加し、完全な結合感情分布 $p(y|x)$ をモデリングするフレームレベルのMTLシステムである AffectFlow-DINO を提案しています。

アーキテクチャの概要

システムは主に4つのコンポーネントで構成されています。

ビジュアルバックボーン: 固定された DINOv3 ViT-S/16 エンコーダが、豊かな顔の表現を抽出します。著者らは、DINOの自己教師あり学習目的が空間的な意味的一貫性を強制するため、MAEのような再構成ベースの事前学習と比較して、局所的な筋肉の活性化（AU）の検出に適していると述べています。
共有プロジェクション: プロジェクションヘッドが、バックボーンの特徴をコンパクトな768次元の感情埋め込み $z$ にマッピングします。
決定論的ヘッド: 3つのタスク固有のMLPヘッドが、VA（tanhにより $[-1, 1]$ に制約）、表情（8ロジット）、およびAU（12ロジット）の点予測を生成します。
条件付き整流フローヘッド: この中核となるイノベーションは、等方的なガウスノイズから条件付きターゲット分布 $p(y|x)$ への生成的な輸送写像を学習します。これは、画像埋め込み $z$ 、線形補間されたノイズ付きターゲット $y_t$ 、および時間埋め込み $\gamma(t)$ を受け取り、輸送速度を予測します。

結合表現とマスク付き教師あり学習

モデルは、VA（2次元）、表情（8次元）、およびAU（12次元）を含む単一の22次元ベクトル $y \in \mathbb{R}^{22}$ に不均質なターゲットを統合します。訓練中、カテゴリ的およびバイナリの次元は、フローの軌道内において制約のない実数値スコアとして扱われます。離散的な予測は、推論時のみ $\arg\max$ およびシグモイド閾値処理によって回収されます。

不完全なアノテーションに対処するため、全サンプルに対してバイナリの妥当性マスク $m_i$ が適用されます。これにより、欠損しているターゲットが勾配に寄与したり、フローの訓練信号を歪めたりしないようにします。著者らは、アノテーションの欠損が真の感情値とは独立であるという仮定の下では、マスキングによって部分的な周辺分布から完全な結合分布を学習できると主張しています。

訓練と推論

損失関数: 全体の目的関数は、重み付き決定論的多タスク損失 ( $\mathcal{L}_{det}$ ) とフロー損失 ( $\mathcal{L}_{flow}$ ) の組み合わせです：
$\mathcal{L} = \mathcal{L}_{det} + \beta \mathcal{L}_{flow}$
フロー損失は、予測された速度と真の定数速度場 $v^* = y - \epsilon$ の間の二乗誤差を最小化します。
推論: 単一のフォワードパスではなく、モデルはモンテカルロサンプリングを実行します。 $N$ 個の独立したノイズサンプルが、 $t=0$ から $t=1$ までオイラー法を用いて積分されます。最終的な予測はこれらの軌道の平均であり、点推定（平均）と不確実性の尺度（広がり）の両方を提供します。

主な貢献

マスク付き整流フローMTL目的関数: 決定論的なタスクヘッドと、22次元の感情ベクトルに対する生成的な条件付き分布を共同で最適化し、マスキングを通じて欠損ラベルを扱う新しいフレームワーク。
系統的なアブレーション研究: フロー損失の重み、推論効率、不均衡対策、バックボーンのファインチューニング、および事後校正（Post-hoc calibration）を網羅する、s-Aff-Wild2における26の設計選択にわたる広範な評価。
事後校正戦略: 個別のAUおよびクラスごとの表情閾値校正が、再学習なしに、深刻に不均衡な希少クラス（Fear, Sadness, AU15, AU23など）の性能を効果的に回復できることの実証。

実験結果

システムは s-Aff-Wild2 バリデーション分割セットで評価されました。公式チャレンジのベースラインは、複合指標 $PMTL = 0.45$ を達成しています。

ベースライン性能: 決定論的のみのモデル（ $\beta=0$ ）は $PMTL = 0.793 $を達成しました。フローヘッドを追加すると（$ \beta=1 $）、$ PMTL = 0.826$ に向上し、特にフローサンプリングがバレンス・アローザル（VA）の推定（$CCC-V +0.058$）を押し上げました。
バックボーンのファインチューニング: 低学習率によるDINOv3バックボーンのファインチューニングが最も顕著な利得をもたらし、最高の固定バックボーン結果（$0.831 $）を$ PMTL = 1.045$ まで引き上げました。興味深いことに、ファインチューニング後、決定論的デコーディングがフローデコーディングを上回りました。これは、フローヘッドの再調整が必要であることを示唆しています。
フローの再調整: バックボーンのファインチューニング中にフロー目的関数を再有効化（ $\beta=1.0$ ）することで、決定論的性能が $PMTL = 1.073$ まで向上しました。
校正による利得:
- AU閾値校正: $PAU $を$ 0.453 $から$ 0.502 $に改善し、総スコアを$ 1.123$ に引き上げました。
- クラス別表情校正: バリデーションセット上でクラス固有のロジットを調整することで、モデルは希少クラスの潜在的な信号を回収しました。FearのF1スコアは $3.8\%$ から $33.1\%$ へ、Sadnessは $17.1\%$ から $28.2\%$ へと上昇しました。
最終性能: バックボーンのファインチューニング、フローの再調整（ $\beta=1.0$ ）、および統合的な事後校正の組み合わせにより、最終的な **$PMTL = 1.177 $** を達成しました。これは、公式ベースライン（$ 0.45 $）および最高の未校正ファインチューニングモデル（$ 1.045$）を大幅に上回っています。

意義と主張

論文は、AffectFlow-DINO が、顔の感情を決定論的なマッピングではなく、条件付き分布としてモデリングすることの価値を証明していると主張しています。著者らは、主に3つの教訓を強調しています：

目的の相補性: フローと決定論的の両方の目的は互いに有益です。決定論的なアンカーがない場合、フローのみの訓練は崩壊します。一方、決定論的のみの推論は、分布的な能力を放棄してしまいます。フローサンプリングは、曖昧さが最も高い連続ターゲット（VA）において特に効果的です。
ファインチューニングの役割: バックボーンの適応が性能向上の主要因ですが、フローヘッドをファインチューニング中に共同で再調整しない限り、生成的な経路は劣化します。
希少な信号の解禁: 深刻なクラス不均衡は学習された信号を抑制しますが、それを消し去ることはありません。著者らは、事後校正によって、再学習コストゼロで希少カテゴリ（Fear, Sadness, 希少なAU）のほぼゼロに近いF1スコアを「解禁」できると主張しており、これは決定境界を調整することで、表現の中に既にエンコードされている信号を表面化させられることを示唆しています。

著者らは、SOTA（最先端）へのギャップを埋めるには、時間的な集約とより表現力豊かなファインチューンド・デコーディングが必要であるとし、現在の研究は厳密にはフレームレベルのものであると述べています。