A Shared Latent for Partially-Labeled Multi-Task Facial Affect Recognition

ロボットに、顔を見るだけで人間の感情を理解させる方法を教える場面を想像してみてください。これは単に笑顔や不機嫌な顔を見分けるということではありません。同時に進行している、複雑な「三部構成のパズル」を解読することなのです。第一に、「ムードメーター」があります。これは、人がどれほどポジティブまたはネガティブに感じているか、そしてその感情がどれほど強烈であるかを測定する連続的なスケールです。第二に、「ラベルブック」があります。これは「怒り」や「驚き」といった、特定の感情に名前をつける試みです。第三に、「マッスルマップ（筋肉地図）」です。これは、感情を隠そうとしても出てしまう、顔の筋肉の微細で不随意な動きを追跡するものです。

厄介なのは、現実の世界では、教科書通りの完璧な例に出会うことは滅多にないということです。あるビデオクリップにはムードの評価はあるけれど筋肉のデータがないこともあれば、逆に筋肉のマップはあるけれど感情のラベルがないこともあります。それは、ほとんどのピースが足りず、手元にあるピースもバラバラの箱に散らばっているジグソーパズルを解こうとしているようなものです。多くのコンピュータプログラムは、欠けているピースを無視するか、あるいはそれが何であるかを推測することで対処しますが、この論文は大胆な問いを投げかけます。「欠落している部分を無視するのではなく、むしろその欠けているピースを使って全体像を埋めることはできないだろうか？」と。著者たちは、一つの感情に関する部分的な手がかりさえも、他の感情を理解するための助けになるという、コンピュータへの新しい教え方を提案しています。これにより、乱雑で不完全なデータセットを、強力な学習ツールへと変貌させるのです。

---

欠けているピースのパズル

研究者たちは、「部分的にラベル付けされたマルチタスク学習」と呼ばれる問題に取り組みました。これは、教師が生徒に対して3つの異なる質問をする教室を想像すると分かりやすいでしょう。「彼らはどのように感じているか？」（ムード）、「彼らは何を表現しているか？」（表情）、「どの筋肉が動いているか？」（アクションユニット）。完璧な世界であれば、すべての生徒がこれら3つの質問すべてに答えます。しかし、現実の世界（具体的にはs-Aff-Wild2というデータセット）では、3つの質問すべてに答えている生徒はわずか37%に過ぎません。残りの生徒は、一つか二つの質問にしか答えていないのです。

従来、このような状況に対処するコンピュータプログラムは、特定の生徒に対して答えられない質問を単純に切り捨ててきました。もし生徒が「ムード」の質問にしか答えていなければ、プログラムはその生徒に対して「表情」や「筋肉」の質問を完全に無視してしまいます。著者たちは、これは無駄であると考えました。たとえ生徒がひとつの質問にしか答えていなくても、その答えは、その生徒の全体的な性格について教師に何かを伝えているはずだと彼らは主張したのです。

魔法の「共有された秘密」

これを解決するために、チームは**「共有潜在変数（Shared Latent）」**と呼ぶ巧妙なトリックを考案しました。すべての生徒が、どんな質問に答える前にも必ず記入しなければならない、秘密の、目に見えないノートを想像してみてください。このノートには、その生徒の真の感情状態を圧縮した要約が含まれています。

ここが魔法のポイントです。たとえ生徒が「ムード」の質問にしか答えていなくても、その回答によって、その生徒はその秘密のノートを更新することを強制されます。「表情」や「筋肉」の質問も同じノートに基づいているため、「ムード」の回答は、コンピュータが後に他の二つの質問を推測するのを間接的に助けることになるのです。これは、もしあなたが友人に「好きな色」だけを伝えたとしても、その一つの事実が、友人との深い理解を通じて、あなたの好きな食べ物や音楽を推測する助けになるようなものです。

欠けている答えを、削除すべきエラーとしてではなく、「周辺化（marginalized）」（可能性を平均化するという数学的な用語）するための手がかりとして扱うことで、コンピュータはより豊かな人間感情の理解を学習できるのです。

二つの目の力

この論文はまた、コンピュータの「脳」をどのように構築すべきかについて、驚くべき発見をしました。通常、科学者は一つの超スマートな脳を作ろうとします。しかしここでチームは、**「少し異なる二つの脳」**を連携させることがより効果的であることを見出しました。ただし、そこには条件があります。

彼らは、異なるタイプの学習済み顔認識器（バックボーンと呼ばれます）を二つ使用する試みを行いました。これら二つの回答を平均化すると、結果は向上しました。しかし、これは二つの脳が「近接した実力差（near-peers）」、つまり、ほぼ同等の賢さでありながら、それぞれが「異なる間違い」をする場合にのみ機能しました。もし一方が超天才的な脳で、もう一方が弱い脳であった場合、平均化は役に立ちませんでした。それは二人の探偵のようなものです。もし二人が鋭い洞察力を持ち、かつ異なる視点で手がかりを見ているなら、事件の解決は早まります。しかし、一人が天才で、もう一人が初心者であれば、天才の能力は初心者に引きずり下げられてしまいます。

うまくいったこと、うまくいかなかったこと

結果は印象的でしたが、著者たちは何が「うまくいかなかったか」についても非常に慎重に述べています。それは、成功を伝えることと同じくらい重要なことです。

• 朗報： 表情タスク（感情の名前付け）において、彼らの新手法は、標準的な専門家を用いた場合の0.403から0.446へとスコアを引き上げました。これは他の手法では到達できなかった有意な飛躍です。
• アクションユニットの限界： 筋肉の追跡タスクについては、以前の限界を突破し、0.543から0.556へと向上させました。これは、データを増やしたからではなく、「近接した実力差」を持つ二つ目の脳が機能したことによるものです。
• ムードメーター： 連続的なムードスコア（バレンス・アローザル）は、0.641付近でほぼ横ばいでした。著者らは、これは「ノイズ」の範囲内であり、統計的に有意な改善ではなかったと指摘しています。
• 失敗したこと： 彼らは、筋肉の追跡を助けるために外部データ（他の研究からのデータセットなど）を追加してみましたが、結果には影響しませんでした。また、コンピュータが自らを教える「ミーン・ティーチャー（Mean Teacher）」と呼ばれる一般的な手法も試しましたが、感情の名前付けタスクの改善には至りませんでした。これは、問題が質問の重み付けにあるのではなく、「秘密のノート（表現）」自体の質にあることを証明しました。

結論

本論文は、コンピュータが珍しい感情（「恐怖」や「嫌悪」など）に苦戦する理由は、より優れた数学的ルールやより多くのデータが必要だからではないと結論付けています。それは、コンピュータの「顔の見方」が、それらトリッキーな感情を区別できるほど詳細ではないからです。「共有された潜在変数」を用いることで、部分的な手がかりから学習することを強制し、さらに、賢いが異なる性質を持つ二つの脳を組み合わせることで、彼らはムード、表情、そして筋肉の動きの間の目に見えない繋がりを見出すシステムを構築することに成功しました。

テストセットで達成した最終スコアは1.679でした。これは強力な結果ではありますが、著者たちは謙虚です。彼らは、これが「インサンプル（学習データに合わせた）」の終着点であり、真のテストは、この「共有された秘密のノート」というアイデアが、他の未知のデータセットでも機能するかどうかであると認めています。他のデータセットを用いた初期のテストでは、特定の条件下において機能することが示唆されています。人間の顔を完璧に読み取るための旅は続いていますが、この論文は、暗闇の中の隙間を照らすための、新しく強力な懐中電灯を研究者たちに手渡したのです。