C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

友人の話している動画を見て、その人がどのような感情を抱いているかを推測しようとしている場面を想像してみてください。あなたには3つの手がかりがあります。言葉の内容（テキスト）、声のトーン（オーディオ）、そして表情（ビデオ）です。人工知能の世界では、これを「マルチモーダル感情認識」と呼びます。これは、単一の手がかりよりも優れた方法で人間の感情を理解するために、これらすべての手がかりを組み合わせる、非常に賢い探偵のようなものです。しかし、問題は、現実の世界では予期せぬ事態が起こるということです。マイクが切れたり、カメラがフリーズしたり、インターネット接続が切断されたりすることがあります。突然、あなたの探偵は手がかりの半分を失ってしまいます。もしAIがこれらの欠落したピースに対処できるように作られていなければ、混乱して間違った推測をしてしまいます。これが科学者たちが解決しようとしている問題です。つまり、真の意味を失うことなく、どのようにしてコンピュータに「空白を埋める」方法を教えるか、という問題です。

この論文では、C2MOE（Consistency and Complementarity-guided Mixture of Experts：一貫性と相補性に導かれた混合エキスパート）と呼ばれる新しい解決策を紹介しています。これは、一部の手がかりが欠けている場合に、協力して事件を解決する専門家チームのようなものです。研究者たちは、従来のメソッドが他の手がかりから知っていることを単にコピーすることで欠落したデータを修復しようとしていたことに気づきました。しかし、これでは退屈で反復的な推測になりやすく、ユニークな詳細を見逃してしまうことがよくありました。C2MOEはもっとスマートに動きます。役割を2つの明確な役割に分割するのです。一方のエキスパートである「一貫性探偵（Consistency Detective）」は、手がかり間の共通のパターンを探します。例えば、悲しい声は通常、困った顔を伴うといった具合です。もう一方の「相補性探偵（Complementarity Detective）」は、その手がかりだけが提供できるユニークな詳細を探します。例えば、テキストだけが明らかにし得る特定の言葉選びといったことです。スマートな「マネージャー」（ルーティング・ネットワーク）を使用して、どの探偵の指示を聞くべきかを決定することで、システムは欠落した情報をより正確に再構築することができます。著者らは、2つの有名なビデオコメント・データセット（CMU-MOSIおよびCMU-MOSEI）を用いてテストを行い、C2MOEが既存の手法を一貫して上回ったこと、特に大量のデータが欠落している場合において顕著であったことを明らかにしました。彼らは、共有されたパターンとユニークな詳細の両方をバランスよく扱うことで、データが不完全であってもAIが堅牢性を維持できることを示唆しています。

探偵チーム：C2MOEの仕組み

C2MOEがどのように機能するかを理解するために、パズルのピースが半分しかない状態で、壊れたパズルを組み立てようとしている場面を想像してみてください。かつてのAIモデルは、持っているピースだけを見て、あとは運に任せて欠けているピースを推測しようとしていました。時にはうまくいったこともありましたが、多くの場合、彼らは同じことを何度も推測するだけで、その絵を特別なものにしているユニークな詳細を見逃してしまいました。

論文の著者たちは、復元すべき情報には2つの異なる種類があると主張しています。

1. 一貫性（Consistency）： これは手がかり間の「共通言語」です。誰かが叫んでいるなら、声は大きく、顔は赤くなり、言葉は攻撃的になります。これら3つは互いに一貫しています。
2. 相補性（Complementarity）： これは各手がかりの「ユニークな味わい」です。テキストは「何を」叫んでいるのかを伝え、オーディオは「どれほど怒っているか」を伝え、ビデオは「誰に対して」叫んでいるのかを示すかもしれません。これらは重なり合わないものの、どちらも不可欠な、異なるパズルのピースなのです。

問題は、これら2つの目標がしばしば衝突することです。一貫性に集中しすぎると、ユニークな詳細を消し去ってしまう可能性があります。ユニークな詳細に集中しすぎると、手がかり間のつながりを失う可能性があります。

混合エキスパート（Mixture of Experts: MoE）の登場
一つの巨大な脳がすべてをやろうとするのではなく、C2MOEは「混合エキスパート」のアプローチを採用しています。これは、2人のスペシャリストがいる探偵事務所を想像してください。

• 一貫性エキスパート： この探偵はパターンの特定が得意です。もしテキストが「私は幸せです」と言っていれば、このエキスパートは、声が陽気で、顔が笑顔であるべきだと知っています。彼らの仕事は、欠けているピースが、すでに持っているものと完璧に一致するようにすることです。
• 相補性エキスパート： この探偵は、奇妙でユニークな要素を見つけるのが得意です。もしテキストが「私は幸せです」と言っているのに、声が皮肉っぽければ、このエキスパートはその声がテキストには捉えられないユニークな「味わい」を持っていることに気づきます。彼らの仕事は、空白を埋める際にそれらのユニークな詳細を失わないようにすることです。

スマートなマネージャー
AIは、どの探偵の指示を聞くべきかをどうやって判断するのでしょうか？それは、ルーティング・ネットワークと呼ばれる、スマートなマネージャーを使用します。AIがデータを見つけると、マネージャーは問いかけます。「パターンに合わせる必要があるか、それともユニークな詳細を見つける必要があるか？」。その答えに基づいて、各エキスパートにスコアを割り当てます。欠けているピースを他のものと一致させる必要がある場合は、一貫性エキスパートに高いスコアが与えられます。新しい要素を加える必要がある場合は、相補性エキスパートに白羽の矢が立ちます。最終的な答えは、マネージャーがそれぞれのエキスパートをどれだけ信頼しているかに基づいて重み付けされた、両方の混合物となります。

実験：C2MOEの実力を試す

研究者たちは、インターネット上のビデオコメントの2つの大規模なコレクション（CMU-MOSIおよびCMU-MOSEI）を用いて、この新しいシステムをテストしました。これらのデータセットには、人々が様々なトピックについて話している数千の動画が含まれており、AIは彼らが幸せなのか、悲しいのか、あるいは怒っているのかなどを推測しなければなりません。

現実的なテストにするために、彼らは動画の一部をランダムに隠すことで「欠落したデータ」をシミュレートしました。オーディオを隠したり、ビデオを隠したり、あるいはテキストを隠したりしました。彼らは、データの最大70%が欠落しているシナリオさえもテストしました！

結果
結果は目覚ましいものでした。ほぼすべてのシナリオにおいて、C2MOEは他のトップレベルの手法を打ち負かしました。

• CMU-MOSIデータセットにおいて、3つの手がかり（テキスト、オーディオ、ビデオ）がすべて揃っていた場合、C2MOEは88.5%（二値分類精度）および47.4%（7クラス分類精度）の精度を達成しました。
• ビデオとオーディオが隠され、テキストのみが残された場合でも、C2MOEは**87.3%**の精度を維持し、これは次に優れた手法よりも優れた結果でした。
• 欠落率が高い場合（最大0.7、つまりデータの70%が消失している状態）でも、C2MOEは他のモデルよりもはるかに粘り強く踏みとどまりました。他のモデルのパフォーマンスがデータの消失とともに急激に低下した一方で、C2MOEのパフォーマンスはわずかに低下しただけでした。

著者らはまた、AIがどの程度うまく欠落したピースを埋められたかについても調査しました。彼らは、t-SNEと呼ばれる可視化ツールを使用して、「再構成された」データが実際（リアル）のデータとどのように見えるかを確認しました。その結果、C2MOEの推測は、データの形状や構造を維持しており、実物のデータに非常に近いことが分かりました。対照的に、他の手法は乱雑で散らばった推測を生み出していました。

なぜこれが重要なのか

主な教訓は、すべてを同じにしようと強制すること（一貫性）だけでは不十分だということです。手がかり間のユニークな違い（相補性）も尊重する必要があります。専門化されたエキスパートのチームと、それらを切り替えるスマートなマネージャーを使用することで、C2MOEは、不完全なデータが存在する現実世界の混沌とした状況を、従来のモデルよりもはるかにうまく扱うことができます。

この論文は、このアプローチが、データが不完全な状況でも人間の感情を理解できるAIを作るための、大きな一歩であることを示唆しています。著者らは、欠落したデータの問題を永遠に解決したと主張しているわけではありませんが、彼らの実験は、この「一貫性と相補性」の戦略が、AIをより堅牢で信頼性の高いものにするための強力な方法であることを強く示唆しています。彼らが述べているように、最高の成果は、共有されたパターンとユニークな詳細の両方のバランスを取ったときに得られました。これは、異なるタイプのエキスパート同士のちょっとしたチームワークが、大きな効果をもたらすことを証明しています。