Expert-Guided Multimodal Fusion for Unified Emotion and Sentiment Analysis

友人の様子を観察して、その人の気分を理解しようとしている場面を想像してみてください。あなたはただ、彼らが「何を」言っているかを聞くだけではありません。表情を観察し、声のトーンに耳を傾け、身振り手振りにも注目します。コンピュータサイエンスの世界では、これを「マルチモーダル感情理解（multimodal emotion understanding）」と呼びます。これは、テキスト、音声、ビデオを組み合わせることで、機械に人間が感じることを感じさせることを目的とした人工知能の一分野です。長い間、コンピュータはこの分野が非常に苦手でした。文章を読み取って、それが「嬉しい」のか「悲しい」のかを推測することはできましたが、声に含まれる皮肉や、笑顔の裏に隠された悲しみを見落とすことがよくありました。彼らは、これらの異なる手がかりを、単一の複雑な絵の一部としてではなく、バラバラで無関係なパズルのピースとして扱っていたのです。これが重要なのは、もし私たちがコンピュータにメンタルヘルスのサポートをさせたり、自然にチャットをさせたり、ソーシャルメディアを分析させたりしたいのであれば、言葉だけでなく、感情の全体的な文脈を理解させる必要があるからです。

ここで、EGMF（Expert-Guided Multimodal Fusion：専門家誘導型マルチモーダル融合）と呼ばれるシステムを構築した新しい研究チームが登場しました。このシステムを、巨大な言語脳の中にいる超スマートな探偵部隊だと考えてみてください。音声、ビデオ、テキストをただ貼り合わせるのではなく、彼らは3種類の異なる「専門家シェフ」が協力して完璧な感情理解を調理する、特別な「融合キッチン」を作り上げました。一人のシェフは、わずかな眉のひそめや声の震えといった、微細で微妙なディテールにズームアップする「ローカル・エキスパート（局所的専門家）」です。もう一人の「セマンティック・エキスパート（意味論的専門家）」は、声と顔が言葉とどのように一致しているかを見ます。三番目の「グローバル・エキスパート（全体的専門家）」は、一歩下がって会話全体の大きな絵を見渡します。これらの専門家は、ただ自分の意見を叫ぶのではありません。彼らはスマートな「ゲーティング・システム（門番システム）」を使用して、現在の状況に基づいて誰が発言すべきかを決定します。会話が混沌としているときはグローバル・エキスパートが主導権を握り、静かな瞬間にはローカル・エキスパートが輝きます。

研究者たちは、このチームによるアプローチが驚くほど効果的であることを発見しました。彼らは、英語と中国語の会話を含む4つの異なるデータセットを用いてシステムをテストしました。MELDと呼ばれる英語の感情データセットでは、彼らのシステムは加重F1スコア**65.57%を記録し、従来の最高手法を0.06%上回りました。中国語のデータセットであるCHERMAでは、スコアが3.36%大幅に上昇し、73.90%に達しました。センチメント分析（物事がどれほどポジティブか、あるいはネガティブかを測定すること）においては、英語のMOSEIデータセットで87.09%、中国語のSIMS-V2データセットで82.43%**を叩き出しました。

さらに印象的なのは、彼らがどのようにそれを成し遂げたかという点です。巨大な言語モデル全体を再学習させる（それには膨大な時間がかかり、莫大な費用も必要になります）代わりに、彼らはLoRA（Low-Rank Adaptation：低ランク適応）と呼ばれる巧妙なトリックを使用しました。巨大な言語モデルを、膨大な数の本が詰まった巨大な図書館だと想像してみてください。すべての本を書き直す代わりに、彼らは新しい指示が書かれた数枚の付箋を貼っただけなのです。これにより、都市規模のスーパーコンピュータを必要とすることなく、感情を理解するようにシステムを教えることができました。また、彼らのシステムは特に中国語の処理に優れていることも発見しており、これは「専門家チーム」が中国語における視覚と音声の複雑な組み合わせを解読するのに特に長けていることを示唆しています。このシステムは完璧ではなく、「嫌悪」のような非常に微妙な感情や極端に激しい感情の扱いにまだ苦戦していますが、統一された専門家誘導型のアプローチが、人間の感情という乱雑で美しい複雑さを理解するための強力な新しい方法であることを証明しています。