💬 NLP

Large Emotional World Model

本論文は、人間の感情を中核的な状態変数として統合することで、将来の感情的および物理的な状態を予測する新しいフレームワークであるLarge Emotional World Model (LEWM) を導入し、世界の状態予測、感情理解、および一般的な推論タスクにおける大幅な性能向上を実証する。

原著者： Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

公開日 2026-07-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Changhao Song, Yazhou Zhang, Hui Gao, Chang Yang, Peng Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに車の運転を教えようとしているところを想像してみてください。もし物理法則だけを見せたとしたら、ロボットは「車がレンガの壁に衝突すれば、止まる」ということを学習します。これが「物理的な世界」です。しかし、人々で溢れる街中でそのロボットを運転させたいなら、物理学だけでは不十分です。もしあるドライバーが割り込んできたら、そのドライバーが怒ったり、急ブレーキをかけたり、あるいは叫んだりするかもしれない、ということを理解する必要があります。もしロボットがその「感情」を予測できなければ、次に何が起こるかを予測することはできません。これは「ワールドモデル（世界モデル）」と呼ばれる分野における大きな問いです。科学者たちは、今起きていることを見るだけでなく、未来がどのように展開するかをシミュレートできるデジタルな脳を作ろうとしています。長い間、これらのデジタルな脳は物理エンジンのようなものでした。ブロックやボールを動かすことには長けていますが、人間がなぜそのような行動をとるのかを理解することには全く長けていませんでした。彼らは隠し味である「感情」を見落としていたのです。

この論文は、**LEWM（Large Emotional World Model）**と呼ばれる新しい種類のデジタルな脳を紹介しています。天津大学のチャンハオ・ソン氏とそのチームの研究者たちは、人間の世界において未来を予測するためには、まず感情を予測しなければならないということに気づきました。彼らは、EWH（Emotion-Why-How）という大規模な新しいデータセットを構築しました。これは10,850本の短いビデオストーリーのライブラリのようなものです。それぞれのストーリーは、ある人物、その人が事前に感じていた感情、その人が何をしたか、感情がどのように変化したか、そしてその次に何が起きたかを示しています。これは、登場人物が幸せか、怒っているか、あるいは悲しいかによってプロットの展開が変わる「選択式のアドベンチャー本」のようなものです。

このライブラリを用いて、彼らはLEWMを、まるで謎を解く探偵のように、2つのステップで考えるように訓練しました。第一に、モデルは「今起きたことから判断して、この人は次にどのように感じるだろうか？」と問い、感情を予測します。第二に、「どのように感じているかが分かった今、彼らは次に何をするだろうか？」と問いかけます。感情を中間に置くことで、モデルは、同じ交通事故であっても、ドライバーが幸せであれば穏やかな会話につながり、怒っていれば言い争いになる可能性があることを理解できるようになります。結果は目覚ましいものでした。彼らの新しい感情データセットにおいて、LEWMは従来のモデルよりも最大で**45.72%高い精度を記録しました。また、感情全般を理解することにおいても向上し（あるテストで17.47%**向上）、物理的な世界を理解する能力を失うことなく、政治や科学に関する難解な質問に答える能力さえも高めました。この論文は、AIに感情を教えることは、単にAIをより優しくすることではなく、現実の人間社会が実際にどのように機能しているかを予測する能力を大幅に向上させるものであることを示唆しています。

技術要約：大規模感情世界モデル (Large Emotional World Model: LEWM)

問題提起

現在の世界モデルは、主に状態遷移を支配する物理法則（例：物体の動き、空間的連続性）を学習するように設計されています。物理的な世界のシミュレーションには効果的ですが、行動、意思決定、相互作用が内部的な感情力学によって深く形作られる「人間の世界」を捉えることには失敗しています。既存のモデルは、感情を状態遷移の明示的な因果要因として扱うことがほとんどありません。その結果、同じ物理的事象（例：交通事故）であっても、エージェントの感情状態（例：協力的な解決か、敵対的な対立か）によって異なる軌跡を辿るような、人間中心の環境における将来の状態を正確に予測することができません。

手法

1. データセット構築：Emotion-Why-How (EWH)

感情状態の遷移に関するデータの不足に対処するため、著者らは感情力学を中心とした最初の世界モデルデータセットである EWH を構築しました。

データソース: TikTok/Douyinからの2,258本の一人称視点ビデオと、8つのテレビシリーズ（例：『フレンズ』、『ジ・オフィス』）から得られた1,583のエピソードをカバーしており、家庭、職場、旅行などの多様な設定を網羅しています。
構造: このデータセットには、10,850 個の感情認識可能な遷移タプルが含まれています。各タプルは $T = \langle(S_0, E_0), H, (S_1, E_1)\rangle$ $T = ⟨(S_{0}, E_{0}), H, (S_{1}, E_{1})⟩$ として定式化されています。ここで：
- $S_0, S_1$ : 観測可能な状態（同期されたビデオ、オーディオ、画像）。
- $E_0, E_1$ : 感情状態（中立、幸福、悲しみ、怒り、恐怖、驚き、嫌悪としてラベル付け）。
- $H$ : 中間の行動軌跡。
Why-How ロジック: この構造は、「なぜ（行動の感情的な理由）」と「どのように（感情の遷移が将来の状態進化に与える影響）」を明示的に結びつけています。
パイプライン: ビデオセグメンテーション、感情認識型遷移マイニング（Qwen3.5-VL および GPT-5 を使用）、サンプル構築、および厳格な品質管理（自動フィルタリング + 人間による検証）を含む4段階のパイプラインで構成されています。

2. モデルアーキテクチャ：大規模感情世界モデル (LEWM)

LEWM は、マルチモーダルエンコーダ–LLM–マルチモーダルデコーダのフレームワークであり、将来予測を2つの結合されたステップに分解します。

マルチモーダル世界状態エンコーディング: 観測可能な状態 ( $V, A, I$ ) と現在の感情 ( $E_t$ ) が、モダリティ固有のエンコーダを介してエンコードされ、LLMの埋め込み空間に投影されます。行動軌跡 ( $H_t$ ) はテキストとしてトークン化されます。
感情認識型遷移モデリング（分解予測）:
- ステップ1（感情予測）: モデルはまず、現在のコンテキストに基づいて将来の感情状態 ( $\hat{E}_{t+1}$ ) を予測します： $p(E_{t+1} | S_t, E_t, H_t)$ 。
- ステップ2（状態予測）: 予測された感情は、将来の世界状態の予測をガイドするための条件付け信号として使用されます： $p(S_{t+1} | S_t, E_t, H_t, \hat{E}_{t+1})$ 。
- この設計は、将来の状態は外部の観察だけでなく、感情的な遷移によって媒介されるという仮定に基づいています。
自己回帰生成: モデルは専用の生成トークン（[IMG], [VID], [AUD]）を使用して、将来のマルチモーダル状態を自己回帰的に生成します。
最適化: 将来の感情分類、自己回帰的なトークン生成、およびマルチモーダルな将来状態予測（埋め込み空間の距離を介して）を共同で監督するマルチタスク損失関数を使用します。

主な貢献

感情的世界モデリングの定式化: 物理的な状態進化と感情的な原因の両方を捉えるために、感情を主要な状態変数として統合するという概念を導入しました。
EWH データセット: 感情状態の遷移に特化した最初の世界モデルデータセットを作成し、静的な感情認識と動的な世界モデリングの間のギャップを埋めました。
LEWM アーキテクチャ: 世界状態の予測を予測された感情状態に条件付ける分解予測フレームワークを提案し、このアプローチが一般的な推論能力を損なうことなく性能を向上させることを示しました。

実験結果

世界状態予測

EWH (感情的世界): LEWM は12のタスクのうち10のタスクで最高の性能を達成しました。ベースラインである WorldGPT と比較して、ビデオ予測で最大 45.73%、オーディオ予測で最大 24.75% 向上しました。
WorldNet (物理的世界): LEWM は物理的な設定においても一貫した向上（最大 3.94%）を示し、特にオーディオ予測において顕著でした。これは、感情的な力学が物理的な遷移に対して補完的な手がかりを提供することを示唆しています。
アブレーション: 感情の条件付けを除去（"No Emotion"）すると、性能が一貫して低下しました。「Oracle Future」（正解の感情）を使用した場合に最大の利得が得られたことは、より正確な感情予測によるさらなる向上の可能性を示しています。

感情理解

MELD: LEWM は感情分析における Weighted-F1 で 17.47% の向上を達成し、微細な感情認識においても大幅な利得を示しました。
汎用性: モデルは困難な 28 クラスの GoEmotions ベンチマークにおいてバックボーンを上回る性能を示し、感情の遷移を学習することが転移可能な感情表現を生み出すことを示しました。

一般的な推論

ベンチマーク (MMLU, HellaSwag, VQAv2, NExT-QA): LEWM は一般的な推論タスクにおいてベースラインである WorldGPT と同等の性能を維持しました。特筆すべきは、政治学 (MMLU) で 6.10%、動物認識 (VQAv2) で 5.95% の利得を得たことであり、感情モデリングが一般的な推論を損なわず、むしろ強化することを示しています。

反事実分析

介入実験（状態と行動を一定に保ったまま入力感情を置き換える）により、LEWM は複数のモダリティにわたって、将来の状態予測に構造的かつ非ゼロの変化を生じさせることが示されました。高覚醒の感情はより大きな乖離を引き起こし、モデルが感情を将来の状態予測における能動的な変数として扱っていることを裏付けました。

重要性と主張

本論文は、感情を世界モデルに組み込むことで、人間中心の環境のより現実的なシミュレーションが可能になると主張しています。物理的な状態予測を超えて感情的な力学をモデル化することで、LEWM はインテリジェントなエージェントの予測能力を拡張します。本研究は、人間の行動、相互作用、および意思決定をより良くモデル化できる「社会的に根ざしたエージェント」のための基礎を築くものです。著者らは、彼らのアプローチが単に感情を静的に分類するのではなく、将来の世界状態の因果的駆動力としての感情の「動的な進化」をモデル化していることを強調しています。