💻 computer science

Cognitive World Models for Process-Level Social Influence Evaluation

本論文は、表面的なテキスト指標に依存するのではなく、ユーザーの内部的な認知状態（信念、欲求、意図、および感情）の進化を追跡することによって社会的影響力の対話を評価するために、新しいSaAアノテーション・パイプラインを通じて学習された、LLMベースの認知世界モデルであるCogWMを導入するものである。

原著者： Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Minghui Ma, Bin Guo, Han Wang, Mengqi Chen, Jingqi Liu, Yan Liu, Zhiwen Yu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

友人があなたを説得しようとしている場面を想像してみてください。例えば、新しい趣味を始めさせようとしたり、チャリティに寄付するように促したり、あるいは、落ち込んでいるあなたを元気づけようとしたりしている場面です。

従来の成功の測定方法
これまで、コンピュータプログラム（AI）がこうした会話を行うのが上手いかどうかを知るには、主に2つの方法が使われてきました。

「文法警察」： AIの言葉がスムーズであるか、あるいはユーザーの言葉とどれくらい一致しているかをチェックすること（文章同士が韻を踏んでいるかを確認するようなものです）。
「最終成績」： 会話の最後に、人間や賢いコンピュータに会話全体に対して一つのスコアを付けさせること（先生が期末試験の成績をつけるようなものです）。

問題点： これらの方法は、本質を見落としています。会話が完璧な響きを持ち、高い成績を得たとしても、ユーザーの気持ちは開始時と全く変わっていない（あるいは悪化している）可能性があります。それは、脚本が完璧でハッピーエンドを迎える映画であっても、主人公が結局何も学ばず、考えも変わらなかったというようなものです。私たちは、会話の最中にユーザーの心が「どのように」変化したのかを見ることができませんでした。

新しい解決策：「認知的世界モデル」（CogWM）
西北工業大学と哈爾濱工程大学の研究者たちは、CogWMと呼ばれる新しい種類のAIを構築しました。これは、いわば**「マインド・リーディング・シミュレーター（心を読むシミュレーター）」**です。

CogWMは、単にユーザーが「何を言っているか」を聞くだけではありません。ユーザーがその内側で「何を考え、何を感じているか」を推測しようとします。CogWMは、BDI/Eと呼ばれる4つの特定の要素を追跡します。

信念 (Beliefs)： ユーザーが真実だと考えていること（例：「自分は数学が苦手だ」）。
欲求 (Desires)： ユーザーが望んでいること（例：「このクラスに合格したい」）。
活動的な計画（例：「10分間勉強する」）。
意図 (Intentions)： ユーザーが計画していること（例：「10分間勉強する」）。
感情 (Emotions)： ユーザーがいま感じていること（例：「不安」や「希望」）。

仕組み（「風洞実験」のアナロジー）
著者たちは、CogWMを飛行機の風洞実験に例えています。実物の飛行機を作る前に、エンジニアは模型を風洞に入れて、空気がどのように当たっているかをテストします。

飛行機： ユーザーに影響を与えようとしているAIチャットボット。
風洞： CogWM。
空気： 会話。

チャットボットをテストする際、そのチャットボットをCogWMに接続します。CogWMは「ユーザー」の役割を果たします。チャットボットが話を進めるにつれて、CogWMはユーザーの信念、欲求、感情に関する内部の「スコアカード」をターンごとに更新していきます。

3層の成績表
CogWMは、単一の最終成績を出すのではなく、3つのレイヤーを持つ詳細なレポートを作成します。

ターン・レベル： チャットボットの発言は、その特定の瞬間において理にかなっていたか？
ジャーニー・レベル： ユーザーの内面的な状態は、時間の経過とともに良い方向へ動いたか？（例：不安が減ったか？「自分ならできる」という信念が高まったか？）
ゴール・レベル： 会話は実際に、望ましい結果（寄付をする、気分を良くするなど）を達成できたか？

研究結果

専門家を超える精度： 彼らは15万件以上の会話の断片を用いてCogWMを学習させました。既存のトップAIモデルと比較テストした結果、CogVMはユーザーの内面的な感情や思考を推測する能力において、既存の最高モデルよりも約2倍高い精度を示しました。
「偽の変化」対「真の変化」： 彼らは6つの有名なAIチャットボットをテストしました。一部のチャットボットは、「良い結果（例：ユーザーに『はい、寄付します』と言わせること）」を得るのが非常に上手でした。しかし、その「ジャーニー（過程）」を詳しく見てみると、一部のチャットボットは、ユーザーの考えを実際に変えることなく、単に圧力をかけて「はい」と言わせているだけであることが分かりました。
- アナロジー： あるチャットボットは**「スプリンター（短距離走者）」（素早い結果を得るが、ユーザーの心は本当に変わっていない）のようであり、別のチャットボットは「着実なハイカー」**（ゆっくりとユーザーの心をより良い場所へと導く）のようでした。
「ブラックボックス」の開放： CogWMによって、私たちはついに、なぜチャットボットが成功したのか、あるいは失敗したのかを知ることができます。どのターンの会話がユーザーに希望を与えたのか、あるいはどのターンの発言がユーザーにプレッシャーを与えたのかを、明確に把握できるのです。

要約
この論文は、「最終スコア」で会話を判断するのではなく、**「ユーザーの心がどのように変化したかという物語」**によって判断するツールを紹介しています。これは、「影響を与える」という目に見えないプロセスを、可視化され測定可能なマップへと変え、どのAIアシスタントが真に役立つのか、そしてどのAIが単に「喋りが上手いだけ」なのかを明らかにします。

技術要約：プロセスレベルの社会的影響評価のための認知世界モデル

1. 問題定義

社会的影響対話（Social Influence Dialogue: SID）システムは、単に外部的なタスクを完了させることではなく、ユーザーの内部的な認知状態（具体的には信念、欲求、意図、および感情）を変容させることを目的としている。タスク指向型対話が目標達成に焦点を当て、非協力型対話が紛争解決に焦点を当てるのに対し、SIDは「認知変化のプロセス」を測定する必要がある。

現在の評価手法は、このプロセス指向の基準を捉えきれていない：

表面的なテキスト指標 (BLEU/ROUGE): 社会的影響という目的を完全に無視している。
LLM-as-Judge: 終末的なブラックボックス的スコアを提供するため、認知状態の進化の軌跡については何も明らかにしない。
人間による評価: 高コストでスケーラビリティに欠け、粒度の高いターンレベルの認知変化を追跡することもできない。
既存のユーザーシミュレータ: ユーザーの発話を予測するが、その背後にある「理由」（内部のBDI/E状態）をモデル化できず、信念、欲求、意図、感情が観測されないままとなっている。

中心となる課題は、評価フレームワークを「終末的な判断」から「プロセスの追跡」へと移行させ、エージェントがいかにして会話の過程を通じてユーザーの内部認知状態を測定可能な形で変化させたかを定量化することである。

2. 手法：認知世界モデル (CogWM)

著者らは、対話の評価を「ユーザーが何を言ったか」から「ユーザーの内部認知状態がいかに進化したか」へと再定義する、LLMベースのユーザーモデルである CogWM を提案している。

2.1 コアフレームワーク

CogWMは、ユーザーの発話 ( $U_t$ ) と BDI/E認知状態 ( $S_t$ ) の共同予測体として機能する。

BDI/Eの次元:
- 信念 (Belief): ユーザーが信じていること、知っていること、または判断していること。
- 欲求 (Desire): ユーザーが望んでいること、必要としていること、または好んでいること。
- 意図 (Intention): ユーザーが計画していること、決定していること、またはコミットしようとしていること。
- 感情 (Emotion): ユーザーの現在の情緒的状態とその強度。
入力/出力: ユーザープロファイル ( $P$ )、タスクコンテキスト ( $C$ )、および対話履歴 ( $H_{<t}$ ) が与えられたとき、CogWMは次の状態 $S_t$ と発話 $U_t$ を予測する。
二重の役割: これは ユーザーシミュレータ（現実的な応答と状態を生成する）であると同時に、評価プラットフォーム（シミュレートされたユーザーに対するエージェントの影響を定量化する）としても機能する。

2.2 データ構築：Summarize-and-Allocate (SaA)

CogWMを訓練するために、著者らは4つのシナリオ（感情的サポート [ESConv]、慈善寄付への説得 [P4G]、対話型レコメンデーション [DuRecDial]、オープンドメイン [DailyDialog]）にわたる 150,454件のユーザーターンサンプル のデータセットを構築した。

アノテーション・パイプライン: 2段階の手法が開発された：
1. グローバル要約 (Global Summarization): 対話全体からグローバルなBDI項目とスコアを抽出する。
2. 時間的割り当て (Temporal Allocation): エビデンスに基づいた根拠付けを行いながら、ターンごとのBDI/E状態を割り当て、それらをグローバルな要約に紐付ける。
品質: 人間による検証の結果、グローバルBDIの再現率は0.79、感情のCohen's $\kappa$ は0.69であった。

2.3 評価フレームワーク：3層システム

評価は以下の3つの階層構造となっている：

ターンレベルの忠実度 (Turn-Level Fidelity): 8つの自動指標（意味的類似性、MAEなど）と5つのLLM-as-Judgeによる意味的指標を用いて、単一の応答品質を評価する。
軌跡レベルの状態ダイナミクス (Trajectory-Level State Dynamics): 金融時系列分析から適応した4つの指標を用いて、マルチターンの進化をモデル化する：
- AUC: 累積パフォーマンス（曲線下の面積）。
- $\Delta$ : 初期状態と最終状態の間の純変化量。
- PSR: 改善頻度（正のステップ比率）。
- Mono: 方向の一貫性。
タスクレベルの複合スコアリング (Task-Level Composite Scoring): 軌跡指標を集計して2つのスコアを算出する：
- CTS (Composite Trajectory Score): グローバルな認知影響を測定する加重和 ( $0.40 \cdot AUC + 0.30 \cdot PSR + 0.30 \cdot \Delta$ )。
- GO (GoodOutcome): 対話が特定の行動結果（例：寄付、受諾）を達成したかどうかのバイナリ指標。

3. 主な貢献

3層BDI/E評価フレームワーク: 古典的なBDIモデルをLLM時代に適応させ、ターンレベルの忠実度からグローバルな軌跡への影響まで、分解可能な評価を可能にした。
SaAアノテーション・パイプライン: 4つの異なる社会的影響シナリオにおいて、明示的かつ解釈可能なBDI/E状態を持つ15万件以上の注釈付きサンプルを生成するスケーラブルな手法。
CogWMモデル: 状態予測とテキスト生成を共同で学習させたモデル（Qwen3-14Bベース）。これは 77.6%の感情精度 を達成し、GPT-5.5を 2.1倍上回り、信念、欲求、意図の追跡においてベースラインを大幅に凌駕している。
プロセス vs 結果の経験的検証: 3,600件のマルチエージェント識別試行を通じて、本研究は 認知軌跡の改善 (CTS) と行動結果 (GO) は等価ではない ことを実証した。エージェントは、肯定的な行動結果 (GO=true) を達成しながらも、意味のある認知変化（フラットな軌跡）を生み出すことに失敗する場合があり、またその逆もあり得る。

4. 実験結果

4.1 シミュレーションの忠実度

状態予測: CogWM-14Bは77.6%の感情精度を達成し、GPT-5.5 (36.4%) や DeepSeek-V4-Pro (31.0%) を上回った。また、BDIの意味的類似性と定量的スコアの正確さ（MAE）においてもリードした。
発話生成: CogWMは長さ比 (LenR) 1.01（グラウンドトゥルースとほぼ一致）を達成したが、APIベースラインは過度に長い応答を生成する傾向があった (LenR > 1.8)。
共同学習の必要性: アブレーション研究により、認知状態の追跡は共有された入力分布のみでは獲得できず、状態予測とテキスト生成の明示的な共同最適化が必要であることが確認された。

4.2 エージェントの識別

6つの商用エージェント（GPT-5.5, Llama-4-Scout, DeepSeek-V4-Proなど）を比較した試行において：

ランキング: Llama-4-Scout がCTS +0.233 で1位となり、肯定的な認知軌跡を駆動する優れた能力を示した。
類型学: エージェントは、「オールラウンダー」(Llama)、「スプリント」(Qwen: 純変化は大きいが累積利得は低い)、「ステディ」(Claude)、「ホロウ/空虚」(Gemini: すべての指標で低パフォーマンス) に分類された。
CoTの影響: Chain-of-Thought (思考の連鎖) プロンプティングはエージェントに対して非対称的に影響を与え、GPT-5.5の感情的軌跡を大幅に改善させた一方で、すでに強力なエージェントに対しては限定的な効果しか示さなかった。
CTS と GO の乖離: 本研究は、高いGOスコア（タスク成功）が必ずしも高いCTSスコア（認知的改善）を保証しないことを強調した。例えば、感情的サポートにおいて、一部のエージェントは丁寧な終了によって GO=true を達成したが、実際の認知的なシフトを駆動させることはなく、このニュアンスはCTSによってのみ捉えられる。

5. 意義と主張

本論文は、社会的影響対話の評価パラダイムを、終末的な判断 から プロセスの追跡 へと転換することを主張している。ユーザーの内部的な認知状態を明示的かつ監査可能にすることで、CogWMは以下を提供する：

解釈可能性: 評価の結論を、特定のターンやBDI/Eの次元まで遡って追跡できる。
粒度: 表面的な指標が見逃してしまう微細な認知の変化を捉える。
スケーラビリティ: 複雑な社会的影響シナリオの低コストかつ自動化された評価を可能にする。

著者らは、CogWMを単なる指標ではなく、開発者が展開前にエージェントの認知的影響を観察することを可能にする 社会的AIインフラストラクチャ（航空機の風洞実験装置に相当）として位置づけている。これにより、操作的なAIを防止し、責任ある社会的影響を確保するための具体的なツールを提供する。本研究は、真の社会的影響とは、単なるトランザクションの完了ではなく、ユーザーの内部状態における測定可能な変化を必要とするものであることを強調している。