🤖 machine learning

Reinforcing Human Behavior Simulation via Verbal Feedback

本論文は、人間の行動をよりよくシミュレートするために言語フィードバックを用いた強化学習で訓練されたモデル「DITTO」と、SOUL ベンチマークスイートを紹介し、ベースモデルに対して大幅な性能向上を示し、複数の人間らしいシミュレーションタスクにおいて GPT-5.4 を凌駕することを示す。

原著者： Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Weiwei Sun, Xuhui Zhou, Jiarui Liu, Weihua Du, Haojia Sun, Yiqing Xie, Qianou Ma, Sihao Chen, Mengting Wan, Longqi Yang, Pei Zhou, Sherry Wu, Sean Welleck, Graham Neubig, Yiming Yang, Maarten Sap

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「Reinforcing Human Behavior Simulation via Verbal Feedback」という論文を、平易な言葉と創造的な比喩を用いて解説します。

大きなアイデア：AI に「話す」ことで「人間らしく振る舞う」ことを教える

夕食会の席で、子供がどのように振る舞うべきかを教える場面を想像してください。

古い方法（スカラー報酬）: 子供が食事を終えた後、「10 点満点中 6 点」というスコアを与えます。なぜ 6 点なのかは伝えません。話しすぎたから？フォークの使い方が間違っていたから？スープをこぼしたから？彼らにはどう改善すればよいか見当もつかず、次はただ推測するだけです。
新しい方法（言語フィードバック）: 子供を座らせて、「ナプキンの使い方は素晴らしかったけど、おばあちゃんの話を遮って話すのは失礼だったわ。次は彼女が話し終わるのを待ってね」と言います。

この論文は、現在の AI モデル（LLM）が「6 点」を取る子供のように訓練されていると主張しています。AI は数学やコーディングが得意です。なぜなら、それらは明確な正解・不正解（テストのスコアのようなもの）があるからです。しかし、AI に人間らしい振る舞い（患者、学生、友人として振る舞うなど）を求めると、単純なスコアでは機能しません。人間は言葉、説明、修正を通じて社会的規範を学びます。数値を通じてではありません。

著者たちは、この「言語フィードバック」方式を用いて AI に人間らしく振る舞わせる新しいシステムDITTOを構築しました。

DITTO の仕組み：「下書きと磨き上げ」のゲーム

DITTO を、AI が生徒でありながら編集者でもあるクリエイティブライティングのワークショップだと考えてください。プロセスは以下の通りです。

最初のドラフト（生徒）: AI はプロンプト（例：「不機嫌な先生になりきって」といったもの）に答えようとします。回答を書き上げます。
批評（審査員）: 強力な AI「審査員」がドラフトを読み、言語フィードバックを与えます。「よくやった」と言うだけではありません。「あなたはあまりにも丁寧すぎた。不機嫌な先生ならもっとイライラしているはずだ。それに、宿題の話をするのを忘れている」と言います。
2 回目のドラフト（先生）: AI はその具体的なフィードバックを受け取り、回答の新しく改良されたバージョンを書き上げます。
レッスン（魔法）: システムは、AI が元のプロンプトを見て、フィードバックのテキストを必要とせずに即座に改良されたバージョンを生成するように訓練します。まるで生徒が先生のメモを読み、論文を修正し、次にメモがなくても良い論文を書くための感覚を暗記したようなものです。

結果: AI は助言を「内面化」することを学びます。後で話しかけられたとき、AI は単に「それが優れている」と知っているだけでなく、「なぜ」特定の振る舞いが優れているのかを学んでいるため、より人間らしく振る舞います。

遊び場：SOUL（Simulation gym Of hUman-Like behavior）

これが実際に機能するかどうかを検証するために、研究者たちはSOUL（hUman-Like 行動のシミュレーションジム）と呼ばれる巨大なジムを構築しました。

10 の異なるステーションがあり、それぞれが異なる種類の「人間」のスキルをテストするジムを想像してください。

心の理論: AI は、自分には知られていないことを他の誰かが知っていることを理解できますか？（かくれんぼのようなもの）
ロールプレイ: 登場人物の性格を崩さずに、本から特定のキャラクターになりきることができますか？
社交スキル: 失礼にならずに目標（昇給を頼むなど）を達成するために会話を導けますか？
ユーザーシミュレーション: 困惑した顧客としてヘルプデスクと話すふりをできますか？

彼らは、既存の AI モデルがこれらのテストでしばしば失敗することを見つけました。それらはロボットっぽすぎたり、完璧すぎたり、互いに似すぎたりしていました。

結果：DITTO がジムで優勝

研究者たちは、新しいモデル（DITTO）を、大手テック企業からの巨大モデルを含む、既存の最高峰モデルと比較してテストしました。

スコア: DITTO は基本モデルと比較して**36%**向上しました。
決戦: DITTO は、10 のチャレンジのうち6 つでトップクラスの「GPT-5.4」モデルを打ち負かしました。
輝いた分野: 微妙なニュアンスを必要とするタスク、特に社交スキルやロールプレイにおいて特に優れていました。秘密をよりよく守り、複雑な会話で「立ち往生」したり、不自然に聞こえたりすることなく処理することを学びました。

なぜこれが重要なのか（論文によれば）

この論文は、AI を（セラピーボット、教育用チューター、カスタマーサービス訓練など）人々のシミュレーションに真に有用なものにするためには、単にスコアが必要な数学の生徒として扱うのをやめなければならないと主張しています。彼らを説明を必要とする社会的存在として扱う必要があります。

**スカラー報酬（数値）ではなく言語フィードバック（言葉）**を使用することで、AI は人間らしい振る舞いの「質感」を学びます。「失礼」であることは単に低いスコアなのではなく、感情を傷つける特定の話し方であることを学ぶのです。

要約すると: DITTO は、教師の詳しい批評を聞き、修正を練習し、最終的に「わかった」と感じたため、先生のメモを忘れてしまった、人間らしく振る舞うことを学んだ AI です。

技術的概要：言語フィードバックによる人間行動シミュレーションの強化

問題提起
現在の人間行動のための大規模言語モデル（LLM）シミュレーターは、体系的な「Sim2Real」のギャップに悩まされており、均質化された出力、整合性の取れない認知バイアス、および実ユーザーとは乖離した超人間的な行動を示しています。主要な限界はトレーニングパラダイムにあります。標準的な強化学習（RL）手法（RLHF、DPO、GRPO など）は、すべてのフィードバックをスカラー報酬または二値の選好に圧縮します。コードや数学など検証可能な正解が存在する分野では効果的ですが、スカラー報酬は、主観的・多面的・文脈依存である人間行動シミュレーションに必要なニュアンスを捉えきれません。人間はスコアからではなく、説明、訂正、対話といった言語フィードバックから社会的規範を学びます。言語フィードバックの取り込みを試みる既存のアプローチの多くは、教師あり微調整（SFT）または推論時のリフレクションに依存しており、RL の探索能力を欠いているか、経験からモデル重みを効果的に更新できていません。

手法：DITTO
著者らは、言語フィードバックを強化学習フレームワーク内での第一級の信号として扱うことで訓練されたモデル「DITTO」を提案します。中核的な革新は、フィードバック条件付きの改善を生成し、それらをベースポリシーと共同で最適化するトレーニングループにあり、これによりモデルはテスト時にフィードバックを必要とせずにガイダンスを内面化できます。

与えられたプロンプト $x$ に対するトレーニングプロセスは以下の通りです：

ドラフトロールアウト: ポリシー $\pi_\theta$ が初期応答 $y_0$ を生成します。
フィードバック生成: LLM ジャッジが $y_0$ を評価し、スカラー報酬 $r_0$ と構造化された言語フィードバック $h$ （信憑性、関係維持、目標達成などの次元に関する批判と反省を含む）を生成します。
洗練されたロールアウト: ポリシーがプロンプトとフィードバック（ $x, h$ ）を条件として、2 番目の応答 $y_1$ を生成します。
共同最適化: $y_0$ $y_{0}$ と $y_1$ $y_{1}$ の両方が**グループ相対方策最適化（GRPO）**を用いて最適化されます。
- 元のロールアウトと洗練されたロールアウトのセットに対して、グループ相対アドバンテージが計算されます。
- 標準的なクリップされた GRPO 目的関数（ $L_{group}$ ）が結合グループに適用され、ベースポリシーが改善から学習することを促します。
- 追加の目的関数（ $L_{fb}$ ）が特にフィードバック条件付きロールアウトに適用され、モデルのフィードバックへの直接応答能力を向上させます。
- 最終的な損失は $L = L_{group} + L_{fb}$ です。

重要なのは、言語フィードバック $h$ が特権情報として扱われることです。これは $y_1$ の生成を導き、ポリシーを最適化する際にトレーニング中に利用可能ですが、推論時には必要とされません。目標は、ベースポリシーが「教師」の行動（改善された $y_1$ ）を標準的な生成プロセスに内面化することです。

SOUL ベンチマーク
トレーニングと評価を促進するため、著者らは「SOUL（Simulation gym Of hUman-Like behavior）」を導入しました。これは、人間のような行動のための統合ベンチマークおよびトレーニングデータスイートです。SOUL は、人間シミュレーションのトレーニングデータ不足というボトルネックに対処し、6 つのカテゴリーにわたる 10 のタスクのためのキュレーションされた RL トレーニング分割を提供します：

心の理論: FanToM, HiToM, ToMi.
キャラクターロールプレイ: CoSER, LifeChoices.
社会的スキル: Sotopia.
学習者シミュレーション: Mistakes.
ユーザーシミュレーション: MirrorBench, UserLLM.
ペルソナシミュレーション: TwinVoice.

このスイートは、識別（多肢選択）、生成（オープンエンドの対話）、マルチターン/マルチエージェント相互作用の形式を網羅しています。

主要な結果
実験は Qwen3-8B ベースモデルを使用して行われました。

性能: DITTO は SOUL タスク全体で平均正規化スコア 0.726 を達成し、ベースモデルに対して 36% の改善を示しました。
最先端モデルとの比較: DITTO は、3 つのすべての心の理論タスクと 2 つのユーザーシミュレーションタスクを含む、10 のベンチマークのうち 6 つで最先端のクローズドソースモデル GPT-5.4 を上回りました。また、Sotopia-RL や HER などの専門的な人間シミュレーションベースラインを一貫して凌駕しました。
アブレーション: 言語フィードバック機構は、標準的な GRPO に対して一貫した利益を提供し、最大の改善は生成タスクおよびマルチターンタスクで観察されました（例：TwinVoice で +14 ポイント、ToMi で +11 ポイント）。
安全性: 分析により、言語フィードバックが安全性リスクの軽減に寄与することが示されました。標準的な GRPO は最適化中に「秘密保持」の次元で劣化しましたが、DITTO は秘密を保持する能力をよりよく維持しました。これはおそらく言語フィードバックに含まれる明示的なガイダンスによるものです。

意義と主張
本論文は、スカラー報酬を超えて、より豊かで言語的なフィードバックへと移行することが、より人間らしいシミュレーターを訓練するための有望な方向性であると主張しています。この研究の意義は、以下の 3 つの主要な貢献にあります：

信号としての言語フィードバック: 言語フィードバックが、スカラー報酬と比較して学習速度を向上させ、秘密漏洩などの安全性リスクを軽減する、実行可能で次元固有のガイダンスを提供することを実証しました。
DITTO アーキテクチャ: フィードバック条件付きロールアウトを通じて言語フィードバックをベースポリシーに蒸留する手法を導入し、8B モデルで大きな性能向上を達成し、より大規模なクローズドソースモデルと同等かそれ以上の性能を達成しました。
SOUL ベンチマーク: 多様なタスク形式にわたる人間のような行動のための最初の統合トレーニングおよび評価環境を提供し、この分野におけるトレーニングデータの決定的な不足に対処しました。

著者らは、このアプローチによりベースポリシーが豊かで実行可能なガイダンスを内面化できるようになり、人間行動シミュレーションにおける Sim2Real ギャップを埋めるための実用的な道筋として、言語フィードバックを伴う RL が有効であることを結論付けています。