技術概要：対話型物語エージェント評価のための NARRA-Gym

問題定義

対話型物語タスクでは、大規模言語モデル（LLM）が、複数のターンにわたってユーザーに適応しながら、一貫性のある進化の物語世界を維持することが求められます。この設定は、生成、記憶、計画、パーソナライゼーションという能力の組み合わせを必要とし、これらは継続的な対話下で同時に動作しなければなりません。しかし、この分野における既存のベンチマークは限られています。標準的な評価は、静的な単一ターンプロンプト、孤立した物語生成、または事後評価に焦点を当てることが多いです。その結果、現在のベンチマークは、モデルが物語生成、長文脈状態、ペース配分、キャラクターシミュレーション、共感的パーソナライゼーション、そして物語に根ざしたアーティファクトを共同で管理できるかどうかを評価できていません。モデルが流暢な個別の応答を生成しても、一貫性を維持したり、長期的な状態を管理したり、ユーザーの感情的な軌道に適応したりできず、対話が破綻する可能性があります。

手法：NARRA-Gym

これらのギャップに対処するため、著者らは、希薄な感情的な種（シード）を完全な対話型物語エピソードに変換する実行可能な評価環境「NARRA-Gym」を導入しました。このシステムは、物語の構築、記憶の更新、計画、ペース配分の介入、およびオプションのアーティファクト合成を含む、モデル・イン・ザ・ループの完全な軌跡を記録します。

環境構築

この環境は、2 つの主要フェーズからなる完全なエピソードパイプラインを通じてモデルを編成します。

1. 物語構築（ナラティブ・アーキテクト）: ユーザーの感情的な種（気分/状況の自由記述）とプロファイリング回答を受け取ると、システムは物語の作成を 5 つの記録された段階に分解します。
   • 物語の基盤: タイトル、前提、テーマ、主人公の目的を確立する。
   • 設定構築: 感情的な文脈を具体的な世界とシーン枠に変換する。
   • キャラクター構築: 背景、性格、話し方を含むキャストを構築する。
   • 幕構成: 多幕のあらすじを下書きし、必要に応じてクリティカル・スルー・リファイナー・ループを通じて洗練させる。
   • オープニングシーン: 導入の散文、対話、分岐する選択肢、隠された要素を生成する。
2. 継続的対話ループ: 初期化されると、エピソードは 4 つのエージェントコンポーネントによって調整されるターンレベルのループに入ります。
   • 記憶エージェント: ユーザープロファイル（ニーズ、トーン、境界）、物語の状態（現在の目標、緊張、手がかり）、ユーザーの旅程（意思決定、感情的な軌道）の 3 層から文脈を構成します。単純な文脈詰め込みを避けるため、これらの層を異なる頻度で更新します。
   • ペース配分エージェント: プロットが進展しているかどうかを監視します。停滞に対する 3 層の防御を採用しています。ランタイムのペース配分制御（穏やかな励ましから必須の転換へとエスカレート）、停滞検出器（反復パターンをチェック）、およびモデル出力に進展が欠如している場合に物語の転換を注入するポスト生成構造ガードです。
   • 計画エージェント: 物語の状態を反映し、次のターンに対する構造化されたガイダンス（未解決の緊張、ユーザーの関心、進展戦略）を提供します。
   • アーティファクトエージェント: 物語が具体的な小道具を必要とする場合、機能的で物語に根ざした HTML/CSS/JavaScript アーティファクト（手紙、地図、暗号など）を生成します。新規性スコアリングシステムは、アーティファクトタグを直近の履歴と比較することで反復を防ぎます。

評価プロトコル

著者らは、9 つの最先端 LLM を評価するために、2 つの補完的なプロトコルを採用しています。

1. 制御された LLM によるジャッジ掃引: 9 つの生成モデルのそれぞれを、同じ 8 つの事前に定義されたペルソナ（例：悲しみに暮れる父親、圧倒された新しい母親）で実行し、72 の完全なエピソードを生成します。これらは、11 次元のルーブリック（物語の質：関連性、一貫性、共感、驚き、没入感、複雑さ、キャラクター形成、およびユーザー体験：満足度、知覚された質、プロセスの有用性、再利用意図）に基づいて、3 つの独立したジャッジモデルによってスコアリングされます。
2. 人間による選好評価: 12 名の参加者が、固定されたペルソナではなくカスタマイズされた対話体験に参加し、匿名化されたモデル出力を評価します。評価はグループ内ランキングに変換され、プラケット・ルーモデルを使用して集約され、各モデルの潜在的な効用を推定します。

主な貢献

1. 実行可能なベンチマーク環境: NARRA-Gym は、単一の対話ループ内で創造的な物語生成、長文脈状態/ペース配分管理、キャラクターシミュレーション、共感的パーソナライゼーション、およびアーティファクト生成を共同でテストする対話環境を定義します。
2. モジュール型ナラティブエージェントパイプライン: 著者らは、マルチ解像度記憶、反射に基づく計画、停滞防止制御、新規性制約付きアーティファクト合成、およびフェイルソフト構造化生成を備えた段階的パイプラインを実装しました。すべてのコンポーネントは検査のために記録され、特定の失敗モードの診断を可能にします。
3. 比較評価プロトコル: 本論文は、グループ内ランク集約を伴う人間による評価プロトコルと LLM ジャッジプロトコルを提供します。この設定は、静的なデータセットでは観察しにくい、抵抗に敏感なパーソナライゼーションや長期的な一貫性などの失敗を露呈させます。

結果

9 つの最先端 LLM の評価は、モデル、ペルソナ、次元間で大幅な変動を示しました。

• パフォーマンスの変動性: Claude Sonnet 4.6 が最高平均集計スコア（StoryQ: 3.90, UX: 3.86）を達成し、11 の細分化されたすべての次元で先行しました。次いで Claude Opus 4.6 が続きました。DeepSeek V4、GPT-5.4、DeepSeek V3.2 などのモデルは StoryQ において密に集まっていましたが、明確なプロファイルを示しました（例：DeepSeek V4 はキャラクター形成において強く、GPT-5.4 は共感において優れていました）。
• 流暢さ対堅牢性: 流暢な物語を生成するモデルは、堅牢性、ユーザー体験、または抵抗に敏感なパーソナライゼーションで失敗することが多かったです。高い平均パフォーマンスは堅牢性を保証するものではありませんでした。例えば、Opus 4.6 は強いピークを示しましたが、特定のペルソナでは深刻な崩壊事例も見られましたが、Sonnet 4.6 は一貫した高いパフォーマンスを維持しました。
• ペルソナの難易度: ベンチマークの難易度はペルソナによって大きく異なりました。「Sara（圧倒された新しい母親）」は平均して最も難しいペルソナであり、「Hye-jin（行き詰まった作曲家）」は最も簡単でした。これは、モデルが感情的に曖昧な疲労よりも創造的な行き詰まりをより確実に処理することを示唆しています。
• 人間とジャッジの不一致: 人間による評価と LLM ジャッジはトップティア（Sonnet 4.6 と Opus 4.6）では一致しましたが、ミドルティアでは分岐しました。人間の評価者は、特にユーザー体験の次元において、LLM ジャッジよりも Qwen3.5 や Doubao などのモデルを好みました。これは、自動化されたジャッジが広範なスクリーニングには効果的ですが、人間が知覚するペース配分、質感、感情的な共鳴のニュアンスを見逃す可能性があることを示しています。
• 失敗モード: 手動監査により、抵抗に敏感なパーソナライゼーションが主要なボトルネックであることが特定されました。文法的にきれいなエピソードであっても、ユーザーが何に抵抗しているかを追跡できず、早急な安心感を提供したり、抵抗を過度に早く一般的な進展に変換したりすることがよくありました。

意義と主張

本論文は、対話型物語が、孤立した物語の質を超えた長期的でユーザー適応的な LLM の行動を評価するための有用なベンチマークを提供すると主張しています。発見事項は、強力な物語の流暢さが堅牢性、人間の選好との整合性、または時間的コンテキスト、キャラクター、共感を維持する能力を保証するものではないことを示唆しています。

著者らは、NARRA-Gym を、持続的な対話における計画、記憶、共感の相互作用をモデルがどの程度管理できるかを評価するための一歩として位置づけています。彼らは、このベンチマークが、創造的ドメイン、ゲーム、対話型メディアのアプリケーションにとって重要でありながら、既存の静的ベンチマークでは見過ごされている「抵抗に敏感な」立場を維持できないなどの特定の失敗モードを浮き彫りにしていると指摘しています。この研究は、将来の進展には、孤立した物語の質の指標を超えて、持続的な対話能力を測定することが必要であると強調しています。