Improving Collaborative Storytelling with a Multi-Agent Framework Based on Large Language Models

技術概要：大規模言語モデルに基づくマルチエージェントフレームワークによる協働物語創作の改善

問題定義
本論文は、協働物語創作の文脈において、幼児（3〜6 歳）向けに高品質で適切かつ一貫性のある物語を生成する課題に取り組む。既存の AI 共創研究は主にデジタル環境における成人ユーザーを対象としているが、本研究は「YOLI」と呼ばれる物理的なスクリーンレスボードゲームに焦点を当てている。この環境では、子供たちが物語の要素（主人公、場所、気分、物体、活動）を表す物理的なタイルを選択し、それらが AI によって物語生成に利用される。

特定された重要な技術的障壁は、大規模言語モデル（LLM）における「忠実性の幻覚（faithfulness hallucinations）」である。この文脈における幻覚とは、ユーザーの指示や入力コンテキストからの逸脱を指し、生成された物語が子供たちによって選択された特定の要素を正確に反映していない場合を意味する。このような失敗は、ユーザーのフラストレーションや関与の低下を招きうる。本論文は、標準的な単回生成では、物語の品質を維持しつつこれらの制約への厳密な遵守を確保するために必要な洗練が不足している可能性があると仮説を立てている。

手法
著者は、反復的な「ライター - エディターループ」を中心としたマルチエージェントフレームワークを提案する。このシステムは、追加の学習や微調整を必要とせず、推論時のみで動作する。

1. ゲームループ: 子供たちが YOLI ボード上でタイルを選択する。これらの選択は、物語生成システムへの入力制約として機能する。
2. ライターエージェント: LLM（本研究では Gemma 2 2B）が「ライター」として機能する。選択された物語要素を含むプロンプトを受け取り、物語を生成する。
3. エディターエージェント: 別の LLM が「エディター」として機能する。標準化された評価基準（関連性：入力タイルとの整合性に焦点を当てる）に基づき、ライターの出力を評価する。エディターは数値スコア（0〜100%）を割り当て、その根拠や批評を提供する。
4. 反復的洗練:
   • ループ 1: ライターはゼロショットプロンプトを受け取り、初期の物語を生成する。
   • ループ 2 以降: ライターは、元の物語、エディターの批評、およびスコアを含むワンショットプロンプトを受け取る。ライターは改善されたバージョンの生成を試みる。
   • このプロセスは最大 5 回まで反復され、各サイクルでエディターが新しい出力を再評価する。

シミュレーション研究の設計
フレームワークを評価するため、著者は約 1,000 のタイルの組み合わせ（物語要素の組み合わせ）からなるデータセットを用いたシミュレーション研究を実施した。

• ライター: Gemma 2（2B パラメータ）に固定。
• エディター: 異なるモデルファミリーとパラメータサイズで変化させた。Gemma 2（2B、9B、27B）、Llama 3.1（8B）、Mistral（7B）。
• 指標: 主要指標は、エディター LLM によって割り当てられた「知覚された品質」スコアであり、反復を通じた改善の軌跡を追跡した。

主要な結果

1. 一貫した品質の向上: 試験されたすべてのエディターモデルにおいて、平均的な知覚された品質スコアは、ライティング - エディティングの反復が進むにつれて増加した。これは、反復的な批評プロセスがライターを効果的に導き、出力を洗練させていることを確認するものである。
2. 限界効用逓減: 最も顕著な改善は、最初のループから 2 番目のループへの移行（フィードバック付きのワンショットプロンプティングへの移行）で発生した。その後の反復（ループ 3〜5）では、得られる利益が徐々に減少した。
3. 収束速度: 本研究は、反復プロセスの最適な停止点は5 回以内にあることを示唆している。生存分析によると、70 億パラメータ以上のエディターの場合、5 ループ以内に最大スコアに達する確率は 90% である。
4. モデル容量との相関: 大規模なエディターモデル（例：Gemma 2 27B）は、小規模なモデル（例：Gemma 2 2B）と比較して、プロセスの初期段階でピークスコアに達する確率が高かった。これは、より洗練された評価者がより効率的に洗練を導くことを示唆している。ただし、小規模なモデルでも一貫した改善傾向を示した。
5. 自己選好バイアス: ライターとエディターの両方として機能する Gemma 2 2B モデルが絶対的な最高スコアを達成したが、著者はこれが自己選好バイアスを示している可能性があると指摘している。しかし、手動による検査では、ガイド付き評価基準の使用がこの問題を緩和しており、大規模モデル（Llama 3.1 8B など）も同様の最終スコア（89% 対 91%）を達成していたことが示された。

意義と主張
本論文は、提案されたライター - エディターフレームワークが、人間のフィードバックからの強化学習（RLHF）や AI フィードバックからの強化学習（RLAIF）のような学習集約的なアライメント手法に対する軽量かつ実用的な代替案を提供すると主張している。

• 学習不要: システムは推論時の相互作用のみに依存しており、高価で労働集約的な人間の選好データセットや報酬モデルの学習を不要とする。
• 子供中心設計へのスケーラビリティ: このフレームワークは、創造的な遊びに必要なオープンエンド性と、子供に適したコンテンツに必要な厳格な制約のバランスを効果的に取り、忠実性の幻覚という問題に特に対処する。
• 効率性: 高品質な出力が少数の反復（2〜3 回）で達成可能であるという発見は、遅延と応答性が重要なリアルタイムの対話型物語創作において、このシステムを実用的にするものである。

限界
著者は、品質スコアが外部の人間による評価ではなく、LLM ベースのエディターからのみ導き出された人工的なものであることを謙虚に認めている。プロの作家と YOLI デザイナーによる予備的な定性的評価は人間の判断との整合性を示唆したが、本論文は、今後の研究においてこれらのスコアを幼児教育者による評価や子供からの直接評価と比較検証し、改善が真の人中心の関与と一致していることを確認する必要があることを強調している。