💬 NLP

CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories

本論文は、物語論的な定義を適用してキャラクター描写における8つの複雑な次元を分析することにより、LLMが生成した物語と人間が執筆した物語の類似点と相違点を調査し、AIモデルが人間の著者と同等の多様性と深みを持つキャラクターを生み出しているかどうかを判断することを目的としている。

原著者： Anneliese Brei, Abhisheik Sharma, Nicholas Sanaie, Lu Wang, Snigdha Chaturvedi

公開日 2026-06-23✓ Author reviewed ⓘ

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Anneliese Brei, Abhisheik Sharma, Nicholas Sanaie, Lu Wang, Snigdha Chaturvedi

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、文学的な探偵として一つの謎を解こうとしていると想像してください。「ロボットの作家は、人間の著者が書くような、リアルで多様なキャラクターを生み出すことができるのだろうか？」

この論文「CASPER in the Machine」は、その調査報告書です。研究者たちは、物語の中のキャラクターの「魂」を詳しく観察するための虫眼鏡として、CASPER（Character's Portrayce Classifier：キャラクター描写分類器）と呼ばれる特別なツールを構築しました。

以下に、比喩を用いた彼らの調査結果の要約を記します。

1. ツール：キャラクターの「X線検査」

この研究の前、人々は主にキャラクターが「何をしたか」（職業、性別、あるいは「親切」かどうかなど）を見ていました。しかし、研究者たちはキャラクターが「どのように」構築されているのかを知りたいと考えました。

彼らは、古典的なストーリーテリング理論（キャラクター構築のレシピ本のようなもの）に基づいたフレームワークを使用し、8つの特定の対となる特性を用いました。これらは、キャラクターを片側かもう片側の側へと量る、一組の天秤のようなものです。

様式化 vs 自然（Stylized vs. Natural）： キャラクターは漫画のスーパーヒーロー（誇張されたもの）か、それとも近所のスーパーで見かけるような隣人（現実的なもの）か？
一貫性 vs 不整合（Coherent vs. Incoherent）： キャラクターは一貫した人物として振る舞っているか、それとも性格がランダムに入れ替わるか？
全体的 vs 断片的（Whole vs. Fragmented）： そのキャラクターの背景や感情のすべてが分かっているか、それとも欠けたピースを持つシルエットのような存在か？
文字通り vs 象徴的（Literal vs. Symbolic）： そのキャラクターは単なる一人の人間か、それとも「希望」や「強欲」といった大きな概念を密かに象徴しているのか？
複雑 vs 単純（Complex vs. Simple）： 葛藤する欲望（例えば、勇敢でありたいが怖がりである、など）を持っているか、それとも単調な存在か？
透明 vs 不透明（Transparent vs. Opaque）： 彼らが何を考えているのか正確に分かるか、それともミステリーボックスのように謎に包まれているか？
動的 vs 静的（Dynamic vs. Static）： 物語の中で変化し成長するか、それとも最初から最後まで同じ人のままか？
閉鎖的 vs 開放的（Closed vs. Open）： 物語がその人生を綺麗に締めくくるか、それとも未来を宙に浮かせたままにするか？

2. 実験：「味のテスト」

研究者たちは、膨大な物語のビュッフェを集めました。

200の人間による物語： オンラインの執筆コミュニティから収集（AIによって書かれたものではないことを厳格に確認済み）。
4,400のAI生成物語： 同じプロンプトを使用して、7種類の異なるAIモデル（小規模から超大規模まで）によって作成。

これらの物語をすべてCASPERツールに入力し、キャラクターがどのように競り合っているかを調べました。

3. 判明したこと：AIが得意なこと（そして苦手なこと）

「安全第一」戦略

発見： 人間の書き手は、物事をオープンエンド（結末を限定しない状態）にすることを好みます。彼らはしばしば、完璧な結末を持たないキャラクターや、少し謎めいたままのキャラクターを描きます。
AIの違い： AIモデルは、**「過度に礼儀正しい執事」**のようです。彼らは仕事を中途半端に終わらせることを嫌います。彼らはほぼ常に、すべての伏線を回収してしまいます。人間のキャラクターが不確かな未来を抱えて夕日に向かって歩いていくかもしれない場面でも、AIのキャラクターは綺麗にまとめられた結論を得るのです。AIは、キャラクターの物語が完結していることを保証することで、「安全策」を取ります。

「成長期」のバイアス

発見： AIのキャラクターは**動的（ダイナミック）**になりやすい傾向があります。彼らはほとんどの場合、悲しみから始まり幸福で終わるか、弱さから始まり強さで終わります。
AIの違い： 人間は、頑固なまま、混乱したまま、あるいは全く変わらないままのキャラクターを書きます。それが現実の世界のあり方だからです。しかし、AIはあらゆる物語には「教訓」が必要だと考えているようです。つまり、キャラクターが学び、成長するという展開です。まるでAIは、あらゆる物語を寓話として書こうとしているかのようです。

「ステレオタイプ」の罠

発見： AIのキャラクターはより様式化されており（原型/アーキタイプのように）、文字通り（ただの普通の人）ではありません。
AIの違い： もし「ヒーロー」を求めれば、AIは古典的で誇張されたヒーローを提示します。人間は、型にはまらない、面倒で、あるいは奇妙に具体的な人々を書くのが得意です。AIは、ユニークで風変わりな個人を作るよりも、馴染みのあるトロープ（定番の型）に頼る傾向があります。

サイズは（あまり）重要ではない

発見： 超スマートで巨大なAI（例えば700億パラメータのモデル）なら、より複雑なキャラクターを書くのではないか、と予想されるかもしれません。
AIの違い： 驚いたことに！ AIの脳のサイズは、描かれるキャラクターの「種類」にはほとんど影響を与えませんでした。小さなAIも巨大なAIも、非常に似たパターンを持つキャラクターを生み出しました。両者とも、同じ「安全第一」や「成長期」の習慣を持っていたのです。

家系図

発見： 異なるAIのファミリー（Llama、Phi、Mistralなど）には、それぞれ異なる「個性」があります。
AIの違い： Phiファミリーのモデルは、最も多様なキャラクターのミックス（詰め合わせチョコレートの箱のようなもの）を生成しているようでした。一方で、Llamaファミリーは最も反復的でした（すべて同じ味のチョコレートの箱のようなもの）。

4. 総括

この論文は、AIは物語を書く能力は向上しているものの、人間とは異なる思考プロセスを持っていると結論付けています。

人間は、曖昧さ、謎、そして変化しないキャラクターに対して寛容です。私たちは、未解決のままの結末を受け入れることができます。
AIは、明快さ、整った結論、そして教訓を得るキャラクターに執着しています。AIは、あらゆる物語を「人生の一片」としてではなく、「構造化されたレッスン計画」として扱います。

要するに： もし、完璧にラッピングされたギフトのように、明確な教訓を持つ物語が欲しいなら、AIはあなたの友なるでしょう。しかし、もし、混沌として予測不能で、オープンエンドな人間体験を感じさせる物語が欲しいのであれば、あなたはまだ人間の作家を必要とするのです。

技術要約：機械の中のCASPER

問題提起

大規模言語モデル（LLM）が創造的な執筆やフィクションの物語生成にますます利用されるようになるにつれ、機械が生成した物語と人間が執筆した物語の間の質的な違いに関する重要な問いが生じている。近年の研究では、プロットの開発や物語構造の観点からLLM生成の物語を調査しているが、これらのモデルがいかに「キャラクター」を描写しているかを理解するという点において、大きな空白が存在する。既存の自動分析は、人口統計学的属性や性格特性といった基本的な属性に依存することが多く、物語のトーン、テーマ、および文化的共鳴を定義する、キャラクター描写のより深い芸術的なニュアンスを捉えきれていない。著者らは、現在の手法では、LLMが人間のような多様性、深み、および芸術的意図を持ってキャラクターを生成しているかどうかを判断するための粒度が不足していると主張している。

メソドロジー

これに対処するため、著者らは、短編小説におけるキャラクターの描写を自動的に分析するために設計された、物語論の理論に基づいたフレームワークである**CASPER（Character's Portrayal Classifier）**を導入する。

1. 理論的枠組み

「平坦な（flat）」対「丸い（round）」という曖昧で主観的な二分法に頼る代わりに、CASPERはHochman（1985）によって提案された分類法を利用する。このフレームワークは、各主要カテゴリーをその反対の概念と対比させる8つのカテゴリー・ペアにわたってキャラクターを評価する：

様式化（Stylization） vs 自然主義（Naturalism）： 意図的な理想化／作為 vs 生命力のある正確さ。
一貫性（Coherence） vs 不整合（Incoherence）： 一貫した行動／言動 vs 矛盾／断片化。
全体性（Wholeness） vs 断片性（Fragmentariness）： 完全な人格を持つ統合された存在 vs 部分的な側面と欠落。
具象性（Literalness） vs 象徴性（Symbolism）： 物語世界内の個体 vs 抽象的な概念／テーマの表現。
複雑性（Complexity） vs 単純性（Simplicity）： 複数の相反する特性 vs 1つまたは少数の支配的な特性による定義。
透明性（Transparency） vs 不透明性（Opacity）： 明確な内面（思考／動機） vs 隠された／曖昧な内面。
動態性（Dynamism） vs 静態性（Staticism）： 顕著な発展／変容 vs 根本的な不変性。
終結性（Closure） vs 開放性（Openness）： 明確な解決を伴う物語の弧 vs 未解決の運命／意義。

2. データセットの構築

著者らは、高品質で比較可能なコーパスを構築した：

人間が執筆した物語： r/shortstoriesから収集された200の短編小説。これらはAI検出器を用いてLLM生成ではないことを確認し、4つのジャンル（日常、ロマンス、SF/ファンタジー、サスペンス/スリラー）に分類された。
LLMが生成した物語： 4つのファミリー（GPT, Llama, Phi, Mistral）にわたる8種類の異なるLLM（パラメータ数3Bから70Bまで）によって生成された4,400の物語。
比較可能性： 公平な比較を確保するため、著者らはLlama-70Bを使用して人間が書いた物語から執筆プロンプトを作成し、それらをターゲットとなるLLMに用いて物語を引き出すことで、主題およびジャンルの整合性を確保した。

3. 分類パイプライン

アノテーション： グラウンドトゥルース（正解）を確立するために、文学の専門家によって100のテストセット（人間によるもの50、LLMによるもの50）を手動でアノテーションした。検者間一致度（Cohen's $\kappa$ ）は中程度（0.56）であった。
自動分類： 著者らは、Llama-70BおよびGPT4o-miniを用いた「LLM-as-a-judge（判定役としてのLLM）」アプローチを採用した。彼らは、各カテゴリーに対して最適なセットアップを決定するために、様々なプロンプティング戦略（Zero-shot、異なるレイアウトを用いたIn-Context Learning、Likキスト尺度）を体系的にテストした。
ベストプラクティス： 本研究では、各カテゴリーに対して個別の推論コールを行うバイナリ分類が、最も良い結果をもたらすことが判明した。人間によるアノテーションに対するパフォーマンスに基づき、特定のプロンプトテンプレート（例：様式化に対してはICL-repeated、動態性に対してはZero-shot）が選択された。

主な結果

4,400のLLM生成物語を人間が書いた物語と比較した分析により、明確なパターンが明らかになった：

終結性と安全性： LLMは、人間と比較して、**終結的（Closed）な物語の弧（明確な結論）を持つキャラクターを生成する傾向が有意に高い。人間はしばしば開放的（Open）**な弧を残す。これは、LLMが未解決の事項を片付けることで「安全策」をとるのに対し、人間の書き手は曖昧さを用いることを厭わないことを示唆している。
様式化と動態性： LLMが生成したキャラクターは、人間よりも統計的に**様式化（Stereotypical/Archetypal）されており、かつ動態的（変化が見られる）**である。LLMは、キャラクターが典型的な型（アーキタイプ）に適合し、道徳的な教訓を伝えるために感情の変化を経験するように作る傾向がある。
透明性と一貫性： 人間とLLMのどちらも、圧倒的に一貫性があり、全体性があり、透明性の高いキャラクターを好む。これは、ミステリーや混乱の要素における多様性の欠如を示しているが、著者らはこれが主人公への焦点に影響されている可能性があると指摘している。
モデルサイズ： 「より大きなモデルはより微細なキャラクターを生み出す」という予想に反して、モデルサイズはキャラクターの描写に有意な影響を与えない。小規模モデルと大規模モデルは、カテゴリー全体においてほぼ同一の分布を示し、様式化においてのみ僅かな違いが見られた。
モデルファミリーの多様性： Phiファミリーが最も多様なキャラクター分布を生成し、Llamaファミリーが最も多様性が低い生成を行った。Mistralモデルは、より様式化され、一貫性の低いキャラクターを好む傾向を示した。
ジャンルの影響： ジャンルはキャラクターのタイプに大きく影響する。例えば、日常的な物語は現実的だがしばしば象徴的なキャラクターを特徴とし、SF/ファンタジーの物語は様式化と象徴性の最も高い割合を示す。
推論の変動性： 同じプロンプトを複数回使用した場合、**具象性（Literalness）と終結性（Closure）**が最も高い変動性を示した。これは、LLMが、キャラクターがどの程度具象的であるか、あるいは解決されているべきかに関する文脈の手掛かりに一貫して従うことに苦慮していることを示唆している。

貢献と意義

本論文は主に3つの貢献を行う：

フレームワークの適応： 理論に基づいた物語論的手法（Hochmanの分類法）を自動化されたフレームワーク（CASPER）へと成功的に適応させ、将来のモデルにおけるキャラクター描写の進化を追跡するためのツールを提供した。
精選されたコーパス： 将来の研究のために、ジャンルやテーマにわたる比較可能性を確保した、4,400のLLM生成物語と200の人間による執筆物語からなる、注意深く精選されたデータセットを公開する。
実証的分析： 単なる基本属性を超えて、物語の芸術的枠組みの中でキャラクターがいかに描かれているかを分析することにより、LLMと人間のキャラクターに関する詳細かつ微細な比較を提供する。

意義：
著者らは、本研究が「より大きなモデルは必然的に、より人間らしく、あるいは多様なキャラクターを生み出す」という仮定に異議を唱えるものであると主張している。むしろ、現在のLLMが「安全な」ストーリーテリング（終結）、典型的なキャラクター（様式化）、および道徳的成長（動態性）への特定のバイアスを持っていることを実証している。これらのパターンを特定することで、本論文は、創造的な領域における現在の生成AIの限界とスタイルの傾向について、より深い理解を提供し、LLMは物語構造を模倣することはできても、曖昧さや人間としてのキャラクターの複雑さの全スペクトラムを受け入れるための芸術的な自由を現在は欠いていることを示唆している。