Death of the Novel(ty): Beyond n-Gram Novelty as a Metric for Textual Creativity

本論文は、n-gram 新奇性が創造性の評価指標として不適切であり、特に AI 生成テキストにおいて新奇性と実用性が逆相関する傾向があることを示し、人間の専門家による評価や LLM を評価者として用いる手法の重要性を提唱しています。

要約

この論文は、**「AI が書いた文章の『創造性』を測る新しいものさし」**について書かれた、とても興味深い研究です。

タイトルを訳すと**「『新奇さ（新しいこと）』の死：n-gram（言葉の並び）の新しさを創造性の指標にするな」**となります。

これを、誰でもわかるような比喩を使って解説しますね。

🍳 料理の例え話：「新しい食材」だけが「美味しい料理」ではない

まず、この研究が問題にしているのは、現在の AI 評価の「勘違い」です。

• これまでの考え方（n-gram 新奇さ）：
  「その料理に使われている食材が、過去に誰も使ったことのない**『幻のキノコ』や『宇宙の星屑』**なら、それは『創造的だ！素晴らしい！』」
  という考え方です。AI が「トレーニングデータ（過去の大量の文章）」にない、全く新しい言葉の並びを作れば、それを「創造的」と評価していました。

• この論文が指摘する問題：
  「でも待って！その『幻のキノコ』と『星屑』を混ぜただけの料理が、食べられたらまずい（意味が通じない） なら、それは『創造的な料理』ではなく、ただの**『失敗作』**じゃないですか？」

論文の著者たちは、「創造性」には 2 つの柱が必要だと説いています。

1. 新奇性（Novelty）： 新鮮で、誰も見たことのないこと。
2. 適切性（Appropriateness）： 文脈に合っていて、意味が通じること（美味しく食べられること）。

🔍 研究の内容：プロの料理人（作家）に味見してもらった

著者たちは、26 人のプロの作家（小説家など）に、人間が書いた文章と AI が書いた文章を「スコープで覗くように（Close Reading）」詳しく読んでもらい、以下の 3 つを評価させました。

1. 意味が通じるか？（文法的に正しいか）
2. 文脈に合っているか？（話の流れが自然か）
3. 創造的か？（新鮮で面白い表現か）

📉 驚きの発見：「新しいだけ」は危険な罠

研究結果は、AI 開発者にとって少しショッキングなものでした。

• AI の「新しい言葉」は、91% が「創造的」ではなかった
  AI が「過去にない新しい言葉の並び」を作ろうとすると、**91% の確率で「意味が通じない」や「文脈がおかしい」**ものになっていました。

  • 例： 「椅子が恥ずかしがってささやいた」→ 言葉は新しいけど、意味が通じない（不適切）。
  • 例： 「悲しみの縫い目を縫い合わせた」→ 言葉は新しいけど、文脈が飛躍しすぎている。

• 人間は「ありきたり」な言葉でも創造的になれる
  逆に、人間が書いた文章には、よくある言葉の並び（n-gram 新奇さが低い）でも、**「感情を深く突く」「文脈に完璧にフィットする」**ことで、プロの作家から「これは創造的だ！」と評価されるものがたくさんありました。

  • 例： 「心臓の底、血が集まる場所」→ 言葉自体は珍しくないけど、文脈の中で「悲劇の予感」として非常に創造的に機能している。

結論： 「新しい言葉」を無理やり並べただけの AI 文章は、**「奇抜なだけのおかしな料理」**でしかありません。本当の創造性は、「新鮮さ」と「美味しさ（意味の通じやすさ）」のバランスです。

🤖 AI は「料理人」としてまだ未熟

さらに、最新の AI（GPT-5 や Claude など）をプロの作家と比べたところ、AI が「創造的な文章」を書く確率は、人間よりも著しく低いことがわかりました。

AI は「新しい言葉」を出すことには長けていますが、**「その言葉が文脈の中でどう機能するか」**という、人間ならではの「勘」や「文脈理解」がまだ追いついていません。

🛠️ 今後の展望：AI に「料理の味見」をさせよう

最後に、この研究チームは「じゃあ、どうやって AI の文章の質を測ればいいの？」という問いに答えています。

• n-gram 新奇さ（新しい言葉の量）だけで測るのはやめよう。
• 代わりに、AI 自体に「プロの作家」になってもらって、文章の「新奇さ」と「不自然さ」を評価させる（LLM-as-a-Judge） 方法が有効だとわかりました。

最新の AI は、人間が「ここがおかしい」「ここが素晴らしい」と感じるポイントを、ある程度は理解して評価できるようになってきました。特に「不自然な部分（意味の通じない部分）」を見つけるのはまだ苦手ですが、人間のプロに近い感覚で「創造性」を測れる可能性を秘めています。

💡 まとめ

この論文が伝えたいメッセージはシンプルです。

「AI が『新しいこと』ばかり言うからといって、それが『創造的』だとは限りません。
本当の創造性とは、『新しい』だけでなく、『意味があって、しっくりくる』ことなのです。
今の AI は、まだ『変な料理』を作ってしまうことが多いので、新しい評価基準が必要です。」

私たちは、AI に「とにかく新しい言葉を使え」と命令するのではなく、「文脈に合った、意味のある新しい表現」を作れるように導いていく必要があります。

技術概要

論文「DEATH OF THE NOVEL(TY): BEYOND n-GRAM NOVELTY AS A METRIC FOR TEXTUAL CREATIVITY」の技術的サマリー

本論文は、大規模言語モデル（LLM）の生成テキストにおける「創造性」を評価する際、従来のn-gram 新奇性（n-gram novelty）指標の限界を指摘し、心理学的な創造性の定義に基づいた新たな評価枠組みを提案する研究です。ICLR 2026 にて発表されました。

1. 問題提起 (Problem)

LLM の文章作成支援ツールの普及に伴い、生成テキストの「創造性」を定量的に評価する必要性が高まっています。近年、n-gram 新奇性（トレーニングデータに存在しないテキストの割合）を創造性の主要な指標として用いる動き（例：CREATIVITY INDEX）が見られます。

しかし、心理学における創造性の標準的な定義（Runco & Jaeger, 2012 など）では、創造性は以下の 2 つの要素の組み合わせであるとされています。

1. 新奇性（Novelty）: どれだけ独創的か。
2. 適切性（Appropriateness）: 文脈において意味を成し、実用的か（Sensicality & Pragmaticity）。

既存の n-gram 新奇性指標は、単に「トレーニングデータにない」ことを重視するだけで、意味の通じなさ（非実用性）や文脈的不整合を考慮していません。そのため、意味をなさない無意味な文章や、文脈にそぐわない奇抜な表現が「創造的」と誤って評価されるリスクがあります。

2. 手法 (Methodology)

データ収集とアノテーション

• 対象: 小説（『The New Yorker』掲載作品）の人間による原文 50 篇と、オープンソース LLM（OLMo, OLMo-2）および最先端クローズドモデル（GPT-5, Claude 4.1）による生成テキスト 100 篇（計 100 篇）。
• アノテーター: 26 名のプロの作家（MFA 課程出身者など）。
• タスク: 「近接読解（Close Reading）」手法を用い、テキストを「原子表現（atomic expression）」単位に分割。各表現に対して以下の 3 つを評価。
  1. Sensicality（意味の通じやすさ）: 単独で意味をなすか。
  2. Pragmaticity（実用性/文脈適合性）: 文脈の中で自然に流れ、論理的か。
  3. Perceived Novelty（知覚される新奇性）: 驚き、独創性があるか。
• 創造性の定義: 人間が「意味があり（Sensical）、文脈に適合し（Pragmatic）、かつ新奇（Novel）」と判断された表現を「創造的」と定義。
• 規模: 合計 8,618 件の表現アノテーション（2,783 件の一意の表現）。

分析手法

• n-gram 新奇性の測定: Infini-gram パッケージを用い、トレーニングコーパスに対する無限確率（$\infty$-probability）とペルプレキシティ（Perplexity）を計算。
• 統計モデル: 評価者間の変動や文脈の要因を制御するため、混合効果ロジスティック回帰モデル（Mixed-effects logistic regression）を採用。
  • 従属変数：創造的か否か、実用的か否か。
  • 説明変数：n-gram 新奇性（ペルプレキシティ）、生成ソース（人間 vs LLM）。

LLM-as-a-Judge の検証

• 収集したデータセットを用いて、最先端 LLM（GPT-5, Claude 4.5, Gemini 3 Pro など）およびファインチューニングモデルが、人間の専門家の判断（新奇表現の抽出、非実用的表現の検出）をどの程度模倣できるかを評価（F1 スコア）。
• 外部データセット（Style Mimic, LMArena）を用い、LLM による評価スコアと人間（専門家および一般 crowd）の選好との相関を分析。

3. 主要な結果 (Key Results)

n-gram 新奇性と創造性の非対称性

• 正の相関はあるが不十分: n-gram 新奇性が高いことは創造性と統計的に有意な正の相関を示しますが、新奇性が高い表現の約 91% は、人間によって「創造的」とは評価されませんでした。
• 逆の現象: 逆に、n-gram 新奇性が低くても（トレーニングデータに類似していても）、文脈的に巧みな比喩や情感を込めた表現は「創造的」と評価されるケースが多数存在しました（例：「That's the bottom of the heart, where blood gathers」）。

LLM における新奇性と実用性の負の相関

• オープンソース LLM の傾向: OLMo および OLMo-2 において、n-gram 新奇性が高まるほど、表現の「実用性（Pragmaticity）。
  • 人間による文章ではこの負の相関は見られませんでした。
  • これは、LLM が新奇性を追求する過程で、文脈にそぐわない不自然な表現や意味の通じない文章を生成してしまう傾向があることを示唆しています。

最先端モデルと人間の比較

• 創造性の発生率: 最先端のクローズドモデル（GPT-5, Claude 4.1）であっても、人間に比べて表現が「創造的」と評価される確率は有意に低い（OR ≈ 0.52）ことが確認されました。
• AI 検出器との関係: AI 生成テキスト検出器のスコアと創造性/実用性の間に系統的な相関は見られませんでした。

LLM-as-a-Judge の能力

• 新奇性の検出: 最先端の推論モデル（Reasoning Models）は、専門家が「新奇」と判断した表現を特定するタスクで、ランダムベースラインを大幅に上回る性能（F1 ≈ 41.3）を示しました。
• 非実用性の検出: 文脈にそぐわない「非実用的な表現」の検出は困難であり、F1 スコアは 20 未満にとどまりました。
• 評価スコアの整合性: 外部データセットにおいて、LLM による新奇性スコアは、n-gram ベースの指標（CREATIVITY INDEX）よりも、人間の専門家や一般 crowd の選好とより強く一致しました。

4. 貢献と意義 (Contributions & Significance)

1. n-gram 新奇性指標への警鐘: 単に「トレーニングデータにない」ことを創造性の指標とするアプローチは、文脈的な整合性や意味の通じやすさを無視しており、特に LLM 評価においては誤った結論を導く恐れがあることを実証的に示しました。
2. 創造性の多面的評価枠組みの提案: 心理学的定義に基づき、「新奇性＋適切性（意味＋文脈適合性）」を統合した評価基準を提案し、人間による詳細なアノテーションデータセットを公開しました。
3. LLM の生成特性の解明: LLM が新奇性を追求する際に「実用性」を犠牲にする傾向があること、そして現在の LLM は人間に比べて創造的な表現を生み出す確率が低いことを明らかにしました。
4. 評価手法の革新: n-gram ベースの自動指標よりも、LLM-as-a-Judge（特に推論モデル）を用いた文脈理解に基づく評価の方が、人間の創造性への選好をよりよく捉えられる可能性を示唆しました。

結論

本論文は、「新奇性（Novelty）」だけでは「創造性（Creativity）」を測れないことを実証し、特に LLM の生成テキスト評価においては、意味の通じやすさ（Sensicality）を同時に考慮する必要性を強く主張しています。今後の LLM 開発や評価指標の設計において、単なる統計的な新奇性だけでなく、文脈的・実用的な質をどう担保するかが重要であるという示唆を与えています。