論文要約：LLM によるオープンエンド調査テキストからの予測評価の限界と測定限界

タイトル: The signal is the ceiling: Measurement limits of LLM-predicted experience ratings from open-ended survey text
著者: Andrew Hong, Jason Potteiger, Luis E. Zapata (Dimension Labs)
日付: 2026 年 4 月

1. 研究の背景と問題提起

本論文は、スポーツイベント（MLB 試合）後のファン調査において、ファンが記述する「オープンエンドの自由記述テキスト」から、彼らが回答した「0〜10 点の総合評価スコア」を大規模言語モデル（LLM）で予測する際の精度限界と、その限界を構成する要因を解明することを目的としています。

先行研究（Hong et al., 2026）では、最適化されていない GPT-4.1 プロンプトでも、テキストから予測スコアが実際のスコアと±1 点以内で一致する確率は 67% 程度であることが示されました。しかし、残りの 33% の誤差は単なる測定エラーではなく、「記述（テキスト）」と「評価（スコア）」の間に構造的な乖離があることを示唆していました。

本研究は、この「天井（Ceiling）」を構成する要素を分解し、プロンプト設計（Prompt Design）とモデル選択（Model Selection）という 2 つの工学的アプローチが、どの程度、どの方向に精度を改善できるかを検証しました。

2. 研究方法

データセット

• 対象: 2025 年 3 月から 6 月にかけて行われた 5 つの MLB チームの試合後のファン調査。
• サンプル数: 約 10,000 件の回答（閉じた質問のスコアと、自由記述のテキスト）。
• 特徴: 評価スコアは 0〜10 点の連続値であり、分布は高い評価（9〜10 点）に偏っています（正の歪み）。

実験デザイン

4 つの異なる設定（プロンプト × モデル）で、約 10,000 件のデータを処理し、予測スコアと実際のスコアを比較しました。

1. プロンプト:
   • ベースライン: 一般的な指示のみ（Hong et al. 2026 で使用）。
   • カスタマイズ版: 3 段階の意思決定プロセス（明確な結論を優先、ポジティブとネガティブの重み付け、個別の不満を過剰に評価しない）と、スコアリング根拠（Rationale）の記述を義務付けた構造。
2. モデル:
   • GPT-4.1
   • GPT-4.1-mini
   • GPT-5.2

評価指標

• **完全一致率 **(Exact Match) 予測スコアが実際のスコアと完全に一致する割合。
• **±1 点以内一致率 **(Within ±1 Agreement) 予測スコアが実際のスコアから±1 点以内である割合（実用上の主要指標）。
• **平均絶対誤差 **(MAE) 誤差の平均的な大きさ。
• **符号付き誤差 **(Signed Error) 系統的な過小評価・過大評価の傾向。

3. 主要な結果

3.1 プロンプト設計とモデル選択の影響

• プロンプト設計の効果: カスタマイズされたプロンプトを GPT-4.1 で使用した場合、ベースライン（67%）から**±1 点以内一致率が 69% に向上**しました。これは、特にテキストと評価の間に乖離があるケース（ポジティブな評価だが不満を記述している場合など）において、モデルの「ネガティブバイアス」を補正する効果によるものです。
• モデル選択の限界:
  • GPT-4.1-mini: 性能が最も低下し、一致率が 61% まで落ち込みました。
  • GPT-5.2: 最新モデルであるにもかかわらず、ベースラインレベル（67%）に戻り、カスタマイズ版 GPT-4.1 よりも劣りました。
  • 結論: 優れたプロンプトが別のモデルにそのまま転用されることは保証されず、モデルとプロンプトはセットで検証する必要があります。

3.2 テキストの性質が精度の「天井」を決定する

最も重要な発見は、入力テキストの言語的特徴（Lexical Clarity）が、プロンプトやモデルの選択よりもはるかに大きな精度の決定要因であることです。

• ポジティブなテキストのみ: 一致率は 83〜86% と非常に高い。
• ネガティブなオペレーション詳細を含むテキスト: 一致率は 42〜44% まで低下する。
• 比較: テキストの種類による精度の差は、プロンプトやモデルの違いによる差の20 倍以上でした。つまり、入力テキスト自体が精度の上限（天井）を決定しており、エンジニアリングはその上限内で効率を最大化する役割しか果たせません。

3.3 誤差の構造と方向性

• 系統的な過小評価: モデルは常にファンが与えたスコアよりも低い値を予測する傾向があります（平均符号付き誤差は負）。
• 誤差の集中: 誤差は特に「中間スコア（5〜8 点）」で発生し、ファンが「試合自体は良かったが、列や駐車場の混雑などの不満を記述している」ケースで顕著です。
• 原因: ファンは「ピークエンド則」や感情的な要因に基づいて総合評価（スコア）を下げる一方、自由記述では具体的な不満（目立つ事象）を想起して記述します。LLM はテキストに記された「具体的な不満」を過大評価し、ファンの「感情的な総合評価」を反映できないため、過小評価が生じます。

4. 主要な貢献と理論的枠組み

本論文は、LLM による予測評価の限界を「2 つの成分」に分解して説明します。

1. 構造的な乖離（Cognitive Component）

   • 原因: オープンエンド記述（想起された具体的事象）と、評価スコア（感情的な統合判断）は、異なる認知プロセスによって生成されます。
   • 対策: テキストに存在しない情報（ファンの感情的な重み付け）を抽出することは不可能であり、プロンプトやモデルの改良ではこのギャップを埋められません。これが「変えられない天井」です。

2. 測定バイアス（Measurement Component）

   • 原因: LLM は学習データ（レビューなど）から、「ネガティブな言葉＝低いスコア」という統計的相関を学習しており、文脈を無視してネガティブな記述を過剰に重み付けするバイアスを持っています。
   • 対策: カスタマイズされたプロンプト（「全体評価を優先し、個別の不満を過剰に評価しない」という指示）により、このバイアスを部分的に補正できます。これが「改善可能な天井」です。

5. 実務的示唆と意義

データチームへの提言

• 補完的な信号として活用: 予測スコアは調査スコアの代用品（Substitute）ではなく、補完的な信号（Complementary Signal）として扱うべきです。
  • **脆弱な満足度 **(Fragile Satisfaction) スコアは高いがテキストに不満があるケース（モデルは低く予測、実際は高評価）。
  • **表現されない忠誠心 **(Unexpressed Loyalty) スコアは低いがテキストが肯定的なケース。
  • これらの「乖離するケース」こそが、顧客体験改善の重要なインサイトとなります。
• テキストの明瞭さによるゲートイング: モデルが出力する「自信度（Confidence）」は、テキストが評価をどの程度明確に支持しているか（Text-Rating Coherence）の指標です。高コヒーレンスの予測は自動採用し、中程度のものは人間によるレビューに回すなどの運用が可能です。
• プロンプト設計の優先: モデルのアップグレードよりも、特定のバイアス（ネガティブバイアスなど）を補正するプロンプト構造の設計の方が、効果的です。

学術的意義

• 測定妥当性の議論: LLM のアノテーション精度（Accuracy）だけでなく、それが何を測定しているか（Construct Validity）を議論する重要性を再確認しました。
• 認知科学との統合: 心理学の「ピークエンド則」や「感情の情報理論」が、大規模な実データにおいて LLM の予測誤差の構造として現れることを実証しました。
• エンジニアリングの限界の明確化: プロンプトエンジニアリングが万能ではなく、入力データの性質（信号）によって達成可能な精度が決まっていることを示し、現実的な期待値を設定する指針を提供しました。

結論

LLM による経験評価の予測精度には明確な「天井」が存在します。この天井は、「測定バイアス（補正可能）と**「構造的な認知乖離**（補正不可能）の 2 つで構成されています。カスタマイズされたプロンプトは前者を補正することでわずかな改善（約 2% の向上）をもたらしますが、後者、すなわちテキストに記されていないファンの感情的な統合判断を抽出することは、現在の技術では不可能です。したがって、予測スコアは単なるスコアの推定値ではなく、テキストとスコアの「乖離」そのものを捉えるための強力な分類ツールとして位置づけるべきです。