Quantifying Uncertainty in AI Visibility: A Statistical Framework for Generative Search Measurement

この論文は、生成 AI 検索におけるドメインの可視性を単一の点推定値として扱う従来の手法の限界を指摘し、回答の非決定性を反映して引用分布のばらつきを統計的に定量化し、信頼区間付きの指標と適切なサンプリング手法の必要性を提唱するものである。

要約

🎲 論文の核心：AI 検索は「魔法の箱」ではなく「サイコロ」

まず、従来の検索エンジン（Google などのリンク一覧）と、新しい「AI 検索（Perplexity や Google Gemini など）」の違いを考えてみましょう。

• 従来の検索：図書館の目録のようなもの。同じ本を探せば、いつも同じ場所にある。
• AI 検索：**「運命のサイコロ」**を振るようなもの。同じ質問をしても、AI がその瞬間に「どの本を参照するか」をランダムに選んで答えを作ります。

この論文は、**「AI 検索の『出典（どこを参考にしたか）』は、毎回サイコロを振った結果のようにバラバラになる」**ことを証明しました。

🍔 例え話：ハンバーガー屋さんの「人気ランキング」

あるハンバーガー屋さんの「人気ランキング」を調べるために、1 日だけ店頭に立って客の注文を数えたとしましょう。

• 1 日目：「A さん」が 100 回注文、「B さん」が 80 回注文。
  • 結論：「A さんが B さんより人気だ！」
• 2 日目：同じように数えると、「B さん」が 95 回、「A さん」が 90 回。
  • 結論：「あれ？B さんの方が人気？」

もし、**「1 日目だけのデータ」を見て「A さんが勝った！」とビジネス戦略を立てたら、それは「偶然のサイコロの目」**に踊らされたことになります。

この論文は、AI 検索の「出典シェア（どのサイトが引用されたか）」もこれと同じだと指摘しています。

• 「A サイトが 12%、B サイトが 8% だから A の方が勝っている」という数字は、**「たまたまその瞬間にサイコロが A に向いただけ」**かもしれません。
• 実際には、A と B の差は統計的に「区別がつかない（同じくらい）」である可能性が高いのです。

🔍 論文が伝えた 3 つの重要なポイント

1. 「点」ではなく「範囲」で見る必要がある

これまでの報告は、「A サイトのシェアは 12% です」という**一点（ピンポイント）の数字を「事実」として扱ってきました。
しかし、この論文は「12% ではなく、9%〜15% の間にある可能性が高い」という「幅（信頼区間）」**で見るべきだと主張しています。

• アナロジー：天気予報で「明日は 100% 晴れ」と言うのではなく、「晴れだが、雨の可能性も 20% ある」と言う方が正確です。AI 検索の数字も、この「雨の可能性（不確実性）」を含めて見る必要があります。

2. プラットフォームによって「揺らぎ」が違う

調査対象の 3 つの AI（Perplexity, SearchGPT, Gemini）は、揺らぎの性質が全く違いました。

• Perplexity：比較的安定している。サイコロを振っても、出目はあまり大きく変わらない。
• Gemini：出典の数が多いが、どのサイトが出るかが結構ランダム。
• SearchGPT：「極端」。ある質問に対しては毎回同じサイトを出す（確定的）のに、別の質問では全く違うサイトを出す（ランダム）。
  • アナロジー：SearchGPT は「ある時は完璧な時計、ある時は壊れた時計」のように、挙動が予測しにくいのです。

3. 上位だけでなく、下位も揺れている

「上位 3 位だけ安定していればいい」と思っている人がいるかもしれませんが、**「下位のサイトも、順位がガタガタと入れ替わっている」ことが分かりました。
つまり、「どの順位を見ても、数字は『たまたま』の産物である可能性が高い」**ということです。

💡 私たち（マーケターやビジネスパーソン）はどうすべきか？

この論文は、以下のような現実的なアドバイスを与えています。

1. 1 回だけの結果を信じるな

   • 「今日測ったら A が勝ったから、A に予算を全振りしよう」というのは危険です。
   • アナロジー：1 試合だけで「このチームは優勝する」と判断しないのと同じです。

2. 「何回も測る」ことが必須

   • 信頼できる数字を出すには、同じ質問を何度も繰り返し、その平均と「揺らぎの幅」を計算する必要があります。
   • アナロジー：1 回サイコロを振って「6 が出た」から「次も 6 が出る」と考えるのではなく、100 回振って「6 は 17% くらい出る」という傾向を見る必要があります。

3. 「改善」が本当かどうか見極める

   • 「コンテンツを変えたら、出典シェアが 8% から 11% に上がった！」と喜ぶ前に、**「その 3% の差は、たまたまサイコロが振れただけではないか？」**を確認する必要があります。
   • 論文によると、多くのプラットフォームでは、**「5〜7% 以下の差」は統計的に区別できない（ノイズ）**です。

🏁 まとめ

この論文は、**「AI 検索の数字は、魔法のように正確なものではなく、ノイズ（雑音）の多い測定値」**だと教えています。

• 間違った考え方：「AI が言っているから、その数字は絶対の真実だ。」
• 正しい考え方：「AI の数字は『たまたま』の要素が大きいから、**『どれくらい揺らぐ可能性があるか』**という不確実性を含めて判断しよう。」

これからの AI 検索の分析では、**「数字そのもの」よりも「その数字の信頼性（幅）」**を見るのが、賢いビジネスの第一歩になります。

技術概要

論文要約：生成検索における AI 可視性の不確実性を定量化する統計的枠組み

Ronald Sielinski（IQRush）によるこのプレプリント論文は、生成 AI 検索エンジン（Perplexity Search、OpenAI SearchGPT、Google Gemini）におけるドメインの「可視性（引用頻度）」を測定する際、現在の慣行が抱える根本的な問題と、その解決に向けた統計的アプローチを提示しています。

1. 問題提起：決定論的測定と確率的システムの矛盾

現在の生成 AI 検索における可視性測定（引用数、引用シェア、引用頻度など）は、通常、単一のクエリ実行（シングルラン）に基づく点推定値として報告され、固定値であるかのように扱われています。しかし、生成 AI システムは本質的に**非決定論的（stochastic）**です。

• 核心課題: 同じクエリを同じプラットフォームに複数回送信しても、回答や引用されるソースのセットは異なります。これはバグではなく、生成時の確率的サンプリングによる設計上の特性です。
• 現状の誤解: 単一の測定値（例：ドメイン A は 12%、ドメイン B は 8%）を「真実」として扱い、最適化キャンペーンや意思決定に利用していますが、これらの値は実際には確率変数であり、測定プロセス自体に大きな不確実性（ノイズ）が含まれています。
• リスク: 統計的に有意な差がない場合でも、単一の点推定値に基づいて「A が B より優れている」と結論づけることで、誤った意思決定が下される可能性があります。

2. 研究方法と実験デザイン

著者は、3 つの生成検索プラットフォーム（Perplexity, SearchGPT, Gemini）と 3 つの消費者製品トピック（鳥の餌、成人用マルチビタミン、ランニングギア）を対象に、以下の実験を行いました。

• データ収集:
  • クエリ生成: LLM を使用して、10 種類のクエリタイプに基づき、トピックあたり 200 件のクエリを生成。
  • サンプリング手法:
    1. 日次サンプリング: 9 日間にわたり、毎日 200 件のクエリを実行（計 9 サンプル）。
    2. 高頻度サンプリング: 10 分間隔で約 4 時間にわたり 25 回の実行（ランニングギアトピックのみ）。これにより、引用元ページの内容変化を最小限に抑え、システム自体の確率性を分離しました。
• 検証コントロール: 引用された URL の HTML をスクレイピングし、SHA-256 チェックサムを計算することで、引用の変動が「エンジン挙動」によるものか「コンテンツ変更」によるものかを区別しました。
• 統計手法:
  • ブートストラップ法: 単一のサンプルからリサンプリングを行い、95% 信頼区間（CI）を算出。
  • 順位安定性分析: 重み付きスピアマン順位相関を用いて、ドメイン全体の順位変動を評価。
  • 分布分析: 引用シェアの分布形状（べき乗則）と対数空間での分散（log-std）を分析。

3. 主要な発見と結果

3.1 引用の変動性と非決定論

• 回答レベルの変動: 同じクエリに対する回答でも、引用されるドメインのセットは大きく異なります。
  • Gemini: 重複率（Jaccard 係数）は中程度（約 0.30）で、一様な分布。
  • SearchGPT: 分布が広範で不規則。完全な重複か完全な不一致かの二峰性が見られ、特定のドメインでは決定論的挙動を示す一方で、他では激しく変動します。
  • Perplexity: 最も安定しており、中程度の重複率（約 0.50）を示します。
• 引用数との関係: 引用数の多寡は引用セットの類似性にほとんど影響を与えず、プラットフォーム固有の挙動が支配的です。

3.2 統計的有意性の欠如（信頼区間の広さ）

• 信頼区間の幅: ブートストラップ法による 95% 信頼区間は非常に広く、多くのドメイン間の差は統計的ノイズの範囲内に収まっています。
  • 例：SearchGPT において、引用シェアの差が 3〜7 パーセントポイント以内であれば、統計的に有意な差とはみなせません。
  • 単一の点推定値（例：9.5% vs 6.0%）は、実際には重なりのある信頼区間（例：5.5%〜12.5% vs 4.0%〜8.0%）を持つため、優劣を断定できません。

3.3 分布の特性とサンプリングサイズ

• べき乗則分布: 引用シェアの分布は明確なべき乗則（Power-law）に従います。
• サンプリングサイズの影響:
  • Gemini: 比較的小さなサンプル数（約 40〜50 クエリ）で目標の精度に収束します。
  • Perplexity: 中程度のサンプル数（約 100 クエリ）が必要です。
  • SearchGPT: 最も不安定で、サンプル数を増やしても収束が非単調（ノイズが減少しない、あるいは一時的に広がる）です。これは「サンプル内非定常性（within-sample non-stationarity）」、つまりクエリ順序によって引用分布がシフトするためです。現実的な予算では目標精度を達成するのが困難な場合があります。

3.4 順位安定性の欠如

• 上位ドメインだけでなく、頻繁に引用されるドメイン全体（頻出ドメインセット）において、順位はサンプル間で不安定です。
• 多くのプラットフォーム・トピック組み合わせにおいて、ドメイン全体の順位相関が統計的に有意な安定性を示さず、信頼区間なしでの順位比較は誤りを招きます。

3.5 コンテンツ変化の排除

• 内容チェックサムの検証により、引用の変動はウェブページの内容変化によるものではなく、**検索エンジン自体の挙動（システムレベルの確率性）**に起因することが確認されました。

4. 主要な貢献

1. 実証的実態の解明: 3 つのプラットフォームにおける引用変動の特性を明らかにし、システムレベルの確率性が測定値に実質的な影響を与えることを示しました。
2. 概念の明確化: 「システムレベルの確率性（システム自体の非決定論）」と「測定不確実性（有限サンプルからの推定誤差）」を区別し、両方が存在することを示しました。
3. 統計的枠組みの提案: 引用可視性メトリクスを「固定値」ではなく「母集団パラメータの推定量」として再定義し、ブートストラップ法による信頼区間の算出を提案しました。
4. 分布特性の解明: 引用分布がべき乗則に従うこと、および頻出ドメインと非頻出ドメインの挙動の違いを明らかにしました。
5. 実用的なガイドライン: 信頼区間の幅を縮めるために必要なサンプル数のプラットフォーム別・指標別の目安を提供し、単一測定値の誤解を解くための実践的指針を示しました。

5. 意義と示唆

• 実務への影響: 現在の「単一実行による点推定」に基づく可視性測定は、誤って精密な結果を提供しているように見せかけており、信頼できません。ブランドマネージャーやマーケターは、測定値に必ず不確実性（信頼区間）を付与し、統計的に有意な差があるかどうかを判断する必要があります。
• 研究への示唆: 既存の生成検索最適化（GEO）研究において、コンテンツ介入による改善効果を主張する際、単なる点推定値の比較ではなく、信頼区間を考慮した統計的検証が不可欠であることを示しました。
• プラットフォームの多様性: 各プラットフォーム（Gemini, SearchGPT, Perplexity）は、安定性や必要なサンプル数において構造的に異なります。一律の測定プロトコルは機能せず、プラットフォーム固有の特性に応じた測定設計が必要です。

結論:
生成検索における可視性測定は、確定的なランキング分析ではなく、確率的な情報システムに対する統計的推定問題として捉え直す必要があります。信頼区間を伴わない単一の測定値は、ノイズを信号と誤認させる危険性が高く、今後の研究および実務において、不確実性の定量化が必須となります。