テクニカル・サマリー：確率論的状態から安定状態へ

問題提起

生成型検索エンジンにおけるAIの可視性測定は、どのドメインが最も頻繁に引用されているかを決定し、観察された差異が競争戦略を策定するのに統計的に有意であるかどうかを判断することを目的とした、本質的に比較的な演習である。しかし、業界には、いつ十分なデータが収集されたかを判断するための原理的な手法が欠けている。現在の慣行は、固定された収集予算や恣意的な相関閾値に依存しているが、これらは生成型検索の確率論的な性質を考慮できていない。

生成型検索エンジンは、同一のクエリに対して変動する出力を生成するため、引用シェアは固定された量ではなく、サンプリングの変動に左右される標本統計量となる。この変動性は、2つの明確な課題を生み出す：

1. ランクの不安定性（Rank Instability）： データ収集の初期段階では、上位に引用されるドメインが安定したリードを確立するのに十分な引用数を蓄積していないため、ドメインの順位が大きく変動する。
2. 測定の不確実性（Measurement Uncertainty）： ランクの順序が安定した後であっても、引用シェアの信頼区間（CI）が隣接するドメインを区別するには広すぎる可能性がある。安定したランク順序が、必ずしも精密な順序であるとは限らない。もし「シグナル」（シェアの広がり）が「ノイズ」（推定の不確実性）よりも小さい場合、そのランキングは信頼できる推論を支えることができない。

核心的な困難は、引用密度と分布構造がプラットフォームやトピックによって大きく異なることにある。したがって、固定されたクエリ数や、固定されたランク相関係数（例：$\rho \ge 0.95$）を普遍的に正当化することはできない。

メソドロジー

本論文では、クエリ数、相関レベル、またはCI幅といった外部から指定されたターゲットを必要とせず、観察された引用分布から直接導出される2つの補完的な基準に基づく逐次収束フレームワークを導入する。

1. データと推定

• データセット： 本フレームワークは、Google Gemini、OpenAI SearchGPT、Perplexityの3つの生成型検索エンジンにおける、30のプラットフォーム・トピックの組み合わせに適用された。10の多様なトピックに対し、プラットフォームごとにトピックあたり125のクエリを生成した。
• ブートストラップ・リサンプリング： 不確実性を定量化するために、著者らは（引用レベルではなく）クエリレベルでの多項ブートストラップ・リサンプリングを使用し、レスポンス内の引用のクラスタリングを保持している。各ブートストラップ反復において引用シェアが再計算され、95% BCa（バイアス補正および加速）信頼区間が算出される。
• 確立されたドメイン vs 観察されたドメイン： 「観察されたドメイン」（少なくとも一度引用されたもの）と、「確立されたドメイン」（引用シェアの95% CIがゼロを含まないもの）との区別を行う。構造的な十分性は、確立されたドメインの集合に対してのみ評価される。

2. 基準 I：ランクの安定性（Rank Stability）

ランクの安定性は、固定された閾値を越えることではなく、ランク相関の軌跡における構造的なプラトー（停滞）を検出することによって決定される。

• 指標： 連続する累積レスポンス・ウィンドウ間の加重スペアマン順位相関係数（$\rho$）が計算される。重みは2つのウィンドウ間の平均引用シェアであり、これにより高シェア・ドメインにおける変動が、ロングテールにおける変動よりも相関に大きく寄与するようにしている。
• 検出： 相関の軌跡に対して、セグメント化モデル適合（アイソトニック回帰のためのPool-Adjacent-Violatorsアルゴリズムを使用）が適用される。このモデルは、「上昇フェーズ」とその後の「平坦なテール（平坦な尾部）」をテストする。
• 決定ルール： 純粋な上昇モデルよりも平坦なテールを持つモデルをBIC（ベイズ情報量基準）が選択し、かつその平坦なテールが少なくとも15の連続するレスポンスにわたって持続する場合に、安定していると宣言される。このアプローチは、引用密度が低い環境で相関係数が低くなったとしても、順序が変化しなくなったことを検知するものである。

3. 基準 II：構造的十分性（Structural Sufficiency）

構造的十分性は、確立されたドメイン間の引用シェアの広がりが、推論をサポートするために測定の不確実性に対して十分に大きいかどうかを評価する。

• 指標： 以下の構造的信号対雑音比（SNR）が計算される：
  $$\text{SNR} = \frac{\sigma(s_d : d \in D_{est})}{\bar{h}_{CI}}$$
  ここで、$\sigma$ は確立されたドメインにおける引用シェアの標準偏差（シグナル）であり、$\bar{h}_{CI}$ はそれらの95%ブートストラップ信頼区間の平均半幅（ノイズ）である。
• 決定ルール： SNR $\ge 1$ となったときに十分性が達成されたとみなされる。これは、シェアの広がりが典型的な測定の不確実性を上回っていることを示す。生のSNRシリーズは、一時的な変動による早期停止を防ぐために、指数加重移動平均（EWMA）を用いて平滑化される。

4. 結合収束（Conjunctive Convergence）

プラットフォーム・トピックの組み合わせは、ランクの安定性と構造的十分性の両方が同時に満たされた場合にのみ、「収束した」とみなされる。停止点は、これら個別の発火順序のうち、より遅い方のタイミングとなる。

主な結果

本フレームワークは、30のプラットフォーム・トピックの組み合わせ（10トピック $\times$ 3プラットフォーム）に適用された。

• 収束率： 125レスポンスの収集ウィンドウ内で、30ケース中27ケースが収束した。収束しなかった3ケースはすべて、特定のトピック（「identity protection」、「travel destinations」、「homemade chili」）におけるSearchGPTであった。これらのケースでは、引用シェアが測定ノイズに対してあまりにも密集しており、SNRが1に達することができなかった。
• 拘束要因（Binding Constraints）：
  • 収束した27ケースのうち16ケースでは、ランクの安定性が拘束要因（最後に満たされた条件）であった。
  • 収束した27ケースのうち11ケースでは、構造的十分性が拘束要因であった。
  • これは、安定性だけでは不十分であることを示している。精度はしばしば安定性に遅れてやってくる。
• 固定閾値の失敗： 15レスポンスの間で $\rho \ge 0.95$ を維持するという固定相関閾値は、30ケース中19ケースでしか満たされなかった。プラトーベースの検出法は、引用密度が低すぎて $\rho = 0.95$ に到達できないケースを含め、全30ケースにおいて安定性を特定することに成功した。
• 検証： 停止時点での順序を、フル125レスポンス時点での順序と比較した。
  • ランクの安定性のみに基づいて停止した場合、いくつかのケース（例：SearchGPTの "identity protection" は最終的なランキングとの相関がわずか0.364であった）で一致が悪かった。
  • 結合基準を用いることで、一致の「底」が改善され、最悪のケースにおける認定一致率は0.717まで上昇した。
  • 収束したケースにおける、停止時と最終的な順序の間の中央値の一致度は0.844であった。
• プラットフォーム間の違い： 収束速度はプラットフォームの特性ではなく、引用密度とレスポンス内のクラスタリング（デザイン効果）によって決定された。SearchGPTは、1レスポンスあたりの引用ドメイン数は少ないものの、クラスタリングが低かったため、GeminiやPerplexityのレスポンスよりも、各レスポンスがより多くの「有効な」データを提供していた。

意義と貢献

本論文は、生成型検索の最適化および評価の分野において、主に3つの貢献を行っている：

1. 収束基準としてのランクの安定性： ランクの安定性は、固定された相関閾値を越えることではなく、モデル選択を用いた相関軌跡の構造的なプラトーを通じて検出されるべきであることを確立した。これにより、引用密度が低いために固定閾値がいつまでも満たされないという問題を解決した。
2. 停止ルールとしての構造的十分性： シグナル（シェアの広がり）とノイズ（CI幅）の比率に基づくデータ駆動型の停止基準を導入した。これは、単なるサンプルサイズの推定を超え、収集されたデータが競合他社を区別できるほど精密であることを保証するものである。
3. 固定予算の拒絶： 固定された収集予算（クエリ数）が普遍的に十分であることはないことを示した。必要なデータ量は、プラットフォームとトピックの特定の引用分布に完全に依存する。本フレームワークは、測定が比較分析の準備が整った状態にあるかを判断するための、実用的で自己較正的なメカニズムを提供する。

本フレームワークは、AIの可視性測定が確率的なノイズから、安定した信頼できるシグナルへと移行した時期を判断するための実用的な基盤として提示されており、実務者が既知の不確実性の範囲内で競争上の意思決定を行うことを可能にする。