Category-Conditioned Web Exposure Tracks Brand Presence in ChatGPT Fanout Queries

テクニカル・サマリー：カテゴリ条件付きのウェブ露出がChatGPTのファンアウト・クエリにおけるブランド存在感を追跡する

問題提起
ChatGPTのような検索機能付き大規模言語モデル（LLM）は、ウェブからの結果を検索・取得する前に、しばしば「ファンアウト・クエリ」（$q_1$：書き換えられた検索クエリ）を生成する。先行研究では、この初期クエリに含まれるブランドは、後に検索されたブランド（2.1%）よりもはるかに高い頻度（68.9%）で引用されることが確立されており、「事前検索（pre-retrieval）」による可視性の優位性が示されている。しかし、決定的な謎が残っている。モデルは、この初期クエリにおいて、明らかに自身が知っているはずのブランドを省略することが頻繁にある。これらの省略が、パラメトリックな知識の欠如によるものなのか、特定の除外メカニズムによるものなのか、あるいはモデルがリストアップしようとするブランド数の制約によるものなのかは不明である。さらに、ブランドの基礎となる候補ランキングにおける位置が、そのウェブ露出によって予測可能であるか（特に、関連する製品カテゴリで条件付けした場合に）も分かっていない。

手法
本研究では、gpt-5.6-lunaモデルファミリーを使用し、6つの製品カテゴリ（メールマーケティング、CRM、ヘルプデスク、パスワードマネージャー、プロジェクト管理、カメラ）にわたる50個のアンブランド（ブランド名を含まない）プロンプトと、テスト用の電子署名カテゴリを使用している。本手法は、以下の3つの異なる挙動を区別する：

1. アクセシビリティ（Accessibility）： 検索を行わない状態での想起プロンプトを通じて測定。モデルが検索なしで思い浮かべるブランドを列挙する。
2. インビテーション（Invitation/招待）： web_searchが有効なOpenAI Responses APIを通じて発行される、ライブのファンアウト・クエリ（$q_1$）を通じて測定。
3. 候補の深さ（Candidate Depth）： ファンアウト・クエリ・シミュレーターを用いて測定。これは、検索を行わずに$q_1$を生成するカスタムのリライター・プロンプト（検索オフ）である。シミュレーターはライブデータに対して検証され、「予算スイープ（budget sweep）」、すなわち許可されるブランド数（$K$）を変化させる実験（1, 2, 3, 5, 8, 12）に供される。

この予算スイープから、著者は**エントリー閾値（$K_{50}$）**を定義する。これは、あるブランドが少なくとも50%のプロンプトに現れる最小の$K$である。この指標は、ブランドがモデルの内部的な候補ランキングにおいてどの程度の深さに位置しているかを定量化する。

ウェブ露出は、2026年1月のCommon Crawlを使用して測定される。ブランド名がカテゴリ固有のフレーズの480バイト以内に現れるユニークなホスト（eTLD+1）の数をカウントする（「カテゴリ近傍（category-near）」露出）。これは、「アンゲート（ungated）」カウント（全言及数）や、GPT-3スタイルの品質分類器およびファジー重複排除によってフィルタリングされたカウントと比較される。

主な結果

1. 知識は招待を保証しない： モデルは特定のブランドに関する強いパラメトリックな知識を有している場合でも、それをファンアウト・クエリから省略することがある。例えば、モデルは「検索オフ」の試行において「Campaign Monitor」を50題中49題で想起しているが、ライブのファンアウト・クエリには50題中1題しか含めていない。Hasselblad、Pentase、Basecampについても同様のギャップが見られる。これは、$q_1=0$が必ずしも知識の失敗ではなく、一つの「選択イベント」であることを裏付けている。
2. 予算効果（The Budget Effect）： 知られているブランドの省略は、クエリ作成段階で決定されており、「予算」の制約によって駆動されている。シミュレーターにおいて、予算（$K$）を増やすと、以前はブロックされていたブランド（例：Campaign Monitor, Hasselblad）が再び現れる。シミュレーターのブランド選択とライブの$q_1$との相関は極めて高い（Spearman $\rho = 0.965$）。本研究は、プロダクション環境のリライターは、名前を挙げるブランド数に対して小さく固定された制限の下で動作しており、その結果、想起率は高いが内部ランクが低いブランドが切り捨てられているのだと推論している。
3. 露出は存在だけでなく「深さ」を追跡する： ブランドの「カテゴリ条件付きユニークホスト露出」は、そのエントリー閾値（$K_{50}$）と強く相関している。
   • 29のブランド全体で $\rho = +0.76$。
   • $K_{50}$が定義された25のブランドにおいて $\rho = +0.85$。
   • ホールドアウトされた電子署名カテゴリにおいて $\rho = +0.986$。
     最も重要な点は、カテゴリ条件付けがマルチカテゴリ企業において不可欠であることである。アンゲート・カウント（総言及数）では、カメラの文脈においてSonyをCanonより高く誤ってランク付けしてしまうが、カテゴリ近傍カウントではCanonを第一位として正しくランク付けしており、これは彼らの$K_{50}$の位置と一致している。
4. 堅牢性： 露出データにGPT-3スタイルの品質フィルタとファジー重複排除を適用しても、相関は強化されなかった（$\Delta\rho = -0.032$）。さらに、本研究は、モデルが「強制選択（forced-choice）」のドキュメント選択タスク（3つの同一のパッセージから1つを選ぶタスク）において示す好みが、ファンアウト・クエリのランキングとは異なることを示しており、単一の統一された「ブランド嗜好」変数の存在を否定している。

意義と主張
本論文は、ファンアウトにおけるブランド選択の「因果的説明」ではなく、その「測定」を提供することを目的としている。主な貢献は以下の通りである：

• 概念の分離： アクセシビリティ（ブランドを知っていること）、候補ランク（リストのどこに位置するか）、およびインビテーション（短いクエリに含まれるかどうか）を区別したこと。
• $K_{50}$という計器： バイナリな包含・除外の観察の背後にある「予算効果」を明らかにする、ブランドの深さの段階的な尺度を導入したこと。
• 露出と深さの関連性： カテゴリ固有のウェブ露出が、因果関係の証明がなくとも、潜在的な候補ランキングの深さ（$K_{50}$）を高精度に追跡していることを確立したこと。

著者は、ランキングを生成している具体的なトレーニング段階（事前学習か事後学習か）を特定したわけではなく、また、$K_{50}$が展開されているシステムの文字通りのパラメータであるとも主張していない。代わりに、ジェネレーティブ検索における「勝者と敗者」の分かれ目は、主に小さな予算による閾値のアーティファクトであり、カットオフを下回るブランドにとって、関連する指標は彼らの候補分布における「深さ」であり、それはカテゴリ固有のウェブ露出によって予測可能である、と論じている。