Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

App Store の検索ランキングにおいて、LLM を活用して生成したテキスト関連性ラベルを行動データと組み合わせることで、オフライン評価指標の改善と、特にロングテールクエリにおけるコンバージョン率の統計的有意な向上（+0.24%）を実現した。

要約

🍎 物語の舞台：巨大な「アプリの図書館」

Imagine App Store を、世界中のすべてのアプリが並ぶ**「巨大な図書館」**だと想像してください。
ユーザーは「料理が作れるアプリ」と検索します。図書館の司書（検索システム）は、その言葉に合う本（アプリ）を並べ替えて提示します。

この図書館の司書には、2 つの重要なルールがあります。

1. 「行動のルール」: 「多くの人がクリックして借りている本は、きっと良い本だよね？」（クリック数やダウンロード数）
2. 「意味のルール」: 「『料理』という言葉と、本の内容（タイトルや説明）が本当に合っているか？」（専門家のチェック）

🚧 問題点：司書が疲弊している

この図書館には**「行動のルール」のデータは山ほどあります。誰が何を買ったかは自動で記録されるからです。
しかし、「意味のルール」**のデータを作るのは大変です。
「このアプリは『料理』という検索に本当に合っているか？」を判断するには、人間のプロ（専門家の司書）が一つ一つ本を読んで、評価をつける必要があります。

• 問題: 専門家の司書は数が限られていて、疲れてしまいます。
• 結果: 「行動のルール」は完璧なのに、「意味のルール」のデータが不足しているため、検索精度に限界がありました。特に、誰も検索しない「マイナーな言葉（テールクエリ）」では、行動データが全くないので、司書は当てずっぽうで並べ替えるしかありませんでした。

💡 解決策：AI 助手（LLM）を雇う

そこで Apple は、**「AI 助手（LLM）」**を雇うことにしました。この AI 助手は、人間のプロ司書が過去につけた評価（ラベル）を勉強させました。

ステップ 1：AI 助手のトレーニング

まずは、AI 助手がどのくらい優秀か試しました。

• 巨大な AI（300 億パラメータ）: 頭はいいけど、勉強させないと専門用語がわからない。
• 小さな AI（30 億パラメータ）: 頭はそこそこだが、人間のプロの「評価の基準」を徹底的に勉強（ファインチューニング）させた。

結果: 驚くことに、「勉強させた小さな AI」の方が、勉強させていない巨大な AI よりも、人間に近い正確な評価を下すことがわかりました。
これは、「経験豊富なベテラン（小さな AI）」が、「知識は多いが経験のない新人（巨大な AI）」よりも、この仕事に向いているという発見です。

ステップ 2：AI 助手の活躍（数百万件の評価）

優秀な AI 助手が決定したので、さっそく働かせました。
人間が一生かけても作れない**「数百万件もの評価データ」**を、AI が一夜にして生成しました。
これで、図書館の棚には「意味のルール」に基づいたデータが溢れかえりました。

📈 成果：「完璧な司書」の誕生

この新しいデータを使って、図書館の司書（検索システム）を再教育しました。

• オフラインテスト（模擬試験）:
  従来の司書と、AI のデータを学んだ新しい司書を比べました。
  結果、新しい司書は**「意味のルール」も「行動のルール」も、両方とも上手に判断できるようになりました。**
  これを専門用語では「パレト改善（両方の指標を同時に向上させる）」と呼びますが、簡単に言えば**「悪いところを直して、良いところもさらに良くした」**状態です。

• オンラインテスト（実戦）:
  世界中の App Store で、実際に新しい司書を導入する実験（A/B テスト）を行いました。

  • 結果: ユーザーがアプリをダウンロードする確率が、0.24% 向上しました。
  • 一見小さな数字に思えますが、世界中の何億人ものユーザーがいる App Store では、これは**「とてつもない大成功」**です。

🌟 最大の功績：「マイナーな言葉」の救済

この実験で最も面白い発見がありました。
**「検索数が少ないマイナーな言葉（テールクエリ）」**で、最も効果が出たのです。

• なぜか？
  人気のある言葉（例：「ゲーム」）なら、誰が何を買ったかというデータ（行動データ）が豊富にあるので、従来の司書でもそこそこできました。
  しかし、**「マイナーな言葉（例：『19 世紀のフランスの陶芸』）」**では、誰も検索しないため、行動データがゼロです。従来の司書は「何もないから適当に並べよう」としていましたが、AI 助手が生成した「意味のデータ」のおかげで、新しい司書は「このアプリは確かに『19 世紀の陶芸』に合っている！」と正しく判断できるようになりました。

🎁 まとめ

この論文が伝えていることはシンプルです。

「人間のプロの判断を、AI が『勉強』して真似することで、数百万倍のデータを量産できる。それによって、検索システムは『人気があるから良い』だけでなく、『本当に意味が合っているから良い』アプリを見つけられるようになり、特に誰も知らないようなマイナーな検索でも、ユーザーにぴったりなアプリを提案できるようになった」

Apple は、この「AI 助手によるデータ生成」という方法を、App Store だけでなく、他の巨大な検索システムでも使える「新しい標準（ブループリント）」として提案しています。

技術概要

論文「Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments」の技術的サマリー

本論文は、Apple の App Store における大規模検索システムの精度向上を目的とした研究です。人間による専門的な評価ラベル（テキスト関連性）の不足という課題に対し、大規模言語モデル（LLM）を「評価者（Judge）」として活用し、数百万件規模の高品質なラベルを生成することで、検索ランキングモデルの性能を飛躍的に向上させる手法を提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

App Store などの大規模デジタルマーケットプレイスにおける検索システムは、ユーザーのアプリ発見と満足度に不可欠です。効果的なランキングには、以下の 2 つの目的を最適化する必要があります。

1. 行動関連性（Behavioral Relevance）: ユーザーがクリックしたりダウンロードしたりする確率（クリックログやダウンロード数に基づく）。
2. テキスト関連性（Textual Relevance）: クエリと検索結果のセマンティックな適合度（専門家による評価に基づく）。

課題:

• 行動関連性のラベルは大量に存在しますが、専門家によるテキスト関連性のラベルは生成コストが高く、非常に希少です。
• このラベル不足により、マルチ目的学習（Multi-Objective Learning）においてテキスト関連性の目的関数が十分に機能せず、検索精度のボトルネックとなっています。

2. 提案手法

本研究は、LLM をオフラインの評価者として活用し、人間の評価ラベルを拡張する「LLM-as-a-Judge」パラダイムを産業規模で実証するものです。手法は以下の 2 つの主要段階で構成されます。

2.1 LLM による関連性ラベルの生成

• モデル選定と微調整: 既存の人間による評価データを用いて、社内製の LLM（30 億パラメータの事前学習モデル、30 億パラメータの微調整モデル、30 億パラメータの微調整モデルなど）を比較評価しました。
• プロンプト設計: クエリとアプリのメタデータを入力とし、人間の評価基準（5段階評価など）に従ってラベルを生成する Few-shot プロンプトを採用しました。
• 最適化結果: 驚くべきことに、10 倍のサイズを持つ事前学習モデル（30B）よりも、人間の評価データで微調整された小規模モデル（3B）の方が、精度（Precision, Recall, F1）が大幅に上回ることが判明しました。
• スケーラビリティ: 最適化された微調整モデル（FT-3B）を用いて、複数のストアと言語にまたがり、数百万件のクエリ - アプリペアに対してテキスト関連性ラベルを生成しました。

2.2 マルチ目的ランキングモデルのトレーニング

• データ統合: 生成された数百万件の LLM ラベルを、既存の行動ラベル（クリック/ダウンロード）および限られた人間ラベルと組み合わせ、トレーニングデータセットを構築しました。
• 学習アプローチ: 行動関連性とテキスト関連性の 2 つの目的を同時に最適化するマルチ目的最適化（MOO）フレームワークを使用しました。
• スカラー化（Scalarization）: 2 つの目的を単一の目的関数に統合するために、データ混合比率（ハイパーパラメータ）を調整し、パレトフロンティア上の異なる点に対応するモデルを訓練しました。

3. 主要な貢献

1. 大規模実験の実施: 事前学習モデルと微調整モデルの複数の設定を比較し、特定のタスク（関連性アノテーション）において、小規模な微調整モデルが巨大な事前学習モデルを上回ることを実証しました。
2. 大規模ラベル生成: 複数の言語にまたがり、数百万件の点ごとの（pointwise）テキスト関連性ラベルを生成し、トレーニングデータを劇的に拡張しました。
3. パレトフロンティアのシフト: LLM 生成ラベルをトレーニングデータに追加することで、行動関連性とテキスト関連性のパレトフロンティアが外側にシフトし、オフライン指標（NDCG）において既存モデルを厳密に支配（strictly dominate）する性能向上を達成しました。
4. 実環境での検証: オフライン評価だけでなく、世界中の A/B テストを通じて、実際の商業環境での有効性を確認しました。特に、行動データが不足する「テールクエリ（低頻度クエリ）」において顕著な改善が見られました。

4. 実験結果

4.1 オフライン評価（LLM モデルの性能）

• 微調整モデル（FT-3B）の優位性:
  • 微調整 3B モデルの F1 スコアは 0.800 でした。
  • 対照的に、事前学習 30B モデルは 0.382、事前学習 3B モデルは 0.287 でした。
  • 結論：小規模で効率的な微調整モデルの方が、計算コストを抑えつつ、はるかに高品質なラベルを生成できます。

4.2 オフライン評価（ランキングモデルの性能）

• NDCG@k の向上:
  • LLM 生成ラベルを追加したモデル（llm-augmented）は、ベースラインの生産モデル（prod）に対し、テキスト関連性と行動関連性の両方で NDCG@1, @3, @7 において改善を示しました。
  • 例（テキスト関連性 NDCG@1）: 0.867 → 0.868
  • 例（行動関連性 NDCG@1）: 0.646 → 0.652
  • これは、テキスト関連性の向上が行動関連性の向上にも寄与し、真のパレト改善が達成されたことを示しています。

4.3 オンライン A/B テスト結果

• コンバージョン率の向上:
  • 全世界のトラフィックを対象とした A/B テストにおいて、コンバージョン率（検索セッションでのアプリダウンロード率）が統計的に有意な +0.24% 向上しました。
  • この改善は 89% のストアで観測されました。
• テールクエリへの効果:
  • クエリ頻度別分析によると、改善の大部分は「テールクエリ（低頻度クエリ）」で発生しました。
  • テールクエリでは信頼できる行動データ（クリック/ダウンロード）が存在しないため、LLM によって生成された高品質なテキスト関連性ラベルが、欠落しているシグナルを補完し、精度を劇的に向上させました。

5. 意義と結論

本論文は、LLM をオフラインの「評価者」として活用し、人間のアノテーションのボトルネックを解消する実用的なブループリントを提供しています。

• 産業的スケーラビリティ: 大規模な事前学習モデルではなく、ドメイン特化型の小規模微調整モデルを使用することで、低コストかつ高品質なラベル生成を実現しました。
• マルチ目的最適化の革新: テキスト関連性のデータ不足を補うことで、行動関連性とのトレードオフを解消し、両方の指標を同時に向上させることを可能にしました。
• 実用性の証明: 成熟した産業用検索システムにおいて、LLM 生成データが実質的なビジネス指標（コンバージョン率）の改善に直結することを証明しました。

今後は、ペアワイズやリストワイズなどのプロンプト構成を用いた実験や、さらに多様な微調整モデルの検討を通じて、このアプローチをさらに発展させる計画です。