Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

Die Studie zeigt, dass die Erweiterung eines App-Store-Rankers durch Millionen von mit einem spezialisierten, feinabgestimmten LLM generierten Textrelevanz-Labels die Pareto-Grenze verschiebt und zu signifikanten Verbesserungen sowohl bei der Offline-NDCG als auch bei der weltweiten Konversionsrate führt, insbesondere bei Suchanfragen mit wenig Verhaltensdaten.

Das Wesentliche

Stellen Sie sich den App Store wie einen riesigen, unendlichen Supermarkt vor, in dem Millionen von Produkten (Apps) auf den Regalen stehen. Wenn Sie nach etwas Bestimmtem suchen – sagen Sie „Fitness-Tracker" –, wollen Sie sofort die besten, passendsten Produkte finden, nicht irgendwelchen Müll.

Das ist die Aufgabe der Suchmaschinen-Experten bei Apple. Ihr Job ist es, die Regale so zu ordnen, dass Sie genau das finden, was Sie brauchen. Aber hier gibt es ein großes Problem, das diese Forscher gelöst haben.

Das Problem: Der „Geister-Regal"-Effekt

Stellen Sie sich vor, Sie sind der Regalvorsteher. Sie haben zwei Arten von Informationen, um zu entscheiden, was wohin gehört:

1. Das Verhalten der Kunden (Verhaltens-Relevanz): Sie sehen, welche Produkte die Leute tatsächlich kaufen oder anklicken. Das ist wie ein Zähler, der mitzählt. Problem: Bei sehr beliebten Produkten gibt es viele Daten. Aber bei seltsamen, seltenen Suchanfragen (den sogenannten „Tail Queries", wie z. B. „App für die Pflege von Sumpfpflanzen in der Antarktis") gibt es kaum Kunden. Da fehlt die Information.
2. Die Expertenmeinung (Textuelle Relevanz): Hier kommen menschliche Experten ins Spiel. Sie lesen die Beschreibung einer App und den Suchbegriff und sagen: „Ja, das passt perfekt!" oder „Nein, das ist völlig falsch." Problem: Das ist teuer und langsam. Man kann nicht Millionen von Apps von Menschen bewerten lassen. Es gibt also zu wenig dieser „Experten-Meinungen".

Das Ergebnis: Bei seltenen Suchanfragen weiß die Suchmaschine nicht, was sie tun soll, weil sie weder Kundenverhalten noch Expertenmeinungen hat. Die Regale sind chaotisch.

Die Lösung: Der unermüdliche KI-Assistent

Die Forscher haben eine clevere Idee gehabt: Warum nicht einen künstlichen Intelligenz-Assistenten (ein LLM) trainieren, der wie ein menschlicher Experte denkt?

Stellen Sie sich vor, Sie nehmen einen sehr klugen, aber noch etwas rohen KI-Roboter und geben ihm ein Lehrbuch mit den Bewertungen Ihrer menschlichen Experten. Sie sagen ihm: „Schau dir an, wie wir bewerten. Wenn jemand nach 'Kochbuch' sucht und eine App für 'Gitarren-Tabs' kommt, ist das eine schlechte Bewertung. Wenn eine App für 'Rezepte' kommt, ist das eine gute."

Nachdem der Roboter das gelernt hat, kann er Millionen von Bewertungen in Sekundenschnelle erstellen. Er ist wie ein unermüdlicher Praktikant, der nie schläft, nie müde wird und immer genau nach den Regeln Ihrer menschlichen Experten urteilt.

Der große Test: Der „Zwilling"

Um zu prüfen, ob dieser KI-Assistent wirklich gut ist, haben die Forscher zwei Dinge getan:

1. Der Vergleich: Sie haben den KI-Assistenten gegen die menschlichen Experten getestet. Das Ergebnis war überraschend: Ein kleinerer, speziell trainierter KI-Roboter war sogar besser als ein riesiger, untrainierter Super-Roboter. Es kommt also nicht auf die reine Größe an, sondern auf das richtige Training.
2. Der Wettkampf (A/B-Test): Sie haben den App Store in zwei Hälften geteilt.
   • Gruppe A (Die Alte): Bekam die Suchergebnisse wie bisher (nur mit den wenigen menschlichen Experten).
   • Gruppe B (Die Neue): Bekam Suchergebnisse, die durch die Millionen KI-Bewertungen verbessert wurden.

Das Ergebnis: Ein Gewinn für alle

Das Ergebnis war ein großer Erfolg:

• Mehr Downloads: Die neue Version hat zu 0,24 % mehr Downloads geführt. In der Welt von Apple ist das eine riesige Zahl, denn es bedeutet, dass Millionen mehr Menschen zufrieden waren.
• Der wahre Held: Die seltenen Suchanfragen: Der größte Gewinn kam bei den „Tail Queries" (den seltenen Suchen). Dort, wo die menschlichen Experten fehlten und die Kundenstatistiken leer waren, hat der KI-Assistent gerettet. Er hat den Suchmaschinen gesagt: „Hey, diese App passt eigentlich gut zu dieser seltsamen Frage, auch wenn noch niemand sie gekauft hat."

Die Metapher vom Pareto-Rand

Die Forscher sprechen von einer „Pareto-Frontier". Stellen Sie sich das wie einen Berg vor. Früher mussten Sie sich entscheiden: Entweder Sie optimieren für das, was die Leute kaufen (Verhalten), oder für das, was semantisch passt (Text). Wenn Sie das eine verbessern, verschlechterte sich oft das andere.

Durch die KI-Bewertungen haben sie den Berg höher geschoben. Jetzt können sie beides gleichzeitig verbessern. Die Suchergebnisse sind sowohl für die Kunden attraktiver (mehr Klicks) als auch inhaltlich passender (bessere Texte).

Fazit

Kurz gesagt: Die Forscher haben einen KI-Assistenten gebaut, der lernt, wie ein menschlicher Experte zu denken. Dieser Assistent hat dann Millionen von Bewertungen erstellt, die zu teuer oder zu langsam für Menschen gewesen wären. Das Ergebnis ist ein App Store, der nicht nur für die beliebten Suchen, sondern besonders für die verrückten, seltenen Suchanfragen viel besser funktioniert. Es ist, als hätte man jedem Kunden im Supermarkt einen persönlichen Berater an die Seite gestellt, der genau weiß, was er sucht – selbst wenn er nach etwas sucht, das niemand sonst je gesucht hat.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments" auf Deutsch:

1. Problemstellung

Suchsysteme in großen digitalen Marktplätzen wie dem Apple App Store müssen zwei komplementäre Ziele optimieren:

• Verhaltensrelevanz (Behavioral Relevance): Basierend auf tatsächlichen Nutzerinteraktionen (Klicks, Downloads). Diese Daten sind in großen Mengen verfügbar.
• Textuelle Relevanz (Textual Relevance): Die semantische Passung zwischen Suchanfrage und App-Ergebnis, bewertet durch menschliche Experten.

Das zentrale Problem ist die Knappheit hochwertiger textueller Relevanzlabels. Während Verhaltensdaten reichlich vorhanden sind, sind manuell erstellte Labels teuer, zeitaufwendig und skalieren nicht. Dies führt zu einem Ungleichgewicht im Multi-Objective-Learning-to-Rank (LTR), bei dem das Ziel der textuellen Relevanz unterversorgt ist. Zudem fehlen bei seltenen Suchanfragen („Tail Queries") oft überhaupt verlässliche Verhaltenssignale.

2. Methodik

Die Autoren schlagen einen zweistufigen Ansatz vor, um dieses Datenproblem zu lösen und das Ranking-System zu verbessern:

A. Generierung von Relevanz-Labels durch LLMs („LLM-as-a-Judge")

Statt LLMs als Echtzeit-Reranker zu nutzen, werden sie als skalierbare Offline-Annotatoren eingesetzt.

• Modellauswahl: Es wurden verschiedene Konfigurationen verglichen:
  • Ein vortrainiertes 3-Milliarden-Parameter-Modell (PT-3B).
  • Ein vortrainiertes 30-Milliarden-Parameter-Modell (PT-30B).
  • Ein feinabgestimmtes (Fine-Tuned) 3B-Modell (FT-3B), das auf bestehenden menschlichen Urteilen trainiert wurde.
• Ergebnis der Evaluierung: Das feinabgestimmte 3B-Modell übertraf sowohl das kleinere vortrainierte Modell als auch das zehnfach größere 30B-Modell signifikant in Bezug auf Präzision, Recall und F1-Score. Dies zeigt, dass Domänenwissen durch Fine-Tuning effizienter ist als reine Modellgröße.
• Prompting: Es wurden Few-Shot-Prompts verwendet, die menschliche Beispiele und Metadaten der Apps einbeziehen, um die Qualität der generierten Labels zu maximieren.
• Skalierung: Das optimierte Modell generierte Millionen neuer textueller Relevanzlabels über verschiedene Stores und Sprachen hinweg.

B. Integration in das Multi-Objective Ranking

Die generierten Labels wurden in den Trainingsprozess des Produktions-Rankers integriert:

• Multi-Objective Optimization (MOO): Der Ranker wird so trainiert, dass er sowohl Verhaltens- als auch Textrelevanz optimiert.
• Daten-Mixing: Der Trainingsdatensatz wurde durch das Hinzufügen der LLM-generierten Labels erweitert. Ein Query-App-Paar kann im Datensatz mehrfach erscheinen: einmal mit einem Verhaltens-Label und einmal mit einem (menschlichen oder LLM-generierten) Text-Label.
• Skalarisierung: Die beiden Ziele werden durch eine gewichtete Mischung der Daten in eine einzige Zielfunktion überführt, wobei das Mischungsverhältnis als Hyperparameter dient, um Punkte auf der Pareto-Frontier zu steuern.

3. Schlüsselbeiträge

1. Systematische Evaluierung: Nachweis, dass ein kleineres, feinabgestimmtes In-House-LLM für die spezifische Aufgabe der Relevanzannotation besser performt als deutlich größere vortrainierte Modelle.
2. Skalierung der Daten: Generierung von Millionen hochwertiger textueller Relevanzlabels, was das traditionelle Annotations-Engpass überwindet.
3. Verschiebung der Pareto-Frontier: Demonstration, dass die Erweiterung des Trainingsdatensatzes mit LLM-Labels zu einer signifikanten Verschiebung der Pareto-Frontier nach außen führt. Das bedeutet, dass sich die textuelle Relevanz verbessert, ohne die Verhaltensrelevanz zu verschlechtern (im Gegenteil, beide steigen).
4. Validierung in der Praxis: Erfolgreicher Nachweis durch Offline-Metriken und einen weltweiten A/B-Test im Live-Betrieb des App Store.

4. Ergebnisse

Offline-Evaluation

• Label-Qualität: Das FT-3B-Modell erreichte einen F1-Score von 0,800, verglichen mit 0,382 für das PT-30B-Modell.
• Ranking-Leistung (NDCG): Der mit LLM-Labels angereicherte Ranker („llm-augmented") übertraf das Produktionsmodell („prod") in allen Metriken:
  • Textuelle Relevanz: NDCG@1 stieg von 0,867 auf 0,868.
  • Verhaltensrelevanz: NDCG@1 stieg von 0,646 auf 0,652.
  • Dies bestätigt eine echte Pareto-Verbesserung.

Online A/B-Test

• Konversionsrate: Der „llm-augmented"-Modell zeigte eine statistisch signifikante Steigerung der Konversionsrate (Downloads pro Suchsession) um +0,24 %. Dies gilt als erheblicher Gewinn für einen ausgereiften industriellen Ranker.
• Tail-Queries: Die größten Verbesserungen traten bei seltenen Suchanfragen (Tail Queries) auf. Da hier keine zuverlässigen Verhaltensdaten vorliegen, fungieren die LLM-generierten textuellen Labels als robustes Signal und schließen die Relevanzlücke.

5. Bedeutung und Fazit

Die Arbeit beweist, dass das „LLM-as-a-Judge"-Paradigma in industriellen Maßstäben skalierbar und effektiv ist. Anstatt LLMs als direkte Reranker einzusetzen, dienen sie als „Kraftmultiplikator" für menschliche Experten, um Trainingsdaten zu generieren.

Dieser Ansatz ermöglicht es Suchsystemen, das Problem des Mangels an hochwertigen Labels zu lösen und Multi-Objective-Ranking-Modelle zu trainieren, die sowohl semantisch präziser als auch nutzerfreundlicher sind. Besonders wertvoll ist die Methode für Nischenanfragen, wo traditionelle datengetriebene Ansätze an ihre Grenzen stoßen. Die Studie liefert einen praktischen Bauplan für andere große Suchsysteme, um ihre Ranking-Modelle durch moderne LLMs als Offline-Datengeneratoren zu verbessern.