Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments

Dit paper beschrijft hoe het gebruik van een gespecialiseerd, fijngefineerd LLM om schaalbare tekstuele relevantielabels te genereren, de App Store-rangschikking verbetert door zowel gedrags- als tekstuele relevantie te optimaliseren, wat resulteert in een statistisch significant toename van de conversie, vooral voor zeldzame zoekopdrachten.

De kern

Stel je de App Store voor als een gigantische, drukke supermarkt met miljoenen producten (apps). De taak van de "schappenbeheerder" (het zoekalgoritme) is om ervoor te zorgen dat als een klant iets zoekt, het juiste product direct voor hun neus ligt.

Deze schrijvers van Apple hebben een nieuw trucje bedacht om die schappenbeheerder slimmer te maken. Hier is hoe het werkt, vertaald naar alledaags Nederlands:

Het Probleem: Twee soorten "Goed"

Om te weten welke app goed is, kijken ze naar twee dingen:

1. Het gedrag van mensen: Klinkt dit als een logische vraag? Kijken mensen erop? Downloaden ze het? Dit is makkelijk te tellen (zoals tellen hoeveel mensen een product in de winkelwagen gooien).
2. De betekenis: Past de app echt bij wat de klant bedoelt? Als ik zoek op "koffie", wil ik een koffie-app, niet een koffiezetapparaat dat ik online koop. Dit is lastig te meten.

Het probleem: Er zijn miljoenen mensen die klikken (gedrag), maar er zijn maar heel weinig menselijke experts die kunnen oordelen of een app semantisch goed past. Het is alsof je een school hebt met 1 miljoen leerlingen, maar maar één leraar die de proefwerken kan nakijken. De leraar raakt overbelast en kan niet genoeg werk controleren.

De Oplossing: Een "Super-Assistent" (LLM)

In plaats van te wachten tot de menselijke leraar alles nakijkt, hebben ze een AI-assistent (een Large Language Model of LLM) ingehuurd.

Stel je voor dat je deze AI-assistent een boek geeft met alle antwoorden die de menselijke leraar ooit heeft gegeven. Je zegt tegen de AI: "Leer van deze antwoorden en doe precies hetzelfde, maar dan voor miljoenen andere vragen."

De onderzoekers hebben getest of een enorme, dure AI (een "olifant") beter was dan een kleinere, slimme AI die ze specifiek hadden getraind (een "witsje").

• Het verrassende resultaat: De kleine, getrainde AI was veel beter dan de enorme, ongetrainde olifant. Het is alsof een getrainde kok met een klein mesje veel betere salades maakt dan een ongetrainde kok met een gigantisch zwaard.

Wat hebben ze gedaan?

1. Massa-productie: Ze lieten deze slimme AI-assistent miljoenen nieuwe "beoordelingen" maken. Nu hebben ze niet meer één leraar, maar een heel leger van AI-leraren die in een seconde werk doen waar mensen jaren over zouden doen.
2. De Mix: Ze hebben deze nieuwe AI-beoordelingen gemengd met de echte menselijke beoordelingen en de klik-data.
3. De Oefening: Ze hebben de zoekmachine (de ranker) opnieuw getraind met deze enorme hoeveelheid nieuwe data.

Het Resultaat: Een Win-Win Situatatie

Vaak moet je kiezen: of je hebt resultaten die mensen klikken, of resultaten die logisch zijn. Meestal gaat het ene ten koste van het andere.

Maar door deze AI-data toe te voegen, is er iets magisch gebeurd: Ze hebben de grens van het mogelijke verschoven.

• De zoekmachine werd beter in het vinden van apps die logisch passen bij de zoekterm.
• En tegelijkertijd werden mensen meer geneigd om die apps te downloaden.

Het is alsof je een auto hebt die zowel sneller rijdt als minder brandstof verbruikt. Dat is zeldzaam!

Waarom werkt dit vooral voor "rare" zoekopdrachten?

De grootste winst zat niet bij populaire zoekwoorden (zoals "Spotify" of "WhatsApp"), maar bij de zeldzame zoekopdrachten (de "staart" van de grafiek).

• Bij populaire zoekwoorden weten we al precies wat mensen willen (veel klikdata).
• Bij rare zoekwoorden (bijv. "app om mijn kamerplant te bespelen") is er bijna niemand die zoekt, dus er is geen klikdata. De menselijke experts zijn hier ook niet bij.

Hier springt de AI-assistent in. Omdat de AI de betekenis van woorden begrijpt, kan hij zeggen: "Ah, deze app past perfect bij die rare vraag, zelfs als niemand hem ooit heeft gedownload." Hierdoor vinden mensen eindelijk de apps die ze zoeken, zelfs als ze rare dingen typen.

Conclusie

Apple heeft bewezen dat je met een slimme, getrainde AI-assistent een enorm tekort aan menselijke experts kunt oplossen. Het resultaat? Een App Store die voor iedereen, van de meest populaire zoekwoorden tot de meest obscure, beter werkt. En dat heeft geleid tot meer gedownloade apps voor iedereen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Scaling Search Relevance: Augmenting App Store Ranking with LLM-Generated Judgments", vertaald en samengevat in het Nederlands.

Probleemstelling

Grootschalige commerciële zoeksystemen, zoals de Apple App Store, moeten optimaliseren op twee complementaire doelen om gebruikers tevreden te stellen:

1. Gedragsrelevantie (Behavioral Relevance): De kans dat een gebruiker op een resultaat klikt of een app downloadt. Deze labels zijn overvloedig aanwezig via zoeklogboeken.
2. Tekstuele relevantie (Textual Relevance): De semantische fit tussen de zoekopdracht en het resultaat, zoals beoordeeld door experts.

Het fundamentele probleem is de schaarste aan hoogwaardige tekstuele relevantielabels. Het genereren van deze labels door menselijke beoordelaars is duur, tijdrovend en schaalt niet goed. Dit creëert een knelpunt in het trainen van multi-objectieve ranking-modellen, waarbij het doel van tekstuele relevantie onderbelicht blijft ten opzichte van gedragsrelevantie.

Methodologie

De auteurs introduceren een aanpak waarbij Large Language Models (LLM's) worden ingezet als schaalbare "offine annotators" om de schaarste aan labels op te lossen. De methode bestaat uit twee hoofdfasen:

1. Generatie van Tekstuele Relevantielabels (LLM-as-a-Judge)

• Doel: Miljoenen nieuwe, hoogwaardige tekstuele relevantielabels genereren voor query-app-paren.
• Modelkeuze: Er werden verschillende configuraties getest:
  • Pre-trained modellen (3B en 30B parameters).
  • Een gefine-tuned 3B model, getraind op bestaande menselijke beoordelingen.
• Prompting: Er werd gebruikgemaakt van few-shot prompting, waarbij het model de rol van een App Store-evaluator kreeg met specifieke instructies en voorbeelden van menselijke beoordelingen.
• Resultaat: Het gefine-tunde 3B-model presteerde aanzienlijk beter dan de veel grotere pre-trained 30B-modellen (F1-score van 0,800 vs. 0,382). Dit toont aan dat specialisatie door fine-tuning effectiever is dan puur schaalvergroting van parameters.

2. Training van de Multi-Objective Ranker

• De gegenereerde LLM-labels worden geïntegreerd in de productie-ranker als extra trainingsdata.
• Multi-Objective Optimization (MOO): Het systeem gebruikt een "scalarisatie"-techniek. Het combineert twee datalagen:
  • Gedragsdata (downloads/klikken) voor gedragsrelevantie.
  • Menselijke én LLM-genereren labels voor tekstuele relevantie.
• Door het mengsel van deze data te variëren (bijv. 90-10, 70-30), kunnen de auteurs modellen trainen die verschillende punten op de Pareto-grens vertegenwoordigen, waarbij ze proberen beide doelen tegelijk te maximaliseren zonder de één ten koste van de ander te laten gaan.

Belangrijkste Bijdragen

1. Systematische Evaluatie: Demonstratie dat een kleiner, gespecialiseerd en gefine-tuned LLM superieur is aan veel grotere pre-trained modellen voor de specifieke taak van relevantieannotatie.
2. Schaalbaarheid: Generatie van miljoenen tekstuele relevantielabels in meerdere talen en winkels, wat de trainingsdata drastisch uitbreidt.
3. Verschuiving van de Pareto-grens: Bewijs dat het toevoegen van LLM-labels leidt tot een "uitwaartse verschuiving" van de Pareto-grens. Dit betekent dat het model zowel betere tekstuele relevantie als betere gedragsrelevantie bereikt, wat een strikte verbetering is ten opzichte van het eerdere productiemodel.
4. Validatie in de Productie: Succesvolle validatie via offline metingen en een wereldwijde online A/B-test.

Resultaten

Offline Evaluatie:

• Labelkwaliteit: Het gefine-tunde model (FT-3B) behaalde een F1-score van 0,800, vergeleken met 0,382 voor het pre-trained 30B-model.
• Ranker Performance: Het met LLM-augmentatie getrainde model verbeterde de NDCG (Normalized Discounted Cumulative Gain) voor zowel tekstuele als gedragsrelevantie op alle posities (NDCG@1, @3, @7).
  • Voorbeeld: NDCG@1 voor gedragsrelevantie steeg van 0,646 naar 0,652.

Online A/B-test:

• De test werd uitgevoerd op wereldwijd verkeer.
• Conversieratio: Het LLM-augmenteerde model leidde tot een statistisch significante stijging van +0,24% in de conversieratio (aantal sessies met minstens één download). Hoewel dit percentage klein lijkt, is dit aanzienlijk voor een volwassen industriële ranker.
• Impact op "Tail Queries": De grootste verbeteringen werden geobserveerd bij zoekopdrachten met weinig verkeer (tail queries). Bij deze queries ontbreken vaak betrouwbare gedragsdata (geen klikken/downloads). De LLM-genereren tekstuele labels vullen hier het gat en bieden een robuust signaal waar menselijke data schaars is.

Betekenis en Conclusie

Dit paper biedt een praktische blauwdruk voor het oplossen van het probleem van schaarste aan relevantielabels in grote zoeksystemen. De kernboodschap is dat LLM's als "force multiplier" kunnen fungeren voor menselijke beoordelaars.

Door een kleiner, goed gefine-tuned model te gebruiken om miljoenen labels te genereren, kunnen bedrijven de kwaliteit van hun ranking-modellen fundamenteel verbeteren. De methode is niet alleen kosteneffectiever dan het uitbreiden van menselijke teams, maar leidt ook tot een systeem dat beter presteert in situaties waar traditionele gedragsdata faalt (zoals bij lange staart-zoekopdrachten). Dit bewijst de industriële schaalbaarheid van de "LLM-as-a-Judge" paradigma voor multi-objectieve learning-to-rank systemen.