Technische Samenvatting: Het verbeteren van relevantiemeting met Vision-Language Modellen voor Web-schaal Zoeken

Probleemstelling

In gepersonaliseerde zoeksystemen zoals Pinterest is het essentieel dat zoekresultaten aansluiten bij de gebruikersintentie (semantische relevantie). Hoewel gebruikersbetrokkenheidscijfers (clicks, saves) gemakkelijk worden verzameld, weerspiegelen deze vaak niet de werkelijke semantische relevantie vanwege verstorende factoren zoals positiebias, presentatie-effecten en aandacht. Bijgevolg dient relevantie-evaluatie als een noodzakelijke "guardrail" in online A/B-experimenten om trade-offs te detecteren waarbij de betrokkenheid kan toenemen terwijl de relevantie verslechtert.

Traditioneel vertrouwt de evaluatie van relevantie op menselijke annotatie. Deze aanpak wordt echter beperkt door hoge kosten, lange doorlooptijden en beperkte schaalbaarheid. Deze knelpunten dwingen tot meetontwerpen met kleine steekproeven, die alleen grote metriekbewegingen kunnen detecteren en er niet in slagen heterogene behandelingseffecten of kleine, betekenisvolle verbeteringen te vangen. Het artikel adresseert de behoefte aan een schaalbaar, kosteneffectief en betrouwbaar geautomatiseerd systeem voor de evaluatie van relevantie dat op web-schaal kan opereren.

Methodologie

1. Fine-Tuned Vision-Language Modellen (VLMs)

De auteurs stellen een end-to-end pijplijn voor die gebruikmaakt van fine-tuned open-source Vision-Language Modellen (specifiek de Qwen3-VL serie) om relevante labeling te automatiseren.

• Input Representatie: Het model verwerkt een multimodale input bestaande uit de tekstuele zoekopdracht (query), de Pin-afbeelding en uitgebreide tekstuele metadata (Pin titel/beschrijving, landschapspagina titel/beschrijving, board titels en historisch zeer betrokken zoekopdrachten).
• Training: Het model wordt gefinetuned op ongeveer 0,8 miljoen door mensen geannoteerde query-Pin paren met behulp van een 5-puntige beoordelingsschaal (Zeer Relevant tot Zeer Irrelevant). Het doel is om de voorspelde relevantiescore (1–5) te voorspellen door cross-entropy loss te minimaliseren.
• Inference: Het model geeft een voorspeld relevantieniveau weer via argmax over de output logits. Het systeem maakt gebruik van de meertalige capaciteiten van Qwen3-VL om meerdere talen te ondersteunen.

2. Gestratificeerd Steekproefontwerp

De vermindering in labelingkosten en tijd die door VLMs wordt geboden, maakt een verschuiving mogelijk van eenvoudige willekeurige steekproeven naar een meer geavanceerd gestratificeerd query-steekproefontwerp.

• Rationale: Variantie in relevantie wordt primair gedreven door verschillen tussen queries (intentie, inhoudskwaliteit, inventarisdiepte). Stratificatie richt zich op deze variantiestructuur.
• Implementatie: Queries worden gestratificeerd op basis van interesse-categorieën en populariteitssegmenten (Head, Torso, Tail, Single).
• Statistisch Voordeel: Door de "tussen-strata" variantiecomponent te elimineren, vermindert gestratificeerde steekproeftrekking de variantie van het steekproefgemiddelde aanzienlijk. Dit verlaagt direct de Minimum Detectable Effect (MDE), waardoor het systeem kleinere, betekenisvolle veranderingen in de prestaties van de zoekrangschikking kan detecteren.
• Vergelijking: De auteurs merken op dat alternatieve technieken voor variantiereductie zoals CUPED minder geschikt zijn vanwege de dynamische aard van de Pinterest-inventaris en de vereiste van pre-treatment covariaten, wat de generaliseerbaarheid in gevaar zou brengen of dubbele annotatiekosten zou veroorzaken.

3. Relevantie Meetpijplijn

De evaluatiepijplijn voor A/B-experimenten omvat:

1. Sampling: Het selecteren van gepaarde zoekopdrachten uit controle- en behandelgroepen om verschillen tussen queries te blokkeren.
2. Labeling: De gefinetuned VLM genereert relevantielabels voor de top $K$ (gesteld op 25) zoekresultaten voor elke query.
3. Metriek Berekening: Het systeem berekent een query-niveau $sDCG@K$ (een variant van $nDCG@K uitgaande van een oneindige voorraad hoog-relevante documenten) en aggregeert deze om experiment-niveau metrieken af te leiden.
4. Analyse: Heterogene behandelingseffecten worden geanalyseerd over strata, waarbij de false discovery rates worden gecontroleerd via de Benjamini-Hochberg procedure.

Belangrijkste Resultaten

Afstemming met Menselijke Oordelen (RQ1)

Het systeem werd rigoureus gevalideerd tegen menselijke annotaties:

• Nauwkeurigheid: Het exacte match-percentage tussen VLM en menselijke labels is 82,9%, waarbij 94,2% van de beoordelingen niet meer dan één punt afwijkt.
• Overeenkomst: De Quadratic Weighted Kappa (QWK) is 0,507, wat duidt op een goede ordinale overeenkomst.
• Rangcorrelatie: Kendall's $\tau$ is 0,534 en Spearman's $\rho$ is 0,668, wat een sterke afstemming in rangorde laat zien.
• Foutmetrieken: De gemiddelde fout in query-niveau $sDCG@K$ blijft binnen 0,03 over alle populariteitssegmenten. Cruciaal is dat de gepaarde verschilfout (gebruikt voor A/B-testen) een verwaarloosbare grootte heeft, wat de lichte positieve bias die werd waargenomen in single-group errors, elimineert. Dit bevestigt de robuustheid van het gepaarde experimentele ontwerp tegen VLM-labelbias.
• Modelselectie: Hoewel Qwen3-VL-8B vergelijkbaar presteerde met de 4B-variant, werd Qwen3-VL-4B gekozen voor productie vanwege de nauwe foutdistributie en lagere computationele kosten. Het presteerde significant beter dan een tekst-alleen XLM-RoBERTa baseline, met name wat betreft variantiereductie.

Metrische Sensitiviteit en Efficiëntie (RQ2)

De overgang naar VLM-gebaseerde labeling met gestratificeerde steekproeftrekking leverde substantiële verbeteringen op in de experimentele sensitiviteit:

• MDE Reductie: De Minimum Detectable Effect (MDE) werd verminderd van een bereik van 1,3%–1,5% naar ≤0,25%, wat een 6× verbetering in sensitiviteit betekent.
• Variantiereductie: Stratificatie alleen verminderde de metriekvariantie ($\hat{\sigma}$) met 52% vergeleken met eenvoudige willekeurige steekproeftrekking met dezelfde steekproefomvang (n=2000). Wanneer stratificatie werd gecombineerd met een grotere steekproefomvang (n=5000), bereikte de totale variantiereductie 67%.
• Operationele Efficiëntie:
  • Doorlooptijd: Verbeterd met meer dan 20× (van 2 dagen naar 2 uur).
  • Kosten: Kosten per label verminderd met 99,98% (van $0,10 naar $2 \times 10^{-5}$).
  • Schaal: Het systeem handelt nu 4× meer relevantiemeetings-jobs af dan voorheen, wat bredere en frequentere evaluaties mogelijk maakt.

Multilinguale Prestaties (RQ3)

Het systeem werd gevalideerd in niet-Engelse markten (Frankrijk, Duitsland, Brazilië). Hoewel de rangcorrelaties iets lager waren dan in Engelse markten, bleven ze matig tot sterk. De gepaarde verschilfouten bleven nauw geconcentreerd rond nul, wat aangeeft dat de aanpak effectief generaliseert naar niet-Engelse queries, ondanks het feit dat de trainingsdata voornamelijk Engels is.

Betekenis en Bijdragen

Het artikel stelt dat de primaire betekenis ligt in het end-to-end ontwerp en de implementatie van een VLM-gebaseerde relevantie-evaluatiepijplijn binnen een live, industrie-schaal A/B-experimentatiesysteem bij Pinterest. In tegenstelling tot eerdere academische werken die zich richten op modelarchitectuur of prompting-strategieën, demonstreert dit werk de praktische levensvatbaarheid van het vervangen van menselijke annotatie door fine-tuned VLMs in een productieomgeving.

Belangrijke bijdragen zijn onder meer:

1. Productie Implementatie: Een gevalideerde pijplijn die praktische overwegingen dekt, van fine-tuning tot online A/B-testen, wat volgens de auteurs de eerste uitgebreide aanpak van dit probleem is in een industrieel zoekmachine-systeem.
2. Experimentele Sensitiviteit: Het aantonen dat VLM-gebaseerde beoordeling uitgebreidere query-sets en verfijnde steekproefontwerpen mogelijk maakt, wat leidt tot een 6× reductie in MDE en een aanzienlijk verbeterde detectie van relevantieverschuivingen.
3. Betrouwbaarheid: Het bewijzen dat fine-tuned VLMs metrieken produceren die nauw aansluiten bij menselijke oordelen, met een lage bias in gepaarde verschillen, waardoor ze een betrouwbaar substituut zijn voor menselijke labeling in beslissingen met een hoge inzet.

De auteurs concluderen dat deze aanpak praktische inzichten biedt voor professionals in de industrie die de efficiëntie en sensitiviteit van relevantiemeting willen verbeteren, waarbij zij opmerken dat toekomstig werk zich zal richten op het uitbreiden van deze capaciteiten naar bredere multimodale zoekinstellingen en het verder verkleinen van de prestatiekloof in niet-Engelse markten.