🤖 machine learning

Advancing Relevance Measurement with Vision-Language Models for Web-Scale Search

Dieses Paper präsentiert eine auf einem Vision-Language-Modell (VLM) basierende automatisierte Pipeline zur Relevanzbewertung, die in der Pinterest-Suche eingesetzt wird und mit menschlichen Annotationen übereinstimmt, um die Messungseffizienz signifikant zu verbessern, die Abdeckung von Suchanfragen zu erweitieren und die minimal detektierbaren Effekte in Online-A/B-Experimenten zu reduzieren.

Ursprüngliche Autoren: Han Wang, Alex Whitworth, Pak Ming Cheung, Zhenjie Zhang, Krishna Kamath, Xi Chen, Roberto Konow, Kurchi Subhra Hazra

Veröffentlicht 2026-08-04

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Han Wang, Alex Whitworth, Pak Ming Cheung, Zhenjie Zhang, Krishna Kamath, Xi Chen, Roberto Konow, Kurchi Subhra Hazra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie wandern durch eine riesige, endlose Bibliothek, in der sich die Regale jede Sekunde neu anordnen, basierend auf dem, was Sie gerade denken. Dies ist die Welt der modernen Websuche, einem Teilgebiet der Informatik, das sich darauf konzentriert, Menschen dabei zu helfen, genau das zu finden, was sie brauchen, inmitten von Milliarden digitaler Artikel. Lange Zeit war der einzige Weg, um zu wissen, ob ein Bibliothekar (oder ein Computer-Algorithmus) gute Arbeit leistete, ein Team von menschlichen Lesern einzustellen, die jede einzelne Buchempfehlung überprüften. Sie lasen den Titel, betrachteten das Bild und entschieden: „Ist das tatsächlich das, wonach die Person gefragt hat?“ Aber Menschen werden müde, es dauert ewig und es kostet ein Vermögen, genug von ihnen einzustellen, um alles zu überprüfen. Vor kurzem haben Wissenschaftler eine neue Art von „Super-Leser“ entdeckt, ein sogenanntes Vision-Language-Modell (VLM). Betrachten Sie diese als KI-Detektive, die Text lesen und gleichzeitig Bilder betrachten können, wobei sie die Geschichte hinter einem Bild genauso verstehen wie ein Mensch. Die große Frage, die sich alle stellen, ist: Können diesen KI-Detektiven vertraut werden, um die Aufgabe der menschlichen Leser zu übernehmen, und wenn ja, werden sie schnell genug sein, um uns beim Bau besserer Suchmaschinen zu helfen?

Dieses Papier des Teams bei Pinterest erzählt die Geschichte davon, wie sie einen KI-Detektiv gelehrt haben, Suchergebnisse zu bewerten, und bewiesen haben, dass dies besser funktioniert als die alte Methode. Sie bauten ein System, bei dem die KI die Suchanfrage eines Nutzers, das Bild des Artikels (einen sogenannten „Pin“) und den gesamten beschreibenden Text betrachtet und dann eine Bewertung von 1 bis 5 vergibt, wie relevant dieser ist. Das Team fand heraus, dass diese KI unglaublich genau ist, wobei sie mit menschlichen Richtern zu etwa 83 % übereinstimmt und fast immer innerhalb eines Punktes des menschlichen Scores bleibt. Doch die wahre Magie liegt nicht nur darin, dass die KI gut ist; sie ist auch blitzschnell. Während ein menschliches Team zwei Tage benötigen könnte, um eine Gruppe von Ergebnissen zu kennzeichnen, erledigt die KI dies in nur zwei Stunden. Da die KI viel schneller und kostengünstiger ist, konnte das Team aufhöfer, eine kleine, zufällige Stichprobe von Suchergebnissen zu verwenden, und statsdessen eine viel intelligentere, organisierte Stichprobenmethode einzusetzen. Diese Änderung ermöglichte es ihnen, winzige Verbesserungen der Suchqualität zu entdecken, die zuvor unsichtbar waren. Durch den Wechsel zu diesem KI-gestützten System reduzierten sie den „Minimum Detectable Effect“ – die kleinste Veränderung, die sie zuverlässig messen können – um das Sechsfache. Das bedeutet, dass sie nun subtile, bedeutsame Verschiebungen in der Funktionsweise der Suchmaschine erfassen können, um sicherzustellen, dass Nutzer genau das finden, wonach sie suchen, ohne Zeit oder Geld für langsame menschliche Überprüfungen zu verschwenden.

Technisches Resümee: Fortschritte in der Relevanzmessung durch Vision-Language-Modelle für die Web-Scale-Suche

Problemstellung

In personalisierten Suchsystemen wie Pinterest ist sicherzustellen, dass die Suchergebnisse mit der Nutzerintention (semantische Relevanz) übereinstimmen, von entscheidender Bedeutung. Während Nutzerinteraktionsmetriken (Klicks, Speichern) leicht erfasst werden können, spiegeln sie die wahre semantische Relevanz oft nicht wider, da sie durch Störfaktoren wie Positionsbias, Präsentationseffekte und Aufmerksamkeit beeinflusst werden. Folglich dient die Relevanzbewertung als notwendige „Leitplanke“ in Online-A/B-Experimenten, um Trade-offs zu erkennen, bei denen die Interaktion steigen kann, während die Relevanz sinkt.

Traditionell stützt sich die Relevanzbewertung auf menschliche Annotation. Dieser Ansatz ist jedoch durch hohe Kosten, lange Durchlaufzeiten und begrenzte Skalierbarkeit eingeschränkt. Diese Engpässe erzwingen Messdesigns mit kleinen Stichprobenumfängen, die nur große Metrikbewegungen erkennen können und es versäumen, heterogene Behandlungseffekte oder kleine, bedeutsame Verbesserungen zu erfassen. Die Arbeit adressiert die Notwendigkeit eines skalierbaren, kosteneffizienten und zuverlässigen automatisierten Systems zur Relevanzbewertung, das im Web-Scale-Maßstab operieren kann.

Methodik

1. Fine-Tuned Vision-Language Models (VLMs)

Die Autoren schlagen eine End-to-End-Pipeline vor, die feinabgestimmte Open-Source-Vision-Language-Modelle (speziell die Qwen3-VL-Serie) nutzt, um die Relevanzkennzeichnung zu automatisieren.

Input-Repräsentation: Das Modell verarbeitet einen multimodalen Input, bestehend aus dem Text der Suchanfrage, dem Pin-Bild und umfassenden textuellen Metadaten (Pin-Titel/Beschreibung, Landingpage-Titel/Beschreibung, Board-Titel und historisch hochgradig engagierte Suchanfragen).
Training: Das Modell wird auf etwa 0,8 Millionen menschlich annotierten Query-Pin-Paaren unter Verwendung einer 5-stufigen Bewertungsskala (hochrelevant bis hochgradig irrelevant) feinabgestimmt. Das Ziel ist es, den Relevanzwert (1–5) durch Minimierung des Cross-Entropy-Loss zu prognostizieren.
Inferenz: Das Modell gibt ein vorhergesagtes Relevanzniveau via Argmax über die Output-Logits aus. Das System nutzt die sprachübergreifenden Fähigkeiten von Qwen3-VL, um mehrere Sprachen zu unterstützen.

2. Stratifiziertes Sampling-Design

Die Reduktion der Kennzeichnungskosten und der Zeit durch VLMs ermöglicht den Übergengang von einfachem Zufalls-Sampling zu einem anspruchsvolleren stratifizierten Query-Sampling-Design.

Begründung: Die Varianz der Relevanz wird primär durch Unterschiede zwischen den Suchanfragen (Intention, Inhaltsqualität, Inventartiefe) getrieben. Die Stratifizierung zielt auf diese Varianzstruktur ab.
Implementierung: Die Suchanfragen werden basierend auf Interessenskategorien und Popularitätssegmenten (Head, Torso, Tail, Single) stratifiziert.
Statistischer Nutzen: Durch Eliminierung der „Between-Strata“-Varianzkomponente reduziert die stratifizierte Stichprobenziehung die Varianz des Stichprobenmittels signifikant. Dies senkt direkt den Minimum Detectable Effect (MDE) und ermöglicht es dem System, kleinere, bedeutsame Änderungen in der Performance des Suchrankings zu erkennen.
Vergleich: Die Autoren stellen fest, dass alternative Techniken zur Varianzreduktion wie CUPED weniger geeignet sind, da sie die dynamische Natur des Pinterest-Inventars berücksichtigen müssen und Pre-Treatment-Kovariaten erfordern würden, was die Generalisierbarkeit beeinträchtigen oder die Kosten für die doppelte Annotation erhöhen würde.

3. Relevanzmessungs-Pipeline

Die Evaluierungs-Pipeline für A/B-Experimente umfasst:

Sampling: Auswahl von paarweisen Suchanfragen aus Kontroll- und Behandlungsgruppen, um Unterschiede zwischen den Queries zu blocken.
Kennzeichnung: Das feinabgestimmte VLM generiert Relevanzlabels für die Top- $K$ (festgelegt auf 25) Suchergebnisse pro Suchanfrage.
Metrikberechnung: Das System berechnet ein query-spezifisches $sDCG@K$ (eine Variante von $nDCG@K$, die ein unendliches Angebot an hochrelevanten Dokumenten annimmt) und aggregiert diese, um Experiment-Level-Metriken abzuleiten.
Analyse: Heterogene Behandlungseffekte werden über die Strata analysiert, wobei die False Discovery Rates mittels des Benjamini-Hochberg-Verfahrens kontrolliert werden.

Zentrale Ergebnisse

Übereinstimmung mit menschlichen Urteilen (RQ1)

Das System wurde streng gegen menschliche Annotationen validiert:

Genauigkeit: Die Rate der exakten Übereinstimmung zwischen VLM und menschlichen Labels liegt bei 82,9 %, wobei 94,2 % der Bewertungen um maximal einen Punkt abweichen.
Agreement: Der Quadratic Weighted Kappa (QWK) beträgt 0,507, was auf eine gute ordinale Übereinstimmung hindeutet.
Rangkorrelation: Kendall's $\tau$ ist 0,534 und Spearman's $\rho$ ist 0,668, was eine starke Übereinstimmung im Ranking zeigt.
Fehlermetriken: Der mittlere Fehler im query-spezifischen $sDCG@K$ bleibt über alle Popularitätssegmente hinweg innerhalb von 0,03. Entscheidend ist, dass der Paired Difference Error (verwendet für A/B-Tests) eine vernachlässigbare Größenordnung aufweist, wodurch der leichte positive Bias eliminiert wird, der bei Fehlern in Einzelgruppen beobachtet wurde. Dies bestätigt die Robustheit des paarweisen experimentellen Designs gegenüber dem VLM-Label-Bias.
Modellselektion: Während Qwen3-VL-8B ähnlich performte wie die 4B-Variante, wurde Qwen3-VL-4B aufgrund der engen Fehlerverteilung und der geringeren Rechenkosten für die Produktion ausgewählt. Es übertraf die textbasierte XLM-RoBERTa-Baseline signifikant, insbesondere bei der Varianzreduktion.

Metrische Sensitivität und Effizienz (RQ2)

Der Übergang zur VLM-basierten Kennzeichnung mit stratifiziertem Sampling führte zu erheblichen Verbesserungen der experimentellen Sensitivität:

MDE-Reduktion: Der Minimum Detectable Effect (MDE) wurde von einem Bereich von 1,3 %–1,5 % auf $\le$ 0,25 % gesenkt, was einer 6-fachen Verbesserung der Sensitivität entspricht.
Varianzreduktion: Die Stratifizierung allein reduzierte die Metrikvarianz ( $\hat{\sigma}$ ) im Vergleich zum einfachen Zufalls-Sampling bei gleicher Stichprobengröße (n=2000) um 52 %. Bei der Kombination von Stratifizierung mit einer erhöhten Stichprobengröße (n=5000) erreichte die gesamte Varianzreduktion 67 %.
Operative Effizienz:
- Durchlaufzeit: Verbessert um über 20-fach (von 2 Tagen auf 2 Stunden).
- Kosten: Die Kosten pro Label wurden um 99,98 % gesenkt (von $0,10 auf $2 \times 10^{-5}$ $).
- Skalierbarkeit: Das System bewältigt nun 4-mal mehr Relevanzmessungs-Jobs als zuvor, was breitere und häufigere Evaluierungen ermöglicht.

Multilinguale Performance (RQ3)

Das System wurde in Nicht-Englisch-Märkten (Frankreich, Deutschland, Brasilien) validiert. Obwohl die Rangkorrelationen in Nicht-Englisch-Märkten etwas niedriger waren, blieben sie moderat bis stark. Die Paired Difference Errors blieben eng um Null konzentriert, was darauf hindeutet, dass der Ansatz trotz der überwiegend englischen Trainingsdaten effektiv auf Nicht-Englisch-Queries generalisiert.

Bedeutung und Beiträge

Die Arbeit behauptet, dass ihre primäre Bedeutung in dem End-to-End-Design und der Implementierung einer VLM-basierten Relevanzbewertungs-Pipeline innerhalb eines Live-Industrie-A/B-Experimentationssystems bei Pinterest liegt. Im Gegensatz zu früheren akademischen Arbeiten, die sich auf Modellarchitekturen oder Prompting-Strategien konzentrieren, demonstriert diese Arbeit die praktische Umsetzbarkeit des Ersatzes menschlicher Annotation durch feinabgestimmte VLMs in einer Produktionsumgebung.

Zu den Kernbeiträgen gehören:

Produktionsimplementierung: Eine validierte Pipeline, die praktische Aspekte abdeckt – vom Fine-Tuning bis hin zu Online-A/B-Tests – und die die Autoren als die erste umfassende Adressierung dieses Problems in einem industriellen Suchsystem bezeichnen.
Experimentelle Sensitivität: Der Nachweis, dass die VLM-basierte Bewertung erweiterte Query-Sets und verfeinerte Sampling-Designs ermöglicht, was zu einer 6-fachen MDE-Reduktion und einer deutlich verbesserten Erkennung von Relevanzverschiebungen führt.
Zuverlässigkeit: Der Beweis, dass feinabgestimmte VLMs Metriken liefern, die eng mit menschlichen Urteilen übereinstimmen und einen geringen Bias in den Paired Differences aufweisen, was sie zu einem zuverlässigen Ersatz für die menschliche Kennzeichnung bei hochsensiblen Entscheidungen macht.

Die Autoren schließen, dass dieser Ansatz praktische Erkenntnisse für Praktiker bietet, die die Effizienz und Sensitivität der Relevanzmessung verbessern wollen, und weisen darauf hin, dass zukünftige Arbeiten darauf abzielen werden, diese Fähigkeiten auf breitere multimodale Suchsettings auszuweiten und die Leistungsunterschiede in Nicht-Englisch-Märkten weiter zu schließen.