🤖 AI

AutoRelAnnotator: Calibrated Model Cascades for Cost-Efficient Relevance Evaluation in Sponsored Search

Das Papier schlägt AutoRelAnnotator vor, ein kosteneffizientes System, das domänenspezifisches Fine-Tuning, eine Kaskadenarchitektur und per-Klasse-Isotonische Kalibrierung kombiniert, um qualitativ hochwertige Relevanz-Annotationen in großem Maßstab für Sponsored Search zu generieren, wobei erfolgreich über 150 Millionen Anfragen verarbeitet wurden und gleichzeitig die menschlichen Labeling-Kosten sowie die Rechenaufwendungen signifikant reduziert wurden.

Ursprüngliche Autoren: Md Omar Faruk Rokon, Shasvat Desai, Hong Yao, Kuang-chih Lee

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Md Omar Faruk Rokon, Shasvat Desai, Hong Yao, Kuang-chih Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben einen riesigen Online-Shop, wie etwa Walmart. Jedes Mal, wenn ein Kunde eine Suchanfrage eingibt (wie „Laufschuhe“), muss Ihr Computer entscheiden, welche Produkte am relevantesten sind, um sie anzuzeigen. Um diese Entscheidung zu treffen, muss der Computer aus Beispielen lernen. Aber wer bringt dem Computer das bei? Menschen.

Das Problem ist, dass es langsam ist (es dauert Tage), menschliche Teams zu beschäftigen, um Millionen von Suchergebnissen zu kennzeichnen, und teuer (es kostet Hunderttausende von Dollar). Auf der anderen Seite sind die Verwendung von schicken, teuren KI-Modellen (wie GPT-4) zwar schneller, aber sie sind nicht besonders gut darin, Ihre spezifischen Produkte im Geschäft zu verstehen, was zu Fehlern führt.

Die Autoren dieser Arbeit, vom Walmart Global Tech Team, haben ein intelligentes System namens AutoRelAnnotator entwickelt, um dieses Problem zu lösen. Betrachten Sie es als ein hochgradig effizientes „Triage-System“ für die Kennzeichnung von Suchergebnissen.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem mit „Einheitslösungen“ (One-Size-Fits-All) bei KI

Stellen Sie sich vor, Sie haben ein Team von Experten. Wenn Sie einen weltberühmten Professor (ein riesiges KI-Modell) bitten, eine einfache Aufgabe zu erledigen, wie zum Beispiel „Ist das ein roter Apfel?“, wird er sie vielleicht überanalysieren, lange brauchen und trotzdem falsch liegen, weil er kein Frucht-Spezialist ist.
Die Autoren stellten fest, dass Standard-KI-Modelle direkt aus dem Regal nur etwa 68–70 % Genauigkeit bei der Beurteilung der Relevanz für ihr spezielles Geschäft aufwiesen. Sie benötigten jedoch 89 % Genauigkeit, um nützlich zu sein.

2. Die Lösung: Ein Drei-Schichten-„Filter“ (Der Kaskaden-Effekt)

Anstatt einen einzigen riesigen, teuren KI-Modell alles machen zu lassen, entwickelten die Autoren ein Staffellauf-System mit drei Läufern, die jeweils etwas teurer, aber auch klüger werden.

Läufer 1 (Der Sprinter): Ein kleines, schnelles, günstiges Modell (Cross-Encoder). Es betrachtet den Suchbegriff und den Produkttitel. Es ist sehr schnell (5 Millisekunden).
Läufer 2 (Der Mittelstreckenläufer): Ein mittelgroßes Modell (Gemma-2B). Es benötigt etwa 50 Millisekunden.
Läufer 3 (Der Marathonläufer): Ein großes, leistungsstarkes Modell (LLaMA-8B). Es benötigt 200 Millisekunden.

Wie der Wettkampf funktioniert:
Das System fragt Läufer 1, eine Vermutung anzustellen.

Wenn Läufer 1 sehr sicher ist (z. B. „Ich bin mir zu 95 % sicher, dass dies eine perfekte Übereinstimmung ist!“), akzeptiert das System die Antwort und stoppt. Es ist nicht nötig, die teureren Läufer zu rufen.
Wenn Läufer 1 unsicher ist (z. B. „Ich denke, es ist eine Übereinstimmung, aber ich bin mir nur zu 60 % sicher“), übergibt er den Staffelstab an Läufer 2.
Wenn Läufer 2 auch unsicher ist, übergibt er an Läufer 3.
Wenn selbst Läufer 3 verwirrt ist, stimmen die drei Modelle gemeinsam ab, um eine endgültige Entscheidung zu treffen.

Die Magie: Dieser „Kaskaden“-Ansatz bedeutet, dass das System die teuren, langsamen Modelle nur für die schwierigen Fragen verwendet. Für die einfachen Fragen (die den Großteil ausmachen) nutzt es das günstige, schnelle Modell. Dies senkt die Rechenkosten um die Hälfte, ohne an Genauigkeit zu verlieren.

3. Das Geheimrezept: „Kalibrierung“ (Der Vertrauens-Coach)

Es gibt einen Haken: KI-Modelle lügen oft darüber, wie sicher sie sich sind. Sie sagen vielleicht: „Ich bin mir zu 90 % sicher“, obwohl sie eigentlich nur zu 60 % sicher sind. Wenn das System dieser Lüge vertraut, stoppt es zu früh und macht einen Fehler.

Die Autoren fügten einen Kalibrierungs-Coach hinzu (speziell „per-class isotonic calibration“).

Denken Sie an diesen Coach als einen Schiedsrichter, der die Läufer beobachtet und sagt: „Hey, wenn du bei ‚Klasse A‘ zu 90 % sicher bist, bist du in Wirklichkeit nur zu 80 % sicher. Lass uns den Konfidenzwert anpassen.“
Die Autoren fanden heraus, dass das Korrigieren dieser Konfidenzwerte für jede spezifische Art von Antwort (z. B. „Perfekte Übereinstimmung“ vs. „Schlechte Übereinstimmung“) separat zu helfen, die Anfragen genauer zu routen. Dies brachte einen kleinen, aber statistisch signifikanten Schub zur endgültigen Genauigkeit.

4. Das Ergebnis: Die Modelle zuerst trainieren

Bevor der Staffellauf überhaupt beginnt, haben die Autoren etwas Entscheidendes getan: Sie haben alle drei Modelle feinjustiert (fine-tuned).

Anstatt generische KI-Modelle zu verwenden, die zwar alles über die Welt wissen, aber nichts über Ihr Geschäft, haben sie diese Modelle speziell auf 1,2 Millionen Beispiele ihrer eigenen Suchdaten trainiert.
Die Analogie: Es ist so, als würde man einen Allgemeinarzt nehmen und ihn spezifisch auf „Walmart-Inventar“ trainieren. Plötzlich wird er zum Spezialisten.
Dieser Schritt allein steigerte die Genauigkeit von ~68 % auf ~89 %.

Das Fazit

Durch die Kombination dieser drei Zutaten erreichten die Teams einen „Sweet Spot“:

Feinjustierung machte die Modelle genau (das „Gehirn“).
Kaskadierung machte den Prozess günstig und schnell (die „Ökonomie“).
Kalibrierung stellte sicher, dass die Modelle wussten, wann sie anhalten und wann sie um Hilfe bitten mussten (das „Vertrauen“).

Reale Auswirkungen:

Geschwindigkeit: Was früher menschliche Teams 5 Tage lang zur Kennzeichnung brauchten, dauert nun 1 bis 3 Stunden.
Volumen: Sie verarbeiteten über 150 Millionen Annotationen.
Kosten: Sie senkten die Rechenkosten im Vergleich zur Nutzung des großen, leistungsstarken Modells für jede einzelne Suchanfrage um die Hälfte.

Kurz gesagt: Sie haben ein intelligentes, selbstkorrigierendes Fließband gebaut, das Suchergebnisse so gut kennzeichnet wie ein Expertenteam, aber zu einem Bruchteil der Kosten und der Zeit.

Technisches Resümee: AutoRelAnnotator

Problemstellung
Relevanz-Annotationen sind entscheidend für Suchranking-Systeme und dienen als Grundlage für die Vorbereitung von Trainingsdaten, die NDCG-Evaluierung und die Ursachenanalyse. Die Erstellung hochwertiger Annotationen in großem Maßstab stößt jedoch auf zwei primäre Engpässe:

Menschliche Annotation: Obwohl sie präzise ist, erfolgt sie langsam (3–5 Tage Turnaround für Batches >10k) und ist teuer ($0,50/Annotation), was einen Flaschenhals für schnelle Experimente und Modelliterationen schafft.
Standardmäßige LLMs: Generische Large Language Models (z. B. GPT-4, Claude-3) leiden unter einer geringen Genauigkeit bei domänenspezifischen Aufgaben (68–70 % bei einer 5-Klassen-Relevanzaufgabe) im Vergleich zur menschlichen Inter-Annotator-Übereinstimmung (~89 %). Darüber hinaus können bestehende Modell-Kaskaden-Methoden, die Abfragen zwischen Standard-LLMs routen, die Genauigkeitsdecke ihrer konstituierenden Modelle nicht überschreiten.

Methodik: Kalibrierte Modell-Kaskaden
Die Autoren schlagen AutoRelAnnotator vor, einen systematischen Ansatz für die Offline-Relevanz-Annotation, der die Verbesserung der Genauigkeit von der Kostenreduktion entkoppelt. Das System verwendet eine dreistufige Kaskade aus progressiv größeren, domänenspezifisch feinabgestimmten Klassifikatoren, die durch per-Klassen-Isotonische Kalibrierung verbessert werden.

Systemarchitektur:
- Stufe 1: Ein leichtgewichtiger Cross-Encoder (DeBERTa-v3-base, 184 Mio. Parameter) verarbeitet Query-Titel-Paare in ~5 ms.
- Stufe 2: Ein Gemma-2B Modell, feinabgestimmt mit LoRA ( $r=16, \alpha=16$ ), Inferenzzeit ~50 ms.
- Stufe 3: Ein LLaMA-8B Modell (Meta LLaMA-3-8B) mit ähnlicher LoRA-Feinabstimmung, Inferenzzeit ~200 ms.
- Fallback: Wenn kein Modell seinen Konfidenzschwellenwert erreicht, wird ein Ensemble-Fallback mittels Mehrheitsentscheidung (mit einem Tie-Breaker, der zu höherer Relevanz tendiert) angewendet.
Domänenspezifische Feinabstimmung:
Im Gegensatz zu generativen Ansätzen, die Regex-Parsing erfordern, nutzen die Modelle Klassifikationsköpfe, um wohldefinierte Wahrscheinlichkeitsverteilungen zu erzeugen. Alle Modelle wurden auf 1,2 Mio. Query-Produkt-Paaren aus Sponsored-Search-Daten feinabgestimmt. Dieser Schritt ist der primäre Treiber der Genauigkeit und hebt die Performance von ~68 % (Off-the-shelf) auf ~89 %.
Per-Klassen-Isotonische Kalibrierung:
Die Autoren beobachten, dass rohe Konfidenzwerte fehlkalibriert sind, wobei Modelle bei extremen Klassen (0, 4) überkonfident und bei mittleren Klassen (1, 2, 3) unterkonfident sind. Um dies zu adressieren, wenden sie eine per-Klassen-isotonische Regression (folgend nach Zadrozny und Elkan) anstatt einer globalen Kalibrierung an.
- Separate Kalibrierungsfunktionen $f_c$ werden für jede vorhergesagte Klasse $c$ gelernt.
- Dies stellt sicher, dass Routing-Entscheidungen auf zuverlässigen, klassenbedingten Konfidenzwerten basieren, was es dem System ermöglicht, hochkonfidente Vorhersagen an günstigere Modelle zu routen und ambivalente Fälle an größere Modelle zu delegieren.
Kaskaden-Logik:
Abfragen werden durch die Kaskade geroutet (Cross-Encoder $\to$ Gemma-2B $\to$ LLaMA-8B). An jeder Stufe wird die Vorhersage zurückgegeben, wenn die kalibrierte Wahrscheinlichkeit $p^*_m$ einen Schwellenwert $\tau_m$ überschreitet. Andernfalls wird die Abfrage an das nächste, teurere Modell weitergeleitet.

Wesentliche Beiträge
Das Paper leistet drei spezifische Beiträge:

Orthogonale Optimierung: Die Autoren zeigen, dass Genauigkeit und Kosten orthogonal sind. Feinabstimmung treibt den Großteil der Genauigkeitsgewinne (~20 Punkte), während Kaskadierung die Rechenkosten um ~50 % senkt, ohne die Genauigkeit zu beeinträchtigen.
Per-Klassen-Kalibrierung: Sie führen die per-Klassen-isotonische Kalibrierung als kritische Komponente der Kaskade ein. Dies liefert einen statistisch signifikanten Gewinn (+0,6 Punkte gegenüber der stärksten globalen Kalibrierungs-Baseline, $p < 0,05$ ) durch eine bessere Handhabung der klassenbedingten Fehlkalibrierung.
Produktionsvalidierung: Das System wurde in sechs Offline-Anwendungsfällen eingesetzt (einschließlich Trainingsdaten-Vorbereitung, NDCG-Evaluierung und Ursachenanalyse) und verarbeitete über 150 Millionen Annotationen. Es reduzierte die Turnaround-Zeit von 5 Tagen auf 1–3 Stunden.

Ergebnisse

Genauigkeit: Die finale Kaskade erreicht 89,1 % Genauigkeit.
- Nur die Feinabstimmung (einzelnes LLaMA-8B) erreicht 88,9 % und schließt damit die 20,7-Punkte-Lücke zu GPT-4 (68,2).
- Die Kaskadierung von Off-the-shelf-LLMs (GPT-4 $\to$ Claude-3) liefert nur eine Verbesserung von 3,2 Punkten, was die Genauigkeitsdecke unkalibrierter Routings bestätigt.
- Per-Klassen-Kalibrierung verbessert die Kaskaden-Genauigkeit von 88,2 % (unkalibriert) auf 89,1 %.
Kosteneffizienz: Die Produktionskonfiguration erreicht 89,1 % Genauigkeit mit 50,1 % Kostenersparnis im Vergleich zum Betrieb des größten Modells (LLaMA-8B) für jede Abfrage.
Routing-Verteilung: Der leichtgewichtige Cross-Encoder löst 74,5 % der Abfragen mit 91,2 % Genauigkeit (höher als seine Standalone-Performance aufgrund des Kalibrierungs-Filterings). Der Ensemble-Fallback bearbeitet nur 7,1 % der Abfragen.

Bedeutung und Ansprüche
Das Paper positioniert AutoRelAnnotator als Baustein für skalierbare, hochwertige Offline-Annotation-Pipelines in Suchmaschinen und Werbesystemen.

Modularität: Die Kaskade ist modular; einzelne Modelle können aktualisiert werden, ohne die Routing-Logik zu beeinflussen.
Praktikabilität: Es bietet eine praktikable Alternative zu teurer menschlicher Kennzeichnung und ungenauen generischen LLMs für Offline-Aufgaben, bei denen die Latenz nicht die primäre Einschränkung darstellt.
Limitierungen: Die Autoren merken an, dass der 20-Punkte-Genauigkeitsgewinn spezifisch für die Feinabstimmung dieser Domäne (Sponsored Search) ist und das System erhebliche Mengen an gelabelten Daten erfordert (1,2 Mio. für die Feinabstimmung, 50K für die Kalibrierung). Die Evaluierung beschränkt sich auf eine einzige Domäne, und proprietäre Daten verhindern eine externe Reproduktion, obwohl die Methodik zur Replikation detailliert beschrieben ist.

Die Arbeit kommt zu dem Schluss, dass Organisationen durch die Entkopplung von Genauigkeit (via Feinabstimmung) und Kosten (via Kaskadierung) eine hohe Qualität der Annotationen zu einem Bruchteil der Rechenkosten erreichen können, was schnellere Experimentierzyklen in Such- und Werbesystemen ermöglicht.