Personalizing Marketplace Policies with Competing Objectives and Constrained Experiments: Evidence from a Job Marketplace
Dieses Paper präsentiert ein integriertes Framework zur Personalisierung von Arbeitsmarktplatz-Richtlinien, das unter beschränkten experimentellen Bedingungen durch die Kombination von Ensemble-basierten Hybrid-Ranking-Modellen mit Treatment-Effekt-Extrapolation erfolgreich konkurrierende Ziele von Arbeitgebern und Arbeitssuchenden ausbalanciert und dadurch signifikante Metrik-Verbesserungen bei gleichzeitiger Einhaltung von Engagement-Leitplanken erzielt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen geschäftigen digitalen Marktplatz vor, wie ein riesiges Stellenportal, auf dem zwei sehr unterschiedliche Gruppen aufeinandertreffen: Arbeitgeber (die einstellen wollen) und Ar Arbeitssuchende (die arbeiten wollen).
Das Ziel der Plattform ist es, beiden Seiten zu helfen, aber sie haben oft gegensätzliche Interessen. Wenn die Plattform zu großzügig mit kostenlosen Diensten ist, könnten Arbeitgeber aufhören, für Premium-Funktionen zu bezahlen, was die Fähigkeit des Unternehmens gefährdet, die Seite zu betreiben. Wenn die Plattform zu streng ist, könnten Arbeitssuchende frustriert sein, weil sie keine guten Jobs sehen können, und sie könnten die Plattform verlassen.
Die Autoren dieser Arbeit standen vor einem schwierigen Problem: Wie legt man die Regeln (Policies) für diesen Marktplatz fest, damit alle zufrieden sind, ohne das Budget zu sprengen?
Hier ist eine einfache Aufschlüsselung ihrer Lösung, unter Verwendung alltäglicher Analogien.
1. Das Problem: Einheitslösungen passen nicht für alle
In der Vergangenheit verwendeten Plattformen eine „Einheitsregel“. Zum Beispiel: „Jede Stellenausschreibung erhält 3 kostenlose Aufrufe, danach muss bezahlt werden.“
- Das Problem: Manche Jobs sind wie Goldminen (hohe Nachfrage, leicht zu besetzen), während andere wie der Verkauf von Eis in den Winter hinein sind (geringe Nachfrage). Sie behandeln sie gleich, was ineffizient ist. Man würde vielleicht für einen Job Geld verlangen, den niemand will, oder kostenlose Aufrufe für einen Job verschenken, der ohnehin bezahlt worden wäre.
2. Die zwei großen Hürden
Das Team wollte diese Regeln personalisieren (verschiedene Regeln für verschiedene Jobs geben), stieß jedoch auf zwei große Hindernisse:
Hürde A: Der „Wippen“-Effekt (Cross-Side Externalities)
Wenn man zu stark darauf drängt, dass Arbeitgeber zahlen (das „Ziel“), könnte man versehentlich die Arbeitssuchenden (die „Leitplanke“) verärgern. Es ist wie eine Wippe: Wenn man eine Seite zu stark nach unten drückt, fliegt die andere nach oben. Die Herausforderung besteht darin, dass verschiedene Jobs unterschiedlich reagieren. Manche Jobs lassen sich monetarisieren, ohne die Suchenden zu verärgern; andere nicht. Man braucht eine Strategeie, die beide Seiten gleichzeitig ausbalanciert.Hürde B: Der „blind gekochte Koch“ (Constrained Experiments)
Um neue Regeln zu testen, muss man normalerweise Experimente durchführen. Aber in einem Marktplatz kann man eine Regel nicht einfach an einer einzelnen Person testen; man muss sie an einer ganzen Gruppe (einem „Cluster“) testen, um Chaos zu vermeiden. Das bedeutet, sie konnten nur zwei spezifische Einstellungen testen: „Streng“ und „Nachgiebig“.- Das Problem: Sie wollten den perfekten Mittelweg finden (einen kontinuierlichen Bereich an Optionen), hatten aber nur Daten für zwei Extrempunkte. Es ist wie ein Koch, der nur weiß, wie man Essen entweder „verbrannt“ oder „roh“ zubereitet, und nun die perfekte „Medium Rare“-Temperatur finden muss, ohne die Mitte testen zu können.
3. Die Lösung: Ein dreiteiliges Werkzeug
Die Autoren bauten ein intelligentes System, um diese Probleme mit drei Haupttricks zu lösen:
Trick 1: Die „Doppel-Check“-Bewertung (Hybrid Ranking)
Anstatt nur auf einen Wert zu schauen (z. B. „Wie viel Geld wird das einbringen?“), bauten sie eine Bewertung auf, die zwei Dinge separat betrachtet:
- Geldpotenzial: Wie viel Umsatz wird dieser Job generenieren?
- Risikofaktor: Wie wahrscheinlich ist es, dass dies die Arbeitssuchenden verärgert?
Sie entwickelten ein Hybrid-Ranking-System:
- Obere Ebene: Jobs, die Geld einbringen und die Suchenden nicht verärgern. Diese erhalten strenge Regeln (zahlen Sie!).
- Untere Ebene: Jobs, die nicht viel Geld einbringen, aber sehr riskant für die Suchenden sind. Diese erhalten lockere Regeln (behalten Sie sie kostenlos, um die Suchenden bei Laune zu halten).
- Das Ergebnis: Dieser Ansatz reduzote das Risiko, Arbeitssuchende zu verärgern, um über 10 % im Vergleich zur reinen Gewinnmaximierung, ohne dabei Umsatz einzubüßen.
Trick 2: Die „Gerade-Linie“-Vermutung (Extrapolation)
Da sie nur „Streng“ und „Nachgiebig“ testen konnten, mussten sie raten, was in der Mitte passieren würde.
- Die Analogie: Stellen Sie sich vor, Sie wissen, dass ein Auto an einer Stoppschild-Linie 0 mph fährt und bei einer grünen Ampel 60 mph fährt. Sie nehmen an, dass das Auto genau dazwischen 30 mph fährt.
- Die Wissenschaft: Sie nahmen an, dass die Beziehung zwischen der Policy und dem Ergebnis eine gerade Linie ist. Sie testeten diese Annahme und fanden heraus, dass ihre Vermutungen selbst dann noch genau genug waren, um gute Entscheidungen zu treffen, wenn die Linie nicht perfekt gerade war. Sie mussten nicht die exakte Geschwindigkeit kennen; sie mussten nur wissen, welche Autos schneller als andere waren.
Trick 3: Die „Gruppenleiter“-Strategie (Ensemble Modeling)
Einige Arbeitgeber schalten einen Job, andere hunderte. Wenn man die Regel für einen Job ändert, kann das das Verhalten des Arbeitgebers bei all seinen anderen Jobs beeinflussen.
- Die Lösung: Sie bauten ein Modell, das den Job und den Arbeitgeber gemeinsam betrachtete. Es ist wie ein Lehrer, der weiß, dass eine schwere Prüfung für einen Schüler auch die gesamte Lerngruppe stressen kann. Sie kombinierten diese Perspektiven, um eine genauere Vorhersage zu treffen.
4. Das Ergebnis: Erfolg in der realen Welt
Sie setzten dieses System bei LinkedIn ein, das Millionen von Stellenausschreibungen bedient.
- Hat es funktioniert? Ja. Das System konnte den Umsatz (das Ziel) signifikant steigern.
- Hat es die Regeln gebrochen? Nein. Es blieb strikt innerhalb der Sicherheitsgrenzen für das Engagement der Arbeitssuchenden (die Leitplanke).
- War die Vermutung richtig? Ja. Als sie die „Mittelweg“-Policies testeten, die sie zuvor nur geschätzt hatten, entsprachen die Ergebnisse in der realen Welt fast perfekt ihren Vorhersagen.
Zusammenfassung
Die Arbeit zeigt, dass man selbst dann den perfekten Weg finden kann, wenn man blind ist (begrenzte Experimente) und auf einem Seiltanz steht (das Ausbalancieren gegensätzlicher Ziele). Durch den Einsatz eines intelligenten Rankingsystems, das beide Seiten des Marktplatzes respektiert, und durch fundierte, validierte Vermutungen über die Mitte, schufen sie eine personalisierte Policy, die Geld verdient und gleichzeitig die Nutzer zufriedenstellt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.